postfix stabilität

[daemonb]

Also folgendes:

Habe hier nen mailserver, der SEHR gut angebunden ist, er muss einmal die woche ca 250000 mails verschicken. Das wird über ein php skript gemacht.
Zwischendrin passiert es aber öfter, dass der server abstürzt.
Das ding läuft mit postfix, ich denke das die queu irgendwie volläuft und das system dann gute nacht sagt. WEil dann nixmehr geht weder web noch ftp 0.
Achja das ist kein spamserver, falls ihr das jetzt denkt. Es ist ein mailverteiler.
Kann ich irgendwelche beschränkungen machen damit er nicht abstürzt????

Danke schonmal

DaemonB

[Jinto]

Deine gegebenen Informationen sind ungenügend.

siehe Signatur (um mal einen Anhaltspunkt zu bekommen).

[daemonb]

Die sache ist die, ich kann die jetzt ein haufen configs schicken bis du umfällst, aber ich wollte nur wissen wo ich grundsätzlich suchen muss. Ich wollte grundsätzlich erstmal informieren und hättest du gesagf: hey, das kann am postfix liegen, oder hey evtl liegt es ja linken popelloch vorne hinten, was weiss ich, hätte ich dir die configs davon gegeben.

Ich will ja nur wissen, wieso postfix sooooo überlastet sein kann, dass das ganze system in die grütze geht. Ich denke einfach das die queue zu voll läuft. Wie kann ich das limitieren??? Gibt es da einen wert??
An der Hardware liegt es denke ich nicht, ist ein XXL von 1&1. (P4 3GHz 1GB RAM 120GB pladde, gentoo 1.4 kernel 2.4.20)
Ich will ja nur wissen wo ich ansetzen kann. Kann es daran liegen, das das PHP Skript wie eine DOS attacke auf den server wirkt und der einfach zu vollgepumpt wird?
Es gibt doch bestimmt leute die schonmal so ein prob hatten oder?

Danke schonmal

P.S.: Dein link ist eine unverschämtheit, der Text ist sowas von überheblich geschrieben. Ich will hier dem Verfasser gegenüber nicht persönlich werden, aber ihr könnt euch denken, was ich denke das er ist. Also ich bin also ein n00b und Dau, weil ich deiner Meinung nach nicht genügend infos hergeben habe??? Aber sorry, ich habe ja selber nicht mehr, das mag evtl daran liegen, das ich nicht weiss wo ich anfangen könnte zu suchen. Da dachte ich mir evtl hat einer schon solcher erfahrungen gemacht. Die großen Mailfirmen wie GMX werden ja auch mit vielen mails fertig. Wenn ich wüsste wo das Problem liegt, wäre ich sicher in der Lage es zu lösen. Zur info: Ich bin kein n00b mehr, der gestern das erste mal linux installiert hat. Ich skchreibe jetzt besser net weiter und rege mich mal wieder ab.

Bis denne

DaemonB

[zini2001]

in_flow_delay = 1s

wenn postfix vor lauter einkommenden mail die ausgehenden queues nicht mehr bearbeiten kann, werden eingehende emails um diese zeit verzögert angenommen.dadurch gewinnt postfix zeit, seine queues abzuarbeiten.

mails die versendet werden sieht postfix (wenn sie vom client oder von einem skript oder von port 25 kommen) als eingehende mails an. und 25000 sind schon recht viel. kommentier das mal aus und erhöh evt. mal die sekunden.

ps. schickst du EINE mail an 25000 empfänger, also sind im header 25000 adressen???
denn dann mußt du
extract_recipient_limit anheben ( ohne gewähr: hab noch nicht getestet)

[mamue]

Mich würde interesieren, was überhaupt auf dem Server los ist, wenn Postfix 25000 Mails verarbeiten soll.
Geht der Speicher zu ende, ist das Netzwerk ausgelastet oder (und) die CPU am Anschlag?
Wenn nebenher noch amavisd läuft, (Du nimmst doch den daemon und nicht "standalone" Version?), wird das sicher zu viel sein. Sollte amavisd verwendet werden, läuft der doch sicher auf einem anderen host, oder?

Nur so interessehalber,
mamue

Edit:
Alle Zahlen sind, wie bei mir üblich, zur Basis 100, also sind 25000 im Dezimalsystem 250000.

(Ich dachte erst, mir würde keine Ausrede einfallen, ich hoffe, diese nimmt mir irgend jemand ab.)

[Jinto]

Original geschrieben von zini2001
ps. schickst du EINE mail an 25000 empfänger, also sind im header 25000 adressen??? 25.000 Adressen im Header? Auf so eine kranke Idee kann doch niemand ernsthaft kommen, und den "Tipp" sollte man auch ganz schnell wieder vergessen.

[steve-bracket]

Original geschrieben von mamue
Mich würde interesieren, was überhaupt auf dem Server los ist, wenn Postfix 25000 Mails verarbeiten soll.
Geht der Speicher zu ende, ist das Netzwerk ausgelastet oder (und) die CPU am Anschlag?
Wenn nebenher noch amavisd läuft, (Du nimmst doch den daemon und nicht "standalone" Version?), wird das sicher zu viel sein. Sollte amavisd verwendet werden, läuft der doch sicher auf einem anderen host, oder?

Nur so interessehalber

Genau da sollte man mal beginnen und sich die Auslastung betrachten.
250000 (zweihundertfünfzigtausend) Mails sind ne ganze Menge, und in Verbindung mit Virusscann eine hohe Belastung.

Gruß
Steve

[daemonb]

die cpu langweilt sich, der speicher iss net voll, aber die load average steht bei mindestens 3...

werde mal das mit der verzögerung antesten

Es werden immer einzelne mails verschickt.

DaemonB

[mamue]

Das hiesse, dass eine Menge Prozesse auf irgendeine Systemresource warten. Vielleicht ist die max. Grenze für offene Files erreicht? Irgendwo gab es da etwas einzustellen in proc...
mamue

[Jinto]

Das hatte ich bisher ja noch gar nicht kommentiert :D:


Original geschrieben von daemonb
Also ich bin also ein n00b und Dau, weil ich deiner Meinung nach nicht genügend infos hergeben habe???Nein, du bist es weil du den Text nicht verstanden hast und dich darüber auch noch beschwerst.

Aber sorry, ich habe ja selber nicht mehr, das mag evtl daran liegen, das ich nicht weiss wo ich anfangen könnte zu suchen.Logfiles das unbekannte Wesen?

Wie du bereits an zini,mamue und steve siehst verursachst du hier nur blindes raten. Also anstatt sich über einen Text aufzuregen der 100% auf dich zutrifft, solltest du mal schauen wie du Informationen an den Mann bringst.

Vielleicht hast du es vergessen, aber du bist derjenige mit dem Problem, nicht wir. Zum Rätselraten habe ich momentan keine Lust (deswegen hatte sich mein letztes Posting auch nur auf zini's Antwort bezogen).

PS: vielleicht solltest du den Einsatz einer Mailinglisten Software ala Mailman in betracht ziehen

[daemonb]

*hochol*

Will mal was richtigstellen, wenn ein server komplett abstürzt, wo sind dann die logfiles, die während des absturzes geschrieben wurden *g* ....
Soviel dazu....
Das seltsam war einfach das der Server sich ganz normal verhalten hat...
Habe es aber im moment einigermasen im griff, habe meine ich damals die concurrency_limits höher gestellt...
Ich hatte ja auch gefragt, weil ich nicht wusste wo ich ohne logfiles (die ja nach einem Absturz einen ******dreck aussagen ausser mail sent successfully lol)....
anfangen sollte...
Ich habe nur gedacht hier gäbe es leute die wüssten wo ich ansätzen könnte, da Sie das problem auch schon einmal hatten oder ein problem in der Art.
Vielen dank, vorallem seit dem letzten post weiss ich, wieso dieses Forum nicht mehr das ist was es einmal war...

bis denne

DaemonB

[LINUXRH7]

Hallo,

ersteinmal Logfiles wären nicht schlecht. Was mir als erstes in den Sinn kam war auch das mit den geöffneten Files, Plattenplatz und was mir noch durch den Kopf ging sind die Connections. Zufällig Iptables am start mit Conntrack?

Ich denke eher mal das da irgend was überläuft.

cya
LiNUXrh7

[steve-bracket]

Vielen dank, vorallem seit dem letzten post weiss ich, wieso dieses Forum nicht mehr das ist was es einmal war...


Ich denke das DU das bestimmt nicht bestimmen kannst.
Du darfst Jinto nicht falsch verstehen, sämtliche Beteiligte dieses Beitrag's können eine Situation nur anhand der Info die von dir kommt einschätzen.
Dazu kommt, dass gerade Troubleshooting ein sehr sehr umfangreicher und zeitintensiver Prozess ist und völlig unterschätzt wird.
Der Fehler kann überall liegen, sehr oft auch Hardwareseitig.

Also 250000 (zweihundertfünfzigtausend) Mails auf einer Maschine die zusätzlich noch nach Viren filtert innerhalb von 24 Stunden, stimmt das?

Wobei sich folgende Frage stellt.
Eine mir bekannte Institution betreibt ca 100000 Mailboxen mit einem min. Tagestraffic von ca 35000 Mails und aufwärts. (über 100000) Das ist nicht wenig.
Virengescanner und Spamfilter laufen auf eigenen Maschinen in einem Cluster, die Konten sind ebenfalls skaliert auf mehrere Rechner.
Worauf läuft deine Software, auf dem EarthSimulator????



Die großen Mailfirmen wie GMX werden ja auch mit vielen mails fertig.


Dieser Vergleich hinkt.
Die machen das wohlüberlegt, mit eigener, angepasster Software und korrekt skaliert.
Glaubst du die stellen einfach mal so eine mandrake/suse/debian Out-of-The-Box als Mailserver auf.
*lach*
Da ist ein bisschen mehr dahinter.
Die Deamons bzw. alles was an aktiver Software bei zB. Mailprozessen im Spiel ist wird ständig gemonitort, es gibt verschiedenste Auswertungen, jede Aktivität wird festgehalten und regelmässig analysiert um im vorhinein Probleme zu vermeiden.
Es gibt vordefinierte Aktionen/Reaktionen auf "Worst-Case" Szenarien usw.....
Zumindest läuft das bei seriösen/professionelen Anbietern genau so.



die cpu langweilt sich, der speicher iss net voll, aber die load average steht bei mindestens 3...


Wie schon mamue geschrieben hat, offene Prozesse, tote Prozesse ??????
Nun, da der erste Schritt immer die Logfiles sind warten wir natürlich auf Info.

Falls die Logs nichts hergeben, tja, was dann
--Software schrittweise entfernen und neu aufspielen
--neue Hardware testen
--sich exzessiv in die Details der Source einzuarbeiten, die Source verstehen und anhand dessen Rückschlüsse ziehen

Wie von dir gefordert, eine "Eierlegende Wollmilchsau Lösung" gibt es in diesem Fall wohl nicht.

Gruß

NACHTRAG:
GMX und Co. (große Provider) arbeiten natürlich nicht im 100000 Stückbereich sondern im 1000000 Stückbereich und aufwärts. (täglich)
Verständlicherweise liegen dadurch auch ganz andere Verhältnisse in Bezug auf Hardware vor. (da läuft kein "möchtegern" Server mit 3Ghz und 80GB IDE Platte)

[daemonb]

jungs und mädels das war mir bewusst...
Ihr müsst mich auch net gleich behandeln als hätte ich gestern das erstmal linux installiert....
Ich würde nich posten, wenn es mir nicht selbst rätsel aufgeben würde. Von toten prozessen nix zu sehen.....
Mich hat nur der ton gestört, wenn die logfiles was sagen würden, hätte ich das ja auch gepostet.
Im moment läuft es jedenfalls.
Wenn sachen wie clustering möglich wären, würde ich das auch machen, mein problem dabei ist eher, dass der Server gemietet ist und nicht hier steht, also hardwaretechnisch keine chance.


bis denne

DaemonB

[stefaan]

Servus!

Auf der Liste postfixbuch-users war in der letzten Zeit einmal ein Thread dazu:
http://ilpostino.jpberlin.de/pipermail/postfixbuch-users/

Bzw. hier bekommst du gute Hilfestellungen, wenns deiner Meinung nach hier im Forum nicht passt :D :ugly:

Die Meinung ging in Richtung Mailinglistensoftware.

Grüße, Stefan