PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : Fetchmail sehr langsam



hypernetics
15.11.07, 12:35
Hallo Leute,

folgendes Szenario: Auf einem Mailserver laufen Statusmeldungen in einem bestimmten Postfach auf, welche regelmässig abgeholt werden müssen. Am Tag stapeln sich da um die 150000 eMails. Nun wollte ich fetchmail dazu bewegen, in regelmässigen Abständen den Job zu übernehmen.

Soweit klappt auch alles, jedoch dauert es ewig! Im Logfile ist zu sehen, dass fetchmail jede einzelne Mail mit langen Latenzzeiten "fetcht" und dann zur nächsten Mail wechselt. Pro Mail benötigt er ca. 6 Sekunden.

Meine fetchmailrc sieht so aus:

poll mail.meinserver.de with
proto pop3
timeout 3000
user benutzername
password kennwort
is localuser
no rewrite
ssl

Initiieren tue ich das Ganze mit:
fetchmail -v -a >> /var/log/fetchmail 2>&1

Die Anbindung ans I-Net ist eigentlich rasend schnell (steht im RZ).

Hat jemand eine Idee?

bla!zilla
15.11.07, 12:44
Stell auf MX-Record um und lass die Mails direkt einliefern. Ist Fetchmail denn bei Postfächern, wo nur eine Hand voll Mails drin liegen, schneller???

eule
15.11.07, 12:49
Fuer solche Mengen scheint mir fetchmail ungeeignet. Eine Weiterleitung auf dem Mailserver waere besser geeignet.

hypernetics
15.11.07, 13:30
Stell auf MX-Record um und lass die Mails direkt einliefern.

Ähm, das verstehe ich jetzt nicht :confused:


Ist Fetchmail denn bei Postfächern, wo nur eine Hand voll Mails drin liegen, schneller???

Kann ich leider nicht sagen. Das besagte Konto ist das einzige lokale Postfach. Alle anderen Accounts werden geforwarded.

hypernetics
15.11.07, 13:32
Fuer solche Mengen scheint mir fetchmail ungeeignet. Eine Weiterleitung auf dem Mailserver waere besser geeignet.

Ist etwas problematisch. Der Mailserver hostet Mailman, welcher rund um die Uhr mit dem Beschicken von Verteilern beschäftigt ist. Das heisst, ich brauche jeden SMTPD-Thread, den ich kriegen kann :D Wenn ihm dann noch 150.000 Mails am Tag dazwischen kommen...:ugly:

bla!zilla
15.11.07, 13:50
Wie sieht denn der Load auf der Kiste aus?

hypernetics
15.11.07, 14:06
Wie sieht denn der Load auf der Kiste aus?

Beim Abholen steigt die Gesamtlast (User+System) auf knapp 99%. Dabei ist es egal, ob ich die Mails mit Thunderbird, OE oder fetchmail abhole. Ach ja, apropos OE: Fetchmail fungiert doch eigentlich auch nur als MUA, wie OE auch. Aber letzterer ist deutlich schneller. Bei dem quetschen sich pro Sekunde knapp 40 Mails ins Postfach.

bla!zilla
15.11.07, 14:09
Wird fetchmail weg und setz auf MX Record. Dann hast du das Problem nicht mehr.

hypernetics
15.11.07, 14:12
Wird fetchmail weg und setz auf MX Record. Dann hast du das Problem nicht mehr.

Sorry, das verstehe ich nicht. Die Domain hat einen MX-record, welcher auf die IP des Mailserver zeigt. Kannst Du mir kurz erklären, was Du meinst?

bla!zilla
15.11.07, 14:59
Der Record soll nicht auf den Mailserver zeigen, sondern auf deinen Server. Der soll die Post nicht per POP3 abholen, sondern direkt empfangen.

hypernetics
15.11.07, 15:08
Der Record soll nicht auf den Mailserver zeigen, sondern auf deinen Server. Der soll die Post nicht per POP3 abholen, sondern direkt empfangen.

Um Gottes-Willen!!! Zum Einen fungiert der Server als Mailforwarder für ein paar Hundert Accounts, zum Anderen kann ich doch nicht via Mailman Post für eine Domain verteilen, die im Reverse Lookup eine andere IP ausspuckt :eek:

Aber jedenfalls scheint's so, dass ich fetchmail nicht zu einer schnelleren Kooperation bewegen kann. Gibt's fetchmail-alternativen?

bla!zilla
15.11.07, 15:16
Um Gottes-Willen!!! Zum Einen fungiert der Server als Mailforwarder für ein paar Hundert Accounts, zum Anderen kann ich doch nicht via Mailman Post für eine Domain verteilen, die im Reverse Lookup eine andere IP ausspuckt :

Warum nicht?

Columbo0815
15.11.07, 15:59
Gibt's fetchmail-alternativen?

getmail *zehnzeichen*

hypernetics
15.11.07, 20:00
getmail *zehnzeichen*

Perfekt. Schnell, zuverlässig, einfach zu konfigurieren, superb :rolleyes:
Danke für den Tipp!!!