fetchmail - mailempfang tunen

[ProfBunny]

hi leute,

ich betreibe zum mails abrufen folgendes

fetchmail holt > procmail filtert > clamav/spamassasin.

das ganze funktioniert auch wunderbar. das einzige was mich furchtbar nervt, ist das es so lange dauert bis er alle mails hat. 80 mails ca 1 h.
da es aber je nachdem auch mehr sein können, abhängig von den jewaligen mailinglisten, gerade 120, dauert mir das einfach zu lange.

jemannd ne idee wo man da tunen könnte?






cat .fetchmailrc
# Configuration created Tue Jun 10 18:33:07 2003 by fetchmailconf
set postmaster "postmaster"
set bouncemail
set no spambounce
set properties ""
poll pop.gmx.de with proto POP3
user 'xxx' there with password 'xxxx' is 'profbunny' here options fetchall
mda '/usr/bin/procmail -d %T '




cat .procmailrc
PATH=/usr/local/bin:/usr/bin:/bin
# Das Verzeichnis, in dem Mail-Ordner abgelegt werden
MAILDIR=$HOME/Mail #you'd better make sure it exists
DEFAULT=$MAILDIR/inbox/.
# Eine Datei, in die procmail hineinloggt:
LOGFILE=/home/profbunny/Mail/procmail.log
# Reduziert den Umfang des Logs auf Fehlermeldungen:
LOGABSTRACT=yes
VERBOSE=yes


##################################################
#########
# Alle Mails auf Viren überprüfen
# (enthält die Mail einen Virus, wird X-Virii-Status: yes gesetzt)
:0fw: clamav.lock
| mailvirus

# Virulente Mails ausortieren
:0 H:
* ^X-Virii-Status:.yes
infected/.

:0fw
| nice -19 spamassassin

# Nachrichten die 7 oder Mehr Hits bekommen werden ungesehen gelöscht.
:0:
* ^X-Spam-Level: \*\*\*\*\*\*\*
/dev/null

:0
* ^X-Spam-Status: Yes
Spam/.

# Debian Mailingliste
:0H
* To:.*debian-user-german@lists.debian.org
#* Cc:.*debian-user-german@lists.debian.org
Debian/.

:0H
* To.:*GMX Kundennummer #5834485
GMX/.

:0:
* ^X-Mailing-List:.debian-user-german.*
Debian/.

:0:
* ^X-Mailing-List:.*debian-release@lists.debian.org
Release/.

:0:
* ^X-Mailing-List:.*suspend2-users@lists.suspend2.net
Suspend2/.

:0H
* To:.*suspend2-users@lists.suspend2.net
* Cc:.*suspend2-users@lists.suspend2.net
Suspend2/.


:OH
* To:.*suspend2-users@lists.suspend2.net
Suspend2/.


* ^From:.*mailings@gmx.net
GMX/.

:0H
* To:.*debian-release@lists.debian.org
#* Cc:.*debian-release@lists.debian.org
Release/.

:0H
* To:.*qce-ga-discussion@lists.sourceforge.net
#* Cc:.*qce-ga-discussion@lists.sourceforge.net
Quickcam/.

:0:
* ^X-Mailing-List:.*qce-ga-discussion@lists.sourceforge.net
Quickcam/.

:0
* ^To:.*members@gmx.net
GMX/.


:0
* ^From:.gmxmagazin@gmx-gmbh.de
GMX/.



:0
* ^From:.mailings@gmx-gmbh.de
Spam/.


:0HB
* ^From:.*Mircosoft*
* ^From:.*security*
* ^From:.*ms*
* ^From:.*Virus*
* ^From:.*bug*
* ^From:.news@news.conrad.de
Spam/.

:0H
* ^From:.*@risquemail.com*
/dev/null/.

:0
* ^From:.postmaster@LDSMAIL.NET
* ^From:.*Virus*
* ^From:.*Service*
Spam/.
# Work around procmail bug: any output on stderr will cause the "F" in "From"
# to be dropped. This will re-add it.
:0
* ^^rom[ ]
{
LOG="*** Dropped F off From_ header! Fixing up. "

:0 fhw
| sed -e '1s/^/F/'
}
q




TIA

[tschloss]

Ich würde erstmal analysieren, wo die Zeit liegen bleibt.

Auf Spamassassin bezogen könntest du Zeit gewinnen, wenn du mit spamd/spamc arbeitest, möglicherweise sind dann mehrere Scans parallisierbar.

Aber eigentlich -finde ich- sollte das auch so schneller gehen. Da stimmt irgendwas nicht.

[ProfBunny]

denke auch das es schneller gehen sollte. als mein rechner direkt am dsl modem hing, gings definitiv schneller. jetzt häng ich per tv cable am netz mit einem router und einem switch dazwischen.

ich bräuchte halt ein paar ansätze wo/wie ich analysieren kann.

thx

[cane]

Du brauchst EINE STUNDE um läppische 80 Mails abzuholen :confused:

Das dauert bei mir grad mal einige Sekunden...

Wie lange dauerte es vor dem Zugang per Kabel?

mfg
cane

[ProfBunny]

naja, so genau kann ich es nicht sagen, aber es war auf jeden fall innerhalb von 5 min erledigt.

[MiGo]

Was sagt denn "top" während des Mailempfanges?
Ansonsten könntest du mal mit "tail -f /var/log/mail.log" zuschauen, wie er die Mails holt - eventuell sind so Wartezeiten sichtbar.

[ProfBunny]

top sagt
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND

6326 profbunn 25 0 11296 6216 1336 R 91.3 0.6 0:04.38 clamscan
6377 profbunn 39 19 21324 18m 2016 R 27.6 1.8 0:00.83 spamassassin


wobei diese prozesse nacheinander stattfinden.

/var/log/mail.log
Apr 21 09:09:34 sysiphus fetchmail[3839]: Nachricht profbunny@gmx.de@pop.gmx.net:1 von 25 wird gelesen (1208 Bytes) gelöscht
Apr 21 09:10:12 sysiphus fetchmail[3839]: Nachricht profbunny@gmx.de@pop.gmx.net:2 von 25 wird gelesen (4114 Bytes) gelöscht
Apr 21 09:10:56 sysiphus fetchmail[3839]: Nachricht profbunny@gmx.de@pop.gmx.net:3 von 25 wird gelesen (3245 Bytes) gelöscht


da steht auch nix interessantes drin. nur das ich ca 45 sec pro mail brauch.

[tschloss]

Und was passiert, wenn du die Mails mit diesem Rechner per POP-Client abholst?

[eule]

Ich wurde erstmal mit einem

fetchmail -avf /Pfad/zur/fetchmailrc
anfangen. Da kann sich die Kommunikation zwischen Fetchmail und den MTA ansehen.

[ProfBunny]

naja, dann gehts ziemlich flink. wobei dieser vergleich ja auch hinkt, da weder auf spam noch auf viren geprüft wird.
ich gehe davon aus das entweder clamav oder spamassassin die bremse ist.

fetchmail -avf .fetchmailrc


Apr 21 11:30:05 sysiphus fetchmail[11635]: fetchmail 6.3.8 Dämon wird gestartet
Apr 21 11:30:05 sysiphus fetchmail[11635]: 6.3.8 fragt pop.gmx.de ab (Protokoll POP3) um Sa 21 Apr 2007 11:30:05 CEST: Abfrage gestartet
Apr 21 11:30:05 sysiphus fetchmail[11635]: Versuche, mit 213.165.64.22/110 zu verbinden...verbunden.
Apr 21 11:30:05 sysiphus fetchmail[11635]: POP3< +OK GMX POP3 StreamProxy ready <9252.1177147806@mp031>
Apr 21 11:30:05 sysiphus fetchmail[11635]: POP3> CAPA
Apr 21 11:30:05 sysiphus fetchmail[11635]: POP3< +OK
Apr 21 11:30:05 sysiphus fetchmail[11635]: POP3< TOP
Apr 21 11:30:05 sysiphus fetchmail[11635]: POP3< USER
Apr 21 11:30:05 sysiphus fetchmail[11635]: POP3< SASL LOGIN CRAM-MD5
Apr 21 11:30:05 sysiphus fetchmail[11635]: POP3< UIDL
Apr 21 11:30:05 sysiphus fetchmail[11635]: POP3< RESP-CODES
Apr 21 11:30:05 sysiphus fetchmail[11635]: POP3< .
Apr 21 11:30:05 sysiphus fetchmail[11635]: pop.gmx.de: opportunistisches Upgrade auf TLS fehlgeschlagen, versuche Fortsetzung.
Apr 21 11:30:05 sysiphus fetchmail[11635]: POP3> AUTH CRAM-MD5
Apr 21 11:30:05 sysiphus fetchmail[11635]: POP3< + PDkyNTIuMTE3NzE0NzgwNkBtcDAzMT4=
Apr 21 11:30:05 sysiphus fetchmail[11635]: POP3> cHJvZmJ1bm55QGdteC5kZSBmMjhkYzVjNTRhMTBmM2IwZTFjMm U2YmUxMmUzNTVmNg==
Apr 21 11:30:05 sysiphus fetchmail[11635]: POP3< +OK Mailbox locked and ready
Apr 21 11:30:05 sysiphus fetchmail[11635]: POP3> STAT
Apr 21 11:30:05 sysiphus fetchmail[11635]: POP3< +OK 1 5014
Apr 21 11:30:05 sysiphus fetchmail[11635]: 1 Nachricht für profbunny@gmx.de bei pop.gmx.de (5014 Bytes).
Apr 21 11:30:05 sysiphus fetchmail[11635]: POP3> LIST 1
Apr 21 11:30:05 sysiphus fetchmail[11635]: POP3< +OK 1 5014
Apr 21 11:30:05 sysiphus fetchmail[11635]: POP3> RETR 1
Apr 21 11:30:06 sysiphus fetchmail[11635]: POP3< +OK
Apr 21 11:30:06 sysiphus fetchmail[11635]: Nachricht profbunny@gmx.de@pop.gmx.net:1 von 1 wird gelesen (5014 Bytes)
Apr 21 11:30:44 sysiphus fetchmail[11635]: gelöscht
Apr 21 11:30:44 sysiphus fetchmail[11635]: POP3> DELE 1
Apr 21 11:30:44 sysiphus fetchmail[11635]: POP3< +OK Message 1 deleted
Apr 21 11:30:44 sysiphus fetchmail[11635]: POP3> QUIT
Apr 21 11:30:44 sysiphus fetchmail[11635]: POP3< +OK GMX POP3 server signing off
Apr 21 11:30:44 sysiphus fetchmail[11635]: 6.3.8 fragt ab pop.gmx.de (Protokoll POP3) um Sa 21 Apr 2007 11:30:44 CEST: Abfrage beendet
Apr 21 11:30:44 sysiphus fetchmail[11635]: Sa 21 Apr 2007 11:30:44 CEST: schlafe 600 Sekunden lang


opportunistisches Upgrade auf TLS fehlgeschlagen, versuche Fortsetzung. das sieht mir etwas komisch aus. wobei nicht wirklich relevant denke ich.
bin irgendwie immer noch nicht schlauer

[tschloss]

Deswegen komme ich nochmals auf meinen Post (#2) zurück: Vor der Lösung steht die Analyse: lege die Logs nebeinander oder beobachte auf der Konsole, wo die Zeit verbraten wird. Bei dieser Größenordnung (Minuten statt Millisekunden ;) ) ist das auch leicht zu messen.

Die Komponenten kann man auch einzeln testen, zB "spamassassin <mail".
Hast Du dir überhaupt schon die Logs der einzelnen Komponenten angesehen?

[MiGo]

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
6326 profbunn 25 0 11296 6216 1336 R 91.3 0.6 0:04.38 clamscan
6377 profbunn 39 19 21324 18m 2016 R 27.6 1.8 0:00.83 spamassassin
Da hätten die CODE-Tags geholfen. Aber ich sehe das mal so, dass clamscan knapp über 90% der CPU-Resourcen verbraucht. Ich würde mal sagen, der ist eventuell ein wenig scharf eingestellt oder aber schlicht zu "groß" für den Rechner.