cane
02.03.08, 03:47
Morgen zusammen,
zuersteinmal: Mich interessieren nur AntiSpam Lösungen die für den Unternehmenseinsatz geeignet sind.
Ich erstelle momentan ein neues Antispam Konzept und teste diverse Lösungen, würde mich freuen wenn ihr eure Implementierungen darlegt und
die verwendete Umgebung nennt
eure Antispam Lösung nennt
beschreibt warum ihr gerade diese Lösung anderen vorgezogen habt
falls zur Hand die aktuelle Filterquote und der Maildurchsatz
welche Optionen / Extensions ihr aktiviert habt / verwendet
wo es Probleme gibt
was zukünftig geplant ist
...
Je mehr desto besser :)
Vereinfachtes Beispiel wie ich mir das vorstelle:
Umgebung
6 MBps SDSL, ein HP DL385 mit einem Opteron 275, 4 GB RAM, System auf zwei 36er 10k SCSI im RAID1, Rest auf vier 74er 10k SCSI im RAID10.
Load im Monatsmittel bei 1.7, Lastspitzen vor allem wenn Spam in den Bayes Filter gelernt wird bis zu einer 5 Minuten Load von 9.
Greylisting
Als erster Schritt Greylisting, implementiert als Postfix Transport über sqlgrey. Wurde gewählt weil die Alternative Postgrey auf BDBs basiert die bekanntlich nicht sehr stabil sind, zudem ist es einfacher Hosts die nicht gegreylistet werden sollen per SQL in die Datenbank zu schreiben, entweder per Script oder mittels dem netten Webfrontend SGWI.
Inhaltsfilterung, Ditributed Checksums, Razor, Pyzor, Blacklists und URI Blacklists [Nennung der Listen]
Alles per SpamAssassin Modulen. SpamAssassin läuft als SPAMD, SPAMD forkt maximal 10 children, in der master.cf sind die PROCS auf zwei limitiert. Das wurde soweit verringert weil ansonsten Lastspitzen auftreten.
Bayes Filter
Userbezogene Bayes Datenbanken so das jeder sein eigenes Profil perfekt trainiert - gelernt wird mit einem Script das sa-learn über userbezogene IMAP Folder macht in die User nicht erkannten oder fälschlicherweise erkannten Spam schieben.
Warum so?
Die Lösung ist gewachsen, Greylisting wurde primär gemacht um die Queues nicht zu belasten und die Load zu mindern.
Filterquote
Meist im Bereich um 98 %, FalsePositives nur wenn jemand Mist baut und seinem Bayesfilter fälschlicherweise HAM als SPAM füttert.
Maildurchsatz
Aufschlagen tun pro Tag ~ 60.000 Mails, durch Greylisting kommen beim SPAMD nur noch ca. 30.000 Mails an, davon werden durch SPAMD 12.000 als Spam erkannt.
Probleme / Planung
Es ist unklug das Blacklisting von SPAMD erledigen zu lassen, daher wird zukünftig Blacklisting von Postfix selbst erledigt. Weiterhin wird die Inhouselösung von Expurgate getestet. Ausserdem ist gerade ein Nagios Plugin fertig geworden das checkt ob die eigenen MTAs womöglich wegen Bounces auf Blacklists stehen.
Bin schon gespannt :)
mfg
cane
Für all jene die ins Thema eintauchen wollen hier mal einige wenige interessante Links, ich kenne leider keine gute Linkliste:
Übersicht, rechtlicher Einordnung
http://de.wikipedia.org/wiki/E-Mail
http://de.wikipedia.org/wiki/Spam
http://www.bsi.de/literat/studien/antispam/index.htm
http://www.ke.informatik.tu-darmstadt.de/lehre/ss05/spam-filtering/
Email Header verstehen
http://www.th-h.de/faq/headerfaq.php
Antispam Projekte auf (inter)nationaler Ebene
http://www.spotspam.net/
http://www.internet-beschwerdestelle.de/
http://www.eco.de/services/1863.htm
http://wiki.junkemailfilter.com/index.php/UN_Spam_Paper
Postfix - Anti Spam Massnahmen
http://howtoforge.com/block_spam_at_mta_level_postfix
Greylisting
http://www.greylisting.org/
http://sqlgrey.sourceforge.net/
http://www.vanheusden.com/sgwi/
http://postgrey.schweikert.ch/
Policy Weighting
http://www.policyd-weight.org/
Checksum / Fuzzing
http://www.rhyolite.com/anti-spam/dcc/
http://razor.sourceforge.net/
DKIM, SPF, ...
http://www.dkim.org/
http://www.openspf.org/
Blacklists
http://www.sdsc.edu/~jeff/spam/cbc.html
http://wiki.openrbl.org/wiki/Main_Page
http://www.declude.com/Articles.asp?ID=97
http://www.moensted.dk/spam/
http://wiki.junkemailfilter.com/index.php/Spam_DNS_Lists
http://www.surbl.org/
http://uribl.com/
http://www.dnsbl.manitu.net/
DNS-Whitelists
http://www.dnswl.org/
Blacklist-Lookups
http://spamlinks.net/filter-dnsbl-lookup.htm#general-sites
http://openrbl.org/query?
SpamAssassin
http://wiki.apache.org/spamassassin/
Bayes Filter
http://spambayes.sourceforge.net/index.html
http://entrian.com/sbwiki/FrontPage
http://bogofilter.sourceforge.net/
Mailscanner
http://www.mailscanner.info/users.html
http://mailwatch.sourceforge.net/doku.php
Performancetests
http://www.heinlein-support.de/upload/martinec.pdf
Nette Ideen
http://wiki.apache.org/spamassassin/ExperimentalTheoretical
http://konfidi.org/wiki/Main_Page
http://www.junkemailfilter.com/spam/how_it_works.html
http://wiki.apache.org/spamassassin/SoughtRules
Reporting-, Statistik- und Analyse-Tools
http://www.vanheusden.com/multitail/
http://wiki.apache.org/spamassassin/StatsAndAnalyzers
http://mailwatch.sourceforge.net/doku.php
Echte Statistiken
http://spamstats.q-space.de/
HowTos, Best Practices & more
http://www.gbnetwork.co.uk/mailscanner/
http://wiki.mailscanner.info/doku.php?id=best_practices
...
zuersteinmal: Mich interessieren nur AntiSpam Lösungen die für den Unternehmenseinsatz geeignet sind.
Ich erstelle momentan ein neues Antispam Konzept und teste diverse Lösungen, würde mich freuen wenn ihr eure Implementierungen darlegt und
die verwendete Umgebung nennt
eure Antispam Lösung nennt
beschreibt warum ihr gerade diese Lösung anderen vorgezogen habt
falls zur Hand die aktuelle Filterquote und der Maildurchsatz
welche Optionen / Extensions ihr aktiviert habt / verwendet
wo es Probleme gibt
was zukünftig geplant ist
...
Je mehr desto besser :)
Vereinfachtes Beispiel wie ich mir das vorstelle:
Umgebung
6 MBps SDSL, ein HP DL385 mit einem Opteron 275, 4 GB RAM, System auf zwei 36er 10k SCSI im RAID1, Rest auf vier 74er 10k SCSI im RAID10.
Load im Monatsmittel bei 1.7, Lastspitzen vor allem wenn Spam in den Bayes Filter gelernt wird bis zu einer 5 Minuten Load von 9.
Greylisting
Als erster Schritt Greylisting, implementiert als Postfix Transport über sqlgrey. Wurde gewählt weil die Alternative Postgrey auf BDBs basiert die bekanntlich nicht sehr stabil sind, zudem ist es einfacher Hosts die nicht gegreylistet werden sollen per SQL in die Datenbank zu schreiben, entweder per Script oder mittels dem netten Webfrontend SGWI.
Inhaltsfilterung, Ditributed Checksums, Razor, Pyzor, Blacklists und URI Blacklists [Nennung der Listen]
Alles per SpamAssassin Modulen. SpamAssassin läuft als SPAMD, SPAMD forkt maximal 10 children, in der master.cf sind die PROCS auf zwei limitiert. Das wurde soweit verringert weil ansonsten Lastspitzen auftreten.
Bayes Filter
Userbezogene Bayes Datenbanken so das jeder sein eigenes Profil perfekt trainiert - gelernt wird mit einem Script das sa-learn über userbezogene IMAP Folder macht in die User nicht erkannten oder fälschlicherweise erkannten Spam schieben.
Warum so?
Die Lösung ist gewachsen, Greylisting wurde primär gemacht um die Queues nicht zu belasten und die Load zu mindern.
Filterquote
Meist im Bereich um 98 %, FalsePositives nur wenn jemand Mist baut und seinem Bayesfilter fälschlicherweise HAM als SPAM füttert.
Maildurchsatz
Aufschlagen tun pro Tag ~ 60.000 Mails, durch Greylisting kommen beim SPAMD nur noch ca. 30.000 Mails an, davon werden durch SPAMD 12.000 als Spam erkannt.
Probleme / Planung
Es ist unklug das Blacklisting von SPAMD erledigen zu lassen, daher wird zukünftig Blacklisting von Postfix selbst erledigt. Weiterhin wird die Inhouselösung von Expurgate getestet. Ausserdem ist gerade ein Nagios Plugin fertig geworden das checkt ob die eigenen MTAs womöglich wegen Bounces auf Blacklists stehen.
Bin schon gespannt :)
mfg
cane
Für all jene die ins Thema eintauchen wollen hier mal einige wenige interessante Links, ich kenne leider keine gute Linkliste:
Übersicht, rechtlicher Einordnung
http://de.wikipedia.org/wiki/E-Mail
http://de.wikipedia.org/wiki/Spam
http://www.bsi.de/literat/studien/antispam/index.htm
http://www.ke.informatik.tu-darmstadt.de/lehre/ss05/spam-filtering/
Email Header verstehen
http://www.th-h.de/faq/headerfaq.php
Antispam Projekte auf (inter)nationaler Ebene
http://www.spotspam.net/
http://www.internet-beschwerdestelle.de/
http://www.eco.de/services/1863.htm
http://wiki.junkemailfilter.com/index.php/UN_Spam_Paper
Postfix - Anti Spam Massnahmen
http://howtoforge.com/block_spam_at_mta_level_postfix
Greylisting
http://www.greylisting.org/
http://sqlgrey.sourceforge.net/
http://www.vanheusden.com/sgwi/
http://postgrey.schweikert.ch/
Policy Weighting
http://www.policyd-weight.org/
Checksum / Fuzzing
http://www.rhyolite.com/anti-spam/dcc/
http://razor.sourceforge.net/
DKIM, SPF, ...
http://www.dkim.org/
http://www.openspf.org/
Blacklists
http://www.sdsc.edu/~jeff/spam/cbc.html
http://wiki.openrbl.org/wiki/Main_Page
http://www.declude.com/Articles.asp?ID=97
http://www.moensted.dk/spam/
http://wiki.junkemailfilter.com/index.php/Spam_DNS_Lists
http://www.surbl.org/
http://uribl.com/
http://www.dnsbl.manitu.net/
DNS-Whitelists
http://www.dnswl.org/
Blacklist-Lookups
http://spamlinks.net/filter-dnsbl-lookup.htm#general-sites
http://openrbl.org/query?
SpamAssassin
http://wiki.apache.org/spamassassin/
Bayes Filter
http://spambayes.sourceforge.net/index.html
http://entrian.com/sbwiki/FrontPage
http://bogofilter.sourceforge.net/
Mailscanner
http://www.mailscanner.info/users.html
http://mailwatch.sourceforge.net/doku.php
Performancetests
http://www.heinlein-support.de/upload/martinec.pdf
Nette Ideen
http://wiki.apache.org/spamassassin/ExperimentalTheoretical
http://konfidi.org/wiki/Main_Page
http://www.junkemailfilter.com/spam/how_it_works.html
http://wiki.apache.org/spamassassin/SoughtRules
Reporting-, Statistik- und Analyse-Tools
http://www.vanheusden.com/multitail/
http://wiki.apache.org/spamassassin/StatsAndAnalyzers
http://mailwatch.sourceforge.net/doku.php
Echte Statistiken
http://spamstats.q-space.de/
HowTos, Best Practices & more
http://www.gbnetwork.co.uk/mailscanner/
http://wiki.mailscanner.info/doku.php?id=best_practices
...