PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : IMAP Server mit vielen Mails = LANGSAM?



Tiroler
29.03.04, 16:16
Folgendes Problem:
Ich habe einen IMAP Server im Netzwerk installiert, damit die Mails zentral abliegen (MDK 9.2 und Standard IMAP)
Jetzt hat mein Chef seinen gesamten Outlook Ordner mit seinen zahlreichen Archiven (Summe etwa 3 GB) auf den Server geladen...
Blöderweise dauert das Öffnen des IMAP Ordners in Outlook jetzt eine geschlagene Minute und auch sonst ist es äußerst zäh zu bedienen... (auch das Abfragen der neuen Emails) macht natürlich keinen Chef glücklich (der sagt, dass seine pst Ordner auf dem Server viel schneller war als das Linux Zeugs... :( )

Kann mir jemand helfen, wie ich es besser machen kann?

Vielen Dank,
der Tiroler

steve-bracket
29.03.04, 16:54
Welcher Prozess benötigt Leistung???????????

--Stärkere Hardware
--Die Mailablage auf eine eigene Partition
--Die eigene Mailpartition auf eine eigene Festplatte
--RAIDVerbund

Oder liegt's am LAN, Gbit Ethernet usw...


Gruß

Tiroler
29.03.04, 17:08
Danke für die Antwort!

Also an der Hardware liegts nicht... ist ein neuer Server mit RAID, eigener Partition und zumindest einer 100 MBit (Full) Anbindung...

Sonst noch Tipps?

steve-bracket
29.03.04, 17:59
3 GB für eine Mailbox, das ist verdammt groß.


Welcher Prozess benötigt Leistung???????????


Gruß

Tiroler
29.03.04, 21:50
Hmm, tja - wie könnte ich es denn eigentlich im Windows/Outlook testen, an was es liegt?

Was machen andere in meiner Situation? Wirklich Outlook .pst Dateien ablegen?

Danke,
der Tiroler!

drcux
30.03.04, 00:20
Der Standard-Imap, ich denke du meinst den UW-Imap, ist bei großen Mailboxen wirklich träge. Besser geeignet für solche Mengen sich Cyrus oder Courier...

delmonico
30.03.04, 16:03
DREI GB??? Ich hab hier ungefähr 20.000 Mails mit ca. 100MB. Das macht dann ja das 30fache also 600.000 EMails??? Seit wann hatten dien Chef internet? :D

Hast du denn mal nen anderen client versucht, vielleicht liegts ja an outlook?

Ansonsten versuch mal den courier-imap. Mein Mandrake-Cooker Verzeichniss mit etwa 10.000Mails lädt kmail problemlos in einer Sekunde übers LAN...

steve-bracket
30.03.04, 18:18
Also ich hab hier eine Cyrus Mailbox.
Sind die gesammelten Mails seit ca 2,5 Jahre mit einer Gesamtgröße von ca. 1.6 GB.
Kenne keine Spur von Trägheit, die Box ist genauso performant wie die eines Kollegen mit 50 MB.

btw.
Auf Arbeit muss ich Outlook verwenden.
Die ExchangeBox hat nur 30MB daher lege ich Mails in *.pst Dateien ab.
Das Problem ist nur, dass diese Dinger ab einer gewissen Größenordnung die Datenintegrität verlieren. Das Ding geht einfach kaputt. Die magische Grenze liegt bei ca. 1,5GB.
Unsere Windows-Fuzzies haben mir mal erzählt es gäbe sogar ein eigenes Reparaturtool, das aber auch nicht 100% funktioniert.
Bei nem Kollegen hat das reparieren funktioniert, bei mir nicht. :-(

Kann das wer bestätigen???
Wer arbeitet sonst noch mit Outlook.(zwangsweise)

Also mein Vorschlag -->> verwende einen anderen IMAP. (courier, cyrus)

Gruß

Tiroler
30.03.04, 21:03
Also ich hab hier eine Cyrus Mailbox.
Auf Arbeit muss ich Outlook verwenden.
Die ExchangeBox hat nur 30MB daher lege ich Mails in *.pst Dateien ab.
Das Problem ist nur, dass diese Dinger ab einer gewissen Größenordnung die Datenintegrität verlieren. Das Ding geht einfach kaputt. Die magische Grenze liegt bei ca. 1,5GB.
Unsere Windows-Fuzzies haben mir mal erzählt es gäbe sogar ein eigenes Reparaturtool, das aber auch nicht 100% funktioniert.
Bei nem Kollegen hat das reparieren funktioniert, bei mir nicht. :-(

Kann das wer bestätigen???
Wer arbeitet sonst noch mit Outlook.(zwangsweise)


Stimmt - so ähnliche Erlebnisse hatte ich auch schon!!! Hab allerdings in der ct gelesen, dass bei Outlook 2003 diese magische Grenze bei etwa 4 GB liegt.

Es kann gut sein, dass es an meinem UW-Imap liegt, da er unter PHPGroupware (also ein Web-Mail-Client) auch ziemlich langsam ist...

Mit Cyrus habe ich so meine Konfigurationsprobleme, werde wohl am Besten Courier probieren müssen... ist das Mailbox Format dann noch das Gleiche? Wie kann ich die ganzen Ordner im- bzw. exportieren?

der Tiroler!

Stanislaus
30.03.04, 22:11
@steve-bracket: Jo, hab das selbe Trauerspiel auf der Arbeit. Bei mir hat die erste .pst allerdings schon bei stolzen ca. 150MB den Geist aufgegeben. War bis jetzt aber (bei mir) das erste und einzige mal. Ich versuch nach Möglichkeit aber auch Outllok weitestgehen zu vermeiden. Da ich von zeit zu Zeit PHP schreiben muss oder auch einiger Serverdienste auf Linux programmiert werden hab ich aber auch ein hübsches Gentoo auf meinem Firmenhobel und kann mein gewohntes Evolution nutzen.

@topic: Selbst mein 200MHz AMD K6 braucht für ca. 1GB nur 10 Sekunden und dabei ist es eher die urälteste Platte als die CPU. courier-imap.

Bis neulich ...

delmonico
30.03.04, 23:46
Stimmt - so ähnliche Erlebnisse hatte ich auch schon!!! Hab allerdings in der ct gelesen, dass bei Outlook 2003 diese magische Grenze bei etwa 4 GB liegt.

Es kann gut sein, dass es an meinem UW-Imap liegt, da er unter PHPGroupware (also ein Web-Mail-Client) auch ziemlich langsam ist...

Mit Cyrus habe ich so meine Konfigurationsprobleme, werde wohl am Besten Courier probieren müssen... ist das Mailbox Format dann noch das Gleiche? Wie kann ich die ganzen Ordner im- bzw. exportieren?

der Tiroler!
Courier ist eigentlich ganz simpel und speichert die mails auch in Maildirs, aber ich glaube mit ner anderen struktur. dann gibts aber sicher nen konvertert... such mal nach "migrating uw-imap courier" oder so...

RichieX
31.03.04, 12:27
... da hab ich auch so meine Probleme. Langsam in Verbindung mit Outlook ist er sowieso (etwas besser ist es mit Netscape oder Sylpheed), nochdazu greifen mehrere auf dieses eine Postfach zu. Aber mein eigentliches Problem ist, dass bei 2GB (genau 2048MB) finito ist, soll heißen procmail logt:kann nicht in file schreiben (genaue Meldung hab ich nicht im Kopf). Woran kann das liegen?

Habe als Zwischenlösung dem Kunden eingebläut, dass er die Mails in verschiedene Unterordner schieben soll, damit die magische Größe nicht erreicht wird. Gibst ne andere Lösung?

RichieX

steve-bracket
31.03.04, 13:20
Courier ist eigentlich ganz simpel und speichert die mails auch in Maildirs, aber ich glaube mit ner anderen struktur. dann gibts aber sicher nen konvertert... such mal nach "migrating uw-imap courier" oder so...

Zu Courier kann ich nicht viel sagen, keine Erfahrung, denke aber es ist bestimmt auch kein Problem in dieser Größenordnung.
Wie performant ist das Maildir Format eigentlich, Zb. im Vergleich zu nem anderen Format. Ein Benchmark-Auszug wäre da mal interessant

btw. zu Courier
wo werden eigentlich "by Default" die Mails beim Courier-IMAP abgelegt, (/home/user/mail ????) wo werden die Information zu den einzelnen Ordnern/Mails abgelegt, und wie verhält sich Courier bei nem "Backup-Szenario".
Was ist dabei zu beachten.


Gruß
Stefan

Tiroler
31.03.04, 16:50
bei UW-IMAP liegt der Posteingang unter /var/spool/mail, was mir eh auch nicht passt... kann ich da eine Umleitung einrichten?

der Tiroler

RichieX
31.03.04, 17:48
bei UW-IMAP liegt der Posteingang unter /var/spool/mail, was mir eh auch nicht passt... kann ich da eine Umleitung einrichten?

der Tiroler

Da kannst du procmail verwenden.

RichieX

LINUXRH7
01.04.04, 11:32
Hallo,

ich habe auch iMAP zuhause installiert und etwas mehr als 100000 Mails in den Postfächern. Selbst wenn ich von der Firma aus die Mails lesen will geht das recht zügig.

Habe hier mal ein wenig getestet.
Firebird und Mac schnell.
Firebird und Linux schnell.
Firebird und Windows schnell.
Outlook und Windows lahm.

In dem einen Ordner sind jetzt nur Mails von Monat März 4134 Stück und der holt nur die Kopfzeilen in Outlook noch nicht einmal die ganzen Mails und braucht jetzt schon 10 Minuten.

Wenn ich das Konto in Firebird einrichte dauert das ganz nur ca 2-3 Minuten.

Beide versuche waren jetzt mal mit Windows. Wenn alle Kopfzeilen eingelesen wurden werde auch nur noch die neuen vom Server herunter geladen. Und die Mails dann komplett beim aufrufen.
Auch hierbei ist Outlook wieder deutlich langsamer obwohl man von der grösser der einzelnen E-Mail eigentlich keinen unterschied merken können sollte. Erstaunlich das Outlook selbst dabei lange braucht um diese anzuzeigen.

Mach es wie ich, verbiete Outlook in der Firma :D

Gruss
LiNUXrh7

Tiroler
01.04.04, 11:49
Hallo,

ich habe auch iMAP zuhause installiert und etwas mehr als 100000 Mails in den Postfächern. Selbst wenn ich von der Firma aus die Mails lesen will geht das recht zügig.


Welchen IMAP Server hast du denn verwendet? Courier oder UW-IMAP?

der Tiroler

PS: Ja, Outlook verbieten wäre eine tolle Sache... aber erfordert stundenlange Überzeugungsarbeit...

LINUXRH7
01.04.04, 12:10
Courier setze ich dort ein. Den anderen könnte ich aber auch auf dem anderen mal testen.

Gruss
LiNUXrh7

PS: Einfach mal Opera zeigen. Besonders wie neue und ungelesene Nachrichten angezeigt werden. Da werden Mail so schnell nicht mehr vergessen, weil Sie besser angezeigt werden. Erst wenn man mit K-Taste sagt erledigt verschwindet sie aus Ungelesen. Eines von vielen kleinen Vorteilen. Umgang mit Anhängen usw.

zeeman
01.04.04, 14:21
courier imap erwartet die mail in /home/<user>/Maildir
im Maildir-Format.
procmail kann man das einfach angeben.
wenn man in der procmail-rc das zielverzeichiss _mit_ einem / am ende angibt, speichert procmail auch schön als Maildir (ohne / am ende macht der alles, nur nciht das, was c-imap versteht)

ich denke bei vielen mail ist die performance des FS ausschalggebend, da jede mail als einzelne datei gespeichert wird (sehr schön für backup)
ich merk es nur gerade bei reiserfs und nem ordner mit 10.000 dateien (jaja, muss ich mal aufräumen)
da dauert das laden im konqi. ~3 sek (wenn er es einmal im ram hat gehts die ganze linux-session lang)

steve-bracket
01.04.04, 14:54
courier imap erwartet die mail in /home/<user>/Maildir
im Maildir-Format.


Nehme an das ist default, und man kann das doch auch bestimmt selber bestimmen.

Gruß

Tiroler
01.04.04, 15:52
@zeeman: Courier speichert jede Mail als einzelne Datei? und UW-IMAP macht eine fette Datei draus... und da ist Courier performanter? Das check ich nicht ganz... normalerweise ist doch das Einlesen einer großen Datei viel schneller, als tausende Einzelne...

Tiroler
05.04.04, 16:59
Jetzt muss ich nochmal lästig sein...

Aufgrund eurer Tipps hab ich beschlossen, Courier IMAP zu installieren. Mandrake's Software Manager hat mir auch gleich UW-IMAP entfernt und Courier installiert (ich liebe linux)
Ich bekomme per Telnet auch den IMAP & POP zu Gesicht... leider fehlt mir jetzt der grundlegende Ansatz, wie ich das Ding konfigurieren kann?
Da ich nur ein paar User habe, kann ich auf Dinge wie MySQL, LDAP und PAM verzichten - ich möchte "nur" eine einfache Passwortdatei...

Bitte um grundlegende Hilfe - auf der Courier Homepage werd ich nicht so recht schlau!

Danke,
der Tiroler!

ennservogt
28.07.04, 17:02
Ich hatte vor etwas mehr als einem Jahr das selbe Problem. Der UW-IMAP Dämon wurde immer langsamer und langsamer. Es ist ja auch logisch. Das Mailboxformat des uw-imapd ist einfach nicht geeignet für viele Mails. Wenn man 1000 Mails in einer Mailbox hat, dann muss der Dämon JEDESMAL beim Öffnen der Mailbox die GESAMTE Datei lesen. Klar, dass das Öffnen einer Mailbox da immer länger dauert! Ich habe mich dann für den Courier IMAP Server entschieden.

Auf http://www.courier-mta.org/mbox-vs-maildir/ findet ihr einen Performance Vergleich zwischen dem UW und Courier Dämon.

Hier nun die nötigen Schritte um den Courier IMAP Server inkl. Authorisation über eine simple userdb in einer kleinen Workgroup zum Laufen zu bringen. Die Verzeichnisse kannst nach beleiben anpassen:

1. Befehl um einen neue virtuelle Mailbox anzulegen:
userdb "<benutzername>" set home=/home/vmail mail=/home/vmail/Maildir-<maildirname> uid=1001 gid=1001

2. passwort neu erstellen oder abändern:
'userdbpw | userdb "<benutzer>" set imappw'

3. danach muss die datenbank neu kompiliert werden:
'makeuserdb'

dies ist nach jeder Änderung in dieser datei
erforderlich. Nachdem die datenbank kompiliert wurde tretten die Änderungen sofort in kraft!

Ich hoffe ich kann dir damit helfne. Wenn nicht alles klappt, dann melde dich nochmals.

Tiroler
28.07.04, 17:28
Danke!
Ich hätte wohl schreiben sollen, dass ich es mittlerweile wunderbar am Laufen hab... mittlerweile sogar schon einige Installationen...

Mit Mandrake 10 ist's ohnehin simpel geworden, da hier alles bereits eingestellt wurde... ein einfaches maildirmake reicht und die erste Mailbox ist am Laufen...

der Tiroler