disLEXia

Ich habe 2007 bei der Einführung von Zimbra in der Firma versprochen, dass man “nie wieder Mail löschen” müsste. Das hat bei einigen Usern dazu geführt, dass einige Heavy User Inzwischen die 50 GB Marke Durchbrochen haben.

Für diese User ist E-Mail das zentrale Archivsystem. Wenn wir jetzt aber auf eine anderes Mailsystem, wie Google Apps umsteigen, wo wir “nur” 25 GB Mail pro user speichern können, haben wir ein Problem.

Bei näherer Betrachtung stellt sich heraus, dass die User mit sehr vielen Mails, relativ wenig Speicher (2 GB oder so) verbrauchen. Die User, die so viel Speicher verwenden sind die, die viele Attatchments haben.

Ein alter Plan von mir (noch aus Exchange Zeiten) war es, einfach die Attatchments von den Mails zu entfernen. Die Mails selber kann man sogar auf dem Server lassen und das Attatchment durch einen Link, wo die Datei jetzt herunter geladen werden kann, ersetzen.

Ich hab das mal bei Rent-A-Coder ausgeschrieben:

We need an Python Command Line Application which connects to an IMAP4 server and scans all messages (in all subfolders) of a certain account. If the messages are older than a certain date and have Attatchments bigger than a certain size the attatchmens should be extracted from the Message.

In addition there should be an option to remove the attatchment from the message (but keep the message) on the server (to save space on the server).
Output Should be put in CouchDB (see http://code.google.com/p/couchdb-python/#) where you should put To:, From:, Date:, Subject, In-Reply-to, References and Message-Id in the document. The Attatchment should be added as couchdb Attatchment conserving the mime type and file name.

Command line invokation might look like this:

remove-attachments
--server=myserver.example.com # IMAP hostname
--user=username # IMAP user
--password=pass # IMAP password
--couchdb=http://localhost:5984/maildb # save to couchdb running here
--mindate=2009-03-01 # only  check messages send befor this date
--minsize=1500 # only check messages bigger than 1500 KB
--remove # remove attatchments

If an Attatchment is removed instead of it there should be put a note in the message that an attatchment has been removed.

Since we will have extremely big (> 50GB) Mail Folders the tool must be able be run several times on the same account without generation duplicates in CouchDB.

Vor etwa einem Jahr sind wir auf Zimbra umgestiegen. Eine Anforderung war: Unterstützung grosser Mailboxen. Bei 25 Cent pro GB Plattenplatz muss keiner seine Arbeitszeit mit dem Löschen von E-Mails verbringen.

Wenn man sich die Daten vom Vorjahr anschaut, haben die User tatsächlich fleissig nicht gelöscht und stattdessen Mail aufgehäuft.

Bilanz: Heavy User erzeugen 5-10 GB Mail pro Jahr. Beeindruckend.

Ein paar Tage nach unserer Zimbra Umstellung wollte ich mehr Speicher in den Server einbauen. Danach war der Server kaputt. Bootete nicht mehr. Tatsächlich stellte sich nachher raus, dass ein Speicherriegel defekt war – ob der nun das Mainboard auf dem gewissen hat oder woran es auch immer Lag, die Box war bricked. Ich hatte zwar och einen server in der Hinterhand, aber der hatte ein Gehäuse mit SCSI RAID – keine Chance die 8 Platten sATA-RAID und die eine IDE Bootplatte unterzubringen. Die Platten im SCSI-Raid waren aber deutlich zu klein für meinen Bedarf. Also all mein Taschengeld in neue, grössere SCSI Platten investiert.

Für die Zwischenzeit habe ich mir einen “Frankenserv” gebaut. Zwei grosse Rackrechner nebeneinander auf den Tisch, in den einen (kaputten) die Platten, Controller dafür in den Anderen, fertig das ganze. Lief auch erstaunlich gut – eigentlich sogar besser als vorher. Zimbra läuft entscheidend besser auf einer 4 Prozessor Maschine mit 8G als auf einem Prozessor mit 1 GB.

Nun war es Zeit, das ganze wieder in ein Gehäuse zu bauen. Insbesondere war es die Aufgabe Kinder Unix, auf dem Zimbra ja leider läuft, dazu zu bringen, von dem obskuren RAID Controller zu booten. Was mir dabei vor allem mal wieder klar geworden ist: Die Dokumentation von Linux ist wirklich in einem katastrophalen Zustand. Aber jetzt ist GRUB umkonfiguriert/-installiert, eine neue initrd gebaut, LVM abgeschaltet und das System bootet sauber. Kein Frankenserv mehr. Uff.

Zu den Userbeschwerden nach unserer Mailumstellung gehört: “Zimbra ist überfrachtet”. Naja:

Seit heute Nachmittag ist unser Zimbra System im “Echtbetrieb”. Der Import Usermailboxen (”Archive” laut Outlook-Denke) hat doch deutlich mehr Arbeit gemacht, als erwartet. Der Ganze MAPI-Stack samt des Zimbra Import Assistenten hat sich sehr oft verklemmt und gelegentlich war das nur durch einen Reboot der Windows Maschine(n) zu beheben. Naja, MAPI hat ja bald ein Ende.