Verwaltung eines IMAP-EMail Kontos programmtechnisch realisieren

[Harry Stahl]

Ich möchte jetzt nun doch auch eine volle IMAP-Kompatbilität in meinem E-Mail-Programm integrieren, also in dem Sinne, dass man nicht nur einfachen Zugriff auf den Eingang und den Ausgang des IMAP-Mailkontos hat (bislang hat mein E-Mail-Programm IMAP-Konten einfach wie POP-Konten behandelt), sondern auch eine Synchronisierung mit diesen Ordnern oder anderen Ordnern stattfinden kann.

Ich habe dazu eine Frage genereller Art und einige Teilfragen:

1. Generell: Wie geht man sinnvoll mit den evtl. doch hohen Datenumfängen um, die u.U. auf einem IMAP-Konto gegeben sein können? Ich möchte ja nicht immer alle evtl. zig-tausend dort liegenden Mails prüfen, ob einige neu hinzugekommen sind, die auf meinem Computer lokal zu synchronisiert werden müssten. Gibt es evtl. da spezielle IMAP-Befehle, die einem nur neue (noch nicht gelesene) Mails zuliefern, oder die erst ab einem bestimmten Datum hinzugekommen sind?

2. Kann man statt den ganzen Header nur Message-ID's anfordern (meinte mal irgendwo so was gelesen zu haben, finde da aber nichts)? Das würde weniger Traffic erzeugen und könnte somit insgesamt schneller verarbeitet werden.

3. Bei meinen ersten Tests mit eigenen Mailkonten finden sich je nach Provider neben den Ordnern "INBOX" und "Sent" weitere Ordner. ZB. "Sent Messages".

* Warum gibt es einen solchen Ornder neben "Sent" und wer hat den angelegt?

* Neben "Trash" gibt es auch "Deleted Messages". Worin unterscheiden die sich?

* Manche Sent-Ordner heißen nicht "Sent" sondern "INBOX.Sent" und sind auch nur mit dieser genauen Bezeichnung ansprechbar. Gibt es da keine eindeutigen Standards bzw. gibt es Dokumentation, wo so etwas beschrieben ist?

(vgl. als Anlage ein Beispiel meines WEB.DE Accounts)

4. Bei IMAP ist es möglich mit einer (IMAP-Idle?) Funktion sich aktiv benachrichtigen zu lassen, wenn neue Nachrichten vorliegen? Stimmt das und geht das auch, wenn andere Clients auf Nachrichten horchen?

Puuh, ne Menge Fragen, wäre da auch für Infos dankbar, die nur einen Teil erhellen...

Mir steht Delphi 10.2.3 Enterprise mit den dort vorhadenen INDY-Komponenten zur Verfügung.

[Harry Stahl]

Na, zumindest zu der Ordnerstruktur gibt es ein paar grundsätzliche Erklärungen in diesem RFC-Dokument:

https://tools.ietf.org/html/rfc6154

Dennoch scheint die Verwendung nicht einheitlich zu sein (vgl. obige Erwähnung "INBOX.Sent").

[Schokohase]

Zu den Ordnern:

Jeder Email-Client kann dort nach Gutdünken eigene Ordner für diese Standard-Ablagen anlegen. Die vernünftigen Clients erlauben aber auch die Anpassung durch den Benutzer, um alle Clients (Web, Desktop, Smartphone, ...) auf die gleichen Ordner umzustellen.

[Harry Stahl]

OK, danke für die Info. Habe testweise mal das Konto bei Thunderbird eingerichtet. Das hat dann alle Ordner, die auf dem Server liegen, entsprechend lokal eingerichtet und bei Klick auf den Posteingangs-Ornder direkt ungefragt alle e-mails runter geladen. Das ist nicht was ich selber wollte und vielleicht wollen auch andere User das nicht, dass auf allen Clients wirklich alle Daten lokal zur Verfügung stehen (reicht ja evtl., dass ich auf einen bestimmten Rechner nur die Mails der letzten Tage / Wochen habe.

Aber interessant war: Parallel zu den gerade in Thunderbird angezeigten Mails habe ich die gleichen Mails (bzw. nur deren Header) mit meinem Programm abgerufen und 2 Mails gelöscht. Diese wurden dann unmittelbar auch in Thunderbird gelöscht.

Das ist schon cool, da muss es also tatsächlich so eine Art Benachrichtungsfunktion (push) geben.

Weiß jemand, wie man die mit den Indys realisiert?

[samso]

Sieh Dir doch mal RFC 5465 an. Soweit ich weiß, wird das aber von Indy nicht unterstützt.

[Harry Stahl]

Danke, ich schau da mal morgen in Ruhe rein. Schade, wäre schön gewesen, wenn das mit den Indys möglich wäre.

[KodeZwerg]

Zitat:

Zitat von Harry Stahl (Beitrag 1409248)

2. Kann man statt den ganzen Header nur Message-ID's anfordern (meinte mal irgendwo so was gelesen zu haben, finde da aber nichts)? Das würde weniger Traffic erzeugen und könnte somit insgesamt schneller verarbeitet werden.

Je nach dem was Du unter Header verstehst. Vielleicht meinst Du die TransportProtokoll Values? (da wo zum Beispiel festgehalten wird von welchen zu welchen Server etc?) Falls ja, irgendwo schlummert Code dazu bei mir rum.... Falls nein, bitte besser definieren, Danke.

[Harry Stahl]

Zitat:

Zitat von KodeZwerg (Beitrag 1409432)

Zitat:

Zitat von Harry Stahl (Beitrag 1409248)

2. Kann man statt den ganzen Header nur Message-ID's anfordern (meinte mal irgendwo so was gelesen zu haben, finde da aber nichts)? Das würde weniger Traffic erzeugen und könnte somit insgesamt schneller verarbeitet werden.

Je nach dem was Du unter Header verstehst. Vielleicht meinst Du die TransportProtokoll Values? (da wo zum Beispiel festgehalten wird von welchen zu welchen Server etc?) Falls ja, irgendwo schlummert Code dazu bei mir rum.... Falls nein, bitte besser definieren, Danke.

Mit Header meinte ich den Header (die Kopfdaten) der E-Mail (also Von, An, Message-ID, Transfer-Encoding, Charset, usw).

[KodeZwerg]

Kann Dir da TIdMessageClient.ReceiveHeader weiterhelfen?

edit
Mit TIdMessage.Flags könntest Du mfRecent/mfSeen benutzen um nur neues zu erhalten. Als vorchecker.

[Harry Stahl]

Zitat:

Zitat von KodeZwerg (Beitrag 1409437)

Kann Dir da tid: TIdMessageClient;.ReceiveHeader weiterhelfen?

Kann das sein, dass sich das Zitat auf eine ältere Version von Indy bezieht?

Jedenfalls denke ich, dass es nicht weiterhilft, denn man bekäme dann wohl den ganzen Header. Meine Frage war, ob man nur die eindeutigen Message-ID's der Mails, die in einem IMAP-Ordner liegen, erhalten kann.

[KodeZwerg]

Zitat:

Zitat von Harry Stahl (Beitrag 1409438)

Kann das sein, dass sich das Zitat auf eine ältere Version von Indy bezieht?

Eventuell. Dann aber sollte es über TIdMessage.Headers / IdMessage.Headers.Values aber klappen.
Hier ist ein Ansatz dazu nachzulesen.

[samso]

Die von Indy vorgesehene Methode zum Abholen der UID ist:

Delphi-Quellcode:

var
  fSearchInfo: TIdIMAP4SearchRecArray;
  msgID: Integer;
  i: Integer;
begin
  SetLength(fSearchInfo, 1);
  fSearchInfo[0].SearchKey := skUnseen;

  IMAP.UIDSearchMailBox(fSearchInfo);
  for i:=0 to High(IMAP.MailBox.SearchResult) do
  begin
    msgID := IMAP.MailBox.SearchResult[i];
    DoOnMessage(IMAP, UsrIndex, IntToStr(msgID));
  end;
end;

Dabei ist "DoOnMessage" Deine Methode zur weiteren Behandlung einer Mail.

Die Kommandos die ein IMAP-Server beherrscht, sind in den passenden RFCs beschrieben. Um das Verhalten eines IMAP-Servers zu testen, kannst Du Dich per telnet mit dem Server verbinden und jedes einzelne Kommando manuell austesten. Einen Einstieg bekommst Du über

Wikipedia: Internet_Message_Access_Protocol

[Schokohase]

Leider ist das mit IMAP nicht so einfach.

Wenn man auf das Unseen-Flag setzt, dann kann es passieren, dass einem Mails durch die Lappen gehen (weil die Mails schon mit einem anderen Client angesehen wurden).

Dann muss man noch auf die UIDVALIDITY achten, ob die bislang gemerkten UIDs auch noch passen.

Siehe dazu

• https://stackoverflow.com/a/9967266/1744164
• RFC 4549: Synch Ops for Disconnected IMAP4 Clients

[Harry Stahl]

Zitat:

Zitat von Schokohase (Beitrag 1409448)

Leider ist das mit IMAP nicht so einfach.

Das trifft wohl zu. Ich habe im INDY-Source gesehen, es gibt auch die Funktion "GetUID", mit der man direkt auf den Mail-Index bezogen die UID holen kann.

Allerdings ist die UID leider nicht das was ich meinte (diese Information (UID) habe ich bislang auch nicht zu den geladenen Mails gespeichert, nur verschiedene andere einzelne Informationen aus dem Header), sondern die MsgID. Da scheint es leider keine Funktion zu geben, mit der man diese MsgID direkt, ähnlich wie mit der Funktion "GETUID" abrufen könnte (sondern eben immer nur den ganzen Header bekommt, wo die drin ist).

[Schokohase]

Diese MsgID ist ja auch ein optionaler Header der vom Absender eingetragen wird (oder auch nicht). Darauf kann man sich also nicht verlassen.

Die UniqueID wird vom IMAP-Server vergeben/verwaltet und innerhalb des UIDVALIDITY eindeutig.

[Harry Stahl]

Dass die MsgID in ganz seltenen Fällen fehlt, habe ich auch schon bemerkt. In diesen Fällen habe ich selber eine eindeutige MsgID erzeugt, aus anderen einmaligen Kriterien des Headers, um somit vergleichen zu können, ob eine Mail schon mal geladen wurde oder nicht...

UID wäre wohl besser gewesen... Aber da komme ich jetzt nicht mehr raus, wenn man einmal so ein System hat, ist man immer ein Stück gefangen darin (es sein denn, man nimmt größere Brüche und Ärger mit den Usern in Kauf)..

[TurboMagic]

Zitat:

Zitat von Harry Stahl (Beitrag 1409431)

Danke, ich schau da mal morgen in Ruhe rein. Schade, wäre schön gewesen, wenn das mit den Indys möglich wäre.

Es steht einem natürlich frei, Indy dabei zu helfen das umzusetzen... ;-)

[Harry Stahl]

Zitat:

Zitat von TurboMagic (Beitrag 1410417)

Zitat:

Zitat von Harry Stahl (Beitrag 1409431)

Danke, ich schau da mal morgen in Ruhe rein. Schade, wäre schön gewesen, wenn das mit den Indys möglich wäre.

Es steht einem natürlich frei, Indy dabei zu helfen das umzusetzen... ;-)

Wenn ich mein Programm fertig habe und ich da was rausgefunden haben sollte, poste ich es hier.

IMAP bietet ja viel mehr Möglichkeiten, man muss dafür aber auch eine Reihe von Schnittstellen zur Verfügung stellen (Ordner auf Server erzeugen, Löschen, umbenennen, Mails verschieben auf Server selber oder vom Server in lokale Ordner, etc).

Bedauere es sehr, das nicht früher unterstützt zu haben...

[Harry Stahl]

Ich überlege gerade, um das abholen von Mails von mehreren Konten zu beschleunigen:

Ist es eigentlich möglich zur gleichen Zeit mehrere Verbindungen zu unterschiedlichen Mail-Servern aufzunehmen (aber mit dem gleichen Port), mit IMAP oder POP Komponenten, die ich zur Laufzeit temporär erzeuge?

[Schokohase]

Warum sollte das nicht möglich sein?

Jeder HTTP-Server lauscht per default auf dem Port 80. Hast du da jemals Probleme bei gleichzeitigen Verbindungen zu unterschiedlichen Servern gehabt?

[Harry Stahl]

OK, klingt einleuchtend...:oops:

[mjustin]

Zitat:

Zitat von Schokohase (Beitrag 1410663)

Jeder HTTP-Server lauscht per default auf dem Port 80. Hast du da jemals Probleme bei gleichzeitigen Verbindungen zu unterschiedlichen Servern gehabt?

Überraschung! ... sogar zu ein und demselben Server kann man gleichzeitig mehrere Verbindungen auf Port 80 herstellen, es müssen nicht unterschiedliche Server sein :)