Ideen für die Umsetzung von einem Daten Importer.

[jobo]

Ich würde für ein Konzept erstmal unterscheiden zwischen
Format
Transformation
~Konsistenz
Art
~Abgleich
Realisierung

Format wären CSV, TSV, FIX, XML, JSON ...
Transformation beschreibt welche Daten in welcher Form im Zielsystem weiterverendet und umgeform werden.
~Konsitenz soll den Datenbestand in sich prüfen können (Dubletten, Constraints, ..)
Art beschreibt die geplante Art und Weise der Weiterverarbeitung wie Aktualisierung von Bestandsdaten(Update, Upsert, Delete,..), Austausch, Append, ..
~Abgleich soll eine erweiterte Konsitenzprüfung gegen den vorhandenen Datenbestand inkl. Filterung sein
Realisierung betrifft am Ende die Umsetzung, also Technologie. Ich mach das bspw. meist alles per DB, die z.B. in der Lage ist, alle notwendigen Formate (CSV, FIX, XML, JSON..) nativ zu lesen. Ab da dann SQL.
Im ERP Bereich hab ich wenig Erfahrung. Da kann ich mir vorstellen, dass es viele Räder gibt, die man nicht neu erfinden muss und sie dann sinnvoll nutzt. Ähnlich sieht es evtl. in anderen etablierten EDV Bereichen aus, bspw. Banking (kleiner Scherz)

Ein besonderer Punkt wäre noch die Fehlerbehandlung bzw. die Unterscheidung, ob Importquellen maschinellen sind oder menschlichen Ursprungs. Fehler sollten zu allererst auf Formatebene, dann auf logischer Ebene (>~Konsitenz, >~Ablgeich) geprüft, gemeldet, behandelt werden.
Zuletzt im Rahmen von Workflows, Performance (Volumen) und Fehlerbehandlung dann noch die Frage, wie der Importvorgang als logische Transaktion gehandhabt werden muss (Reversibel, Voll-/Teilverarbeitung, Queuing, Revision/Feedback/Protokollierung).