Keine Hilfe, aber
ich habe ein Deja Vue, irgendwie gab es das Thema doch neulich schon?
Und mein blöder Einwand, der nicht hilft, aber vielleicht zu bedenken ist:
Wenn schon das Erzeugen solcher Dateien ein Problem darstellt, wie sieht es dann bei der Weiterverarbeitung aus? Mir schwebt der nächste Threadtitel vor: "Einlesen großer
XML Dateien, welche Lib .."
Ich weiß, meistens gibt es Gründe, es so zu machen, wie gefordert, aber manchmal lohnt es vielleicht, einen anderen Ansatz zu erdenken oder die Wieso-Eigentlich Frage zu stellen. Natürlich auch für Leute, die das Thema später hier finden.
Und das muss nicht unbedingt ein anderes Format sein. Es reicht u.U. eine höhere Frequenz. Die kann sich aus Zeitrastern, Events, Kategorien ergeben und dann wird aus einer nächtlichen Monsteraktion etwas granulares, xyz MB statt GB. Wenn möglich (halbwegs robuste Online Verbindung) landet man z.B. bei mqtt oder sowas. Erzeugung und Weiterverarbeitung des Formats dürfte ja eh mehr oder weniger etabliert sein. Alles nur kleiner oder sehr klein portioniert. Das ergibt auch eine gleichmäßigere Systemauslastung.