Große Datenmengen in MySql

[Ykcim]

Hallo Zusammen,

ich habe eine Frage, für die ich keine schöne Lösung habe. Ich habe eine Datenbank mit mehreren Tabellen, in denen 60. Datensätze und mehr enthalten sein können. Diese Daten kommen aus einem ERP-System und werden alle 30 min aktualisiert.
Bei diesem Aktualisierungsvorgang werden die Daten zuerst via "Load data infile in den MySQL Server geschoben. Anschließend hole ich die Daten wieder heraus, um sie zu bereinigen, zusätzliche Spalten anzulegen und verschiedene Berechnungen durchzuführen. Das ganze ist schon eine aufwendige Procedure. Wenn ich aber dann diese Daten wieder zurück in den Datenbankserver schiebe, erstelle ich heute erst wieder eine CSV-Datei und schiebe diese dann via "load data infile" in den MySQL Server.

Diese Lösung gefällt mir aber nicht wirklich. Die Procedure läuft zwar schon seit einem Jahr ohne Probleme aber ich möchte das Programm gerne verbessern. Daher habe ich mir jetzt die UniDac Komponenten zugelegt.

Mich interessiert, wie Ihr das macht, wenn Ihr viele Daten (bei mir sind die vorher in einem Array of Array of String) wieder in den MySQL Server schreiben wollte.

Vielen Dank
Patrick

[Bernhard Geyer]

Zitat von Ykcim:

..., in denen 60. Datensätze

Mich interessiert, wie Ihr das macht, wenn Ihr viele Daten (bei mir sind die vorher in einem Array of Array of String) wieder in den MySQL Server schreiben wollte.

60 Datensätze? Das sollen viel sein

Spaß beiseite. Einfach passendes "INSERT INTO ...." als prepared Statement zusammenbauen (Wenn wirklich viele Datensätze sein können auch gleich als Multi-Insert aufbauen

Code:

INSERT INTO tbl_name (a,b,c) VALUES(1,2,3),(4,5,6),(7,8,9);

(Beispiel jetzt noch ohne Parameter und ratz fatz sind die Daten mit >> 10.000 und mehr Datensätze/Minute in der Datenbank.

[Ykcim]

Sorry, ich meinte 60.000 Datensätze. Den Punkt habe ich noch gemacht, aber dann die Nullen vergessen...

[Bernhard Geyer]

Zitat von Ykcim:

Sorry, ich meinte 60.000 Datensätze. Den Punkt habe ich noch gemacht, aber dann die Nullen vergessen...

60.000 ist auch noch keine große Datenmenge.

Darfst du die Statistiken nicht mit der ERP-Datenbank fahren?
Wäre es evtl. möglich per Replikation die Daten ins eigene DBMS zu bekommen?

[Sir Rufo]

Man muss aber noch dazu sagen, dass der CSV Import so mit das Schnellste ist.

Alles andere ist langsamer

[Ykcim]

Es handelt sich unter anderem um Fertigungsauftragsdaten, die mit Kundenbedarfen abgeglichen werden und für die Produktionsplanung und die Terminverfolgung verwendet werden. Es geht dabei nicht um Statistiken.

Der CSV import ist das Schnellste?

Mmh, das habe ich nicht gewusst. Ich finde es eine unschöne Lösung, wenn ich nach der Bearbeitung der Daten eine CSV erstelle, diese einlese und dann wieder lösche...
Ist das am Ende gar keine Krücke, sondern ein Verfahren, dass Sinn macht?

[Medium]

So lange du nicht direkt in der DB bzw. in kopierten Tabellen der DB im selben Server arbeiten kannst/darfst, würde ich auch sagen, dass das zumindest was die Geschwindigkeit angeht mit das beste ist was ich kenne.

[alcaeus]

Hi,

je nachdem wie du die Daten verarbeitest (ich hab den Weg der Daten noch nicht ganz mitgekriegt) solltest du dir auch mal INSERT ON DUPLICATE angucken. Ist ein MySQL-spezifischer Befehl, der kurz gesagt einen Insert versucht und bei einer Key Violation ein entsprechendes Update ausfuehrt.
Was ich mich frage: wo kommen die Daten urspruenglich her wenn du sie per CSV importierst? Eine andere Datenbank? Eventuell solltest du dann mit ner Replikation (d.h. die Datenbank noch zusaetzlich auf einem zweiten Server vorhalten, wird automatisch aktualisiert) und Triggern arbeiten. Dann koenntest du auf eine Veraenderung der Daten direkt reagieren.

Greetz
alcaeus