Große Datenmengen in MySql

[Ykcim]

Es handelt sich unter anderem um Fertigungsauftragsdaten, die mit Kundenbedarfen abgeglichen werden und für die Produktionsplanung und die Terminverfolgung verwendet werden. Es geht dabei nicht um Statistiken.

Der CSV import ist das Schnellste?

Mmh, das habe ich nicht gewusst. Ich finde es eine unschöne Lösung, wenn ich nach der Bearbeitung der Daten eine CSV erstelle, diese einlese und dann wieder lösche...
Ist das am Ende gar keine Krücke, sondern ein Verfahren, dass Sinn macht?

[Medium]

So lange du nicht direkt in der DB bzw. in kopierten Tabellen der DB im selben Server arbeiten kannst/darfst, würde ich auch sagen, dass das zumindest was die Geschwindigkeit angeht mit das beste ist was ich kenne.

[alcaeus]

Hi,

je nachdem wie du die Daten verarbeitest (ich hab den Weg der Daten noch nicht ganz mitgekriegt) solltest du dir auch mal INSERT ON DUPLICATE angucken. Ist ein MySQL-spezifischer Befehl, der kurz gesagt einen Insert versucht und bei einer Key Violation ein entsprechendes Update ausfuehrt.
Was ich mich frage: wo kommen die Daten urspruenglich her wenn du sie per CSV importierst? Eine andere Datenbank? Eventuell solltest du dann mit ner Replikation (d.h. die Datenbank noch zusaetzlich auf einem zweiten Server vorhalten, wird automatisch aktualisiert) und Triggern arbeiten. Dann koenntest du auf eine Veraenderung der Daten direkt reagieren.

Greetz
alcaeus