Einzelnen Beitrag anzeigen

bogdan

Registriert seit: 15. Apr 2013
77 Beiträge
 
#6

AW: Zugriff auf MySql Daten im RAM von mehreren Instanzen möglich?

  Alt 7. Feb 2021, 19:41
Delphi.Narium:

Es ist leider so, dass die Daten nur programmatisch außerhalb der Datenbank ausgewertet werden können.

Auf dem firmen internen Windows Server ist MySQL Workbench installiert.
Es existieren mehrere Datenbanken.
Eine davon hat über 50.000.000 Datensätze.

Auf einem der Arbeitsplatz Laptops ist mein Programm installiert, welche die Daten auswerten muss.

1. Das Programm erzeugt eine SELECT + JOIN Abfrage und holt die Daten aus der MySQL Datenbank. Das Ergebnis reduziert sich auf ca. 10.000.000 Datensätze und wird in den RAM geladen (3-4 GB)

2. Dann werden die Daten mit dem Programm unter verschiedenen Kriterien/Vorgaben ausgewertet. Mit der MySQL Synthax geht das leider nicht.

Es werden sehr viele Kriterien/Vorgaben im Programm erzeugt und in diverser Abhängigkeit die 10.000.000 Daten ausgewertet.

Erzeuge Kriterium 1: a+b+c ---> dann werte die Daten aus
Erzeuge Kriterium 2: b+c+d ---> dann werte die Daten aus
Erzeuge Kriterium 3: a+b+d ---> dann werte die Daten aus
usw.

Hier tummeln sich einige Schleifen, die programmatisch diverse Kriterien erzeugen und bei jeder Änderung müssen alle 10.000.000 Daten von vorne ausgewertet werden.

Um das ganze zu beschleunigen habe ich 3x mein Programm gestartet und die Kriterien verteilt, damit das ganze zügiger abläuft.

Aber um die Daten auszuwerten muss ich diese ja erst mal in das Programm laden (also in den RAM) und dann erzeugen 3x geöffnete Programme mit je 10.000.000 Daten 9-12 GB RAM-Belastung.

juergen
Müsste ich mir anschauen.
  Mit Zitat antworten Zitat