Datentransfer von mehreren Clients an einen Server über LAN

[manfred_h]

Hallo Tempdir

schau Dir dochmal Copycat an. http://www.microtec.fr/copycat/

Zitat:

CopyCat is a multi-database replication component suite for Borland Delphi / C++Builder

* Full two-way replication.
* As a Delphi / C++Builder component set, CopyCat allows you to embed and customize replication logic in your own applications.
* Heterogenous replication between Interbase, Firebird, and Microsoft SQL Server.
* Transport layer abstraction allowing to replicate over any supported remoting framework, such as XML-RPC, RTC, RemObjects, KbmMW, etc. This enables both better security and compression.
* Using CopyCat, you can either setup automatic replication of all or part of your database (using triggers), or you can manually synchronize specific records as needed.
* No server-side is needed: thus CopyCat can be used on any MS Windows client, regardless of the OS of the remote server.
* Advanced primary key synchronization techniques, using either a generator, a stored procedure, or a custom SQL expression. This feature is currently available only for Interbase/Firebird
* Advanced conflict management techniques, allowing you to completely avoid the risk of crushing any data in any event changes were made to the same record in both databases.
* Complex replication situations can be resolved using advanced techniques such as stored procedure replication
* Support for limiting the replication of certain tables using a customized WHERE clause.
* Designed for and tested with Interbase 6.0 - 7.5, Firebird 1.x - 2.0 and MS SQL Server 2005.
* Supports C++Builder 5 - 6 and Delphi 5 - 2006.
* Support for many different data-connectivity components: FIBPlus, IBX, IBObjects, UIB, and ADO.

Shalom
Manfred

[Bernhard Geyer]

Zitat:

Zitat von Tempdir

Eine fertige Lösung kommt leider nicht in Betracht da es etwas selbstgeschriebenes sein soll.

Wieso? mit fertig ist gemeint das sowas die DBMS schon von haus mitbringen. Also keine 3th-Party-Lösung installiert werden muss.

[mjustin]

Zitat:

Zitat von Tempdir

Bisher ist ein selbstgeschriebenes System im Einsatz welches mit den Delphi-Komponenten "TidTCPServer" und "TidTCPClient" arbeitet. Auf den Clients wird eine kleine *.EXE-Datei gestartet welche die IP des Servers kennt, und dieser findet diese dann automatisch und empfängt die neuen Daten.
Verwaltet werden die verschiedenen Verbindungen über Threads. Zur Sicherung der Übertragung der Daten wird jeder ausgelesene Datensatz in einen Frame verpackt.

So ist es bisher realisiert. Das System soll jetzt überarbeitet werden und daher meine Frage wie man sowas besser bzw. sogar einfacher realisieren könnte

Eine sehr zuverlässige, ausfallsichere und lastverteilte Lösung kann man zum Beispiel mit einem Message Broker realisieren. Clients können auf diesen zugreifen auch wenn das Zielsystem, das die Daten weiterverarbeiten soll, nicht läuft. Der Message Broker puffert die Daten, bei Bedarf auch auf die Festplatte so dass er selber auch ausfallen darf, ohne dass Daten verloren gehen.

Die Empfänger-Anwendung kann dann vom Messagebroker die Daten abholen und weiter verarbeiten. Zur Lastverteilung können auch mehrere Empfänger Anwendungen parallel laufen. Der Broker wird die Daten dann gleichmäßig auf die Empfänger verteilen.

Kostenlose Open Source Implementierungen wie z.B. Apache ActiveMQ sind bereits sehr leistungsfähig, es existieren Clients für viele verschiedene Programmiersprachen, daher sind sie auch sehr gut für die Verbindung bestehender Systeme geeignet.

[mkinzler]

ActiveQ Schnittstelle für Delphi
http://activemq.apache.org/delphi-and-freepascal.html

[Tempdir]

Danke für die vielen Tipps!

@Manfred: Die komponente sieht gut aus, allerdings fehlt der Support für D2009 und es sieht so aus als sei das ganze etwas eingeschlafen (letzter Release Ende 2007). Da das ganze aber für ein kleines Projekt in einer Firma sein soll, ist diese somit eher unbrauchbar (Support).

@Bernhard: Wie sieht sowas genau aus? Eine Software die der Datenbank beiliegt bzw. heruntergeladen werden kann?

@mjustin Danke, ich werde mich darüber informieren.



Was haltet ihr von folgender Idee:

Auf jedem PC-Client läuft z.B. ein Firebird SQL-Server.
Jetzt schreib ich in Delphi ein Programm mit den IB-Datenbankkomponenten, welches sich automatisch mit dem jeweiligen Client verbindet, und die neu hinzugekommenen Daten abholt. Dass sie neu sind erkennt das Programm daran, indem die Datensätze die noch nicht abgeholt wurden ein Feld enthalten das z.B. den Wert FALSE (= noch nicht abgeholt) hat.
Somit könnte ich über eine SQL-Query einen Eintrag auslesen, und dann den Wert TRUE (=abgeholt) in das Feld schreiben.

Die IPs der Clients werden in einer Liste angegeben, welche das Programm zyklisch abarbeitet.

Bitte um eure Kommentare - vielen vielen Dank!

[mkinzler]

Dann wäre doch der andere Weg sinnvoller: Der Client verbindet sich mit einem zentralen FireBird Server und gleicht lokalen Bestand ab.

[Tempdir]

Aber dann hätte ich wiederum das "Problem", dass sich mehrere Clients gleichzeitig verbinden und gleichzeitig Daten senden (ok ist eigentlich auch Sinn und Zweck eines DB-Servers - aber ich weiß nicht ob und was da schief gehen könnte).
Und ich wüsste nicht ob die Daten in der Firebird-DB gespeichert wurden? Höchstens ich mach eine erneute Anfrage, ob die Daten drin sind.
Ich sollte noch erwähnen, dass auf der Client-Seite die CPU-Last möglichst gering sein sollte. Serverseitig ist es egal.

[mkinzler]

Zitat:

Und ich wüsste nicht ob die Daten in der Firebird-DB gespeichert wurden? Höchstens ich mach eine erneute Anfrage, ob die Daten drin sind.

Ich glaube nicht, das irgendwer ein DBMS einsetzen würde, wenn der Client keine Rückmeldung vom Server bekommen würde

Zitat:

Ich sollte noch erwähnen, dass auf der Client-Seite die CPU-Last möglichst gering sein sollte. Serverseitig ist es egal.

Abfragen kann man ja auf den Server verlagern (z.B. in SPs). Zudem würde die Replikation, ja bei Wiederanmelden der Clients an den Server erfolgen.

[Tempdir]

Guten Morgen,

also wenn ich die Methode mit dem zentralen Server machen würde, so hätte ich den Vorteil dass ich auf der Client-Seite nur eine Exe starten müsste (welche die DB des Clients ausliest und versendet). Und auf der Empfangsseite (Server) müsste ich einen SQL-Server installieren der die Daten "einsammelt".
Bei dieser Variante könnte man auf dem Server die SQL-Datenbank nicht einfach "anschauen" mit z.B. Notepad. Bei der anderen Variante, wo auf jedem Client ein SQL-Server ist, könnte ich auf der Serverseite die Daten z.B. in ein DataBase File oder CSV speichern.

Spricht viel gegen meine erste Variante von Seite 1 ?

[mquadrat]

Wie schaut die Verbindung zwischen Clients und Server aus? LAN?

Wir haben eine ähnliche Problemstellung so gelöst:
- Die Tabellen, die übertragen werden sollen haben einen Trigger der bei Inserts, Updates und Deletes anspringt
- Dieser Trigger schreibt einen Datensatz in eine Replikationstabelle mit Operation, Tabelle, Primärschlüssel
- Auf dem Server läuft ein Programm, dass zyklisch bei allen Clients diese Informationen ausliest und entsprechende Selects durchführt
- Die Datensätze werden in einer Zwischendatenbank gepuffert, falls der Zielserver nicht erreichbar ist
- Ist er erreichbar wird die gleiche Operation auf der Zieldatenbank ausgeführt.

Das Zwischenpuffern in der DB ist u.U. nötig da wir sämtliche Datenbanken vollständig untereinander synchronisieren. Fertige Lösung haben wir damals ein oder zwei ausprobiert, aber da hat es uns ein bisschen an Flexibilität gefehlt.

Vorteil der Lösung: An den Clients muss (bis auf die Trigger) überhaupt nichts geändert werden.