Wie bekomme ich einen performanten Firebird?

[Dejan Vu]

Microsoft SQL-Server mit den einschlägigen Optimierungen sowie diversen Tricks, die man sonst noch im Internet findet (meist Hardware) ist per bulk load schon sehr schnell. Mich würde es wundern, wenn es ein RDBMS gibt, das diese Performance ohne bulk load hinbekommt.

Mit einem einfachen Key-Value Store (vor Jahren mal geschrieben) habe ich vor längerer Zeit ohne Optimierungen ca. 0.5 Mio Datensätze im regulären Betrieb hinbekommen (Datensätze ist übertrieben. 32 Byte-Chunks waren das und embedded war das Teil auch noch). Ich kann mir gut vorstellen, das gängige IMDB oder ausgewachsene KVS die Performance hinbekommen, die Du wünschst. Aber bezahlbar ist das dann irgendwann nicht mehr, weil der Server dann ziemlich teuer wird (und persistent ist das dann ja sowieso nicht).

Allerdings hat mein KVS das auch auf Pladde geschrieben. Bei den aktuellen (z.B. Redis) scheint das auch der Fall zu sein. Insofern sollte ich die nicht in einem Atemzug mit IMDB nennen.

[IBExpert]

Zitat von mensch72:

1Mio Datensätze pro Minute ist für SQL schon nicht schlecht... Da ich pro Tabelle "sehr sehr viele" kleine Buchungsdatensätze(100..300Mio Records) in Simulationen schneller 1..2Mio Datensätze pro Sekunde incl. (Zeit)Index streamen/kopieren muss(das ist nochmal Faktor 100+ schneller!), geht das wohl weiter nur mit eigenen auf LowLevel programmierten binären File-Strukturen.

In diese Bereiche wird ein SQL Server aufgrund der notwendigen Overheads (Recordversionen, Transaktion, Multiuserfähigkeit usw.) wohl eher nicht hinnkommen, daher ist das für deinen Anwendungsbereich sicherlich besser in eigener Lowlevel Implementation aufgehoben, bei der dich der Overhead sicherlich sowieso nicht interessiert. Welcher Bereich ist das denn, in dem man immer mal eben 300 mio records hin und herschubsen muss

[Union]

Zitat von IBExpert:

Welcher Bereich ist das denn, in dem man immer mal eben 300 mio records hin und herschubsen muss

Vielleicht ein LHC Programm zur Aufzeichnung von Detektorsignalen?

[vagtler]

Aber dann bewegen wir uns ja auch eher im Bereich von Big Data denn in relationalen DBMS.

[mensch72]

BigData ist das noch nicht, ist nur eine kleine Lösung für DataMining und etwas Statistik im Bankenumfeld für elektronische Finanztransaktionen bis in den Millisekundenbereich.
Über 10Jahre kommen dann pro Tabelle schon mal locker hunderte Millionen von Datensätzen zusammen.

BigData wird es erst, wenn von vor hat solche Daten von sagen wir allen weltweit gehandelten Werten (Aktien,Optionen,Futures,Forex) auf einem System zusammen zu führen und dann möglichst in Echtzeit was darin zu suchen...
dann hätte ich gerne eine Transferleistung von 100..200Mio Records/Sekunde...