Welche DB? mySQL, MS-SQL, Oracle ...

[Jasocul]

Hallo DB-Spezialisten,

bei uns gibt es Planungen, das Datawarehouse komplett neu aufzubauen. Es stellt sich dabei auch die Frage, welche DB wir einsetzen wollen. Derzeit ist MS-SQL für das DWH im Einsatz. Wir nutzen für andere Bereiche auch Oracle. Wir sind aber grundsätzlich offen für andere DB-Systeme.
Ich habe schon einiges im Internet recherchiert, um Unterschiede zu ermitteln, aber das sagt oft wenig über den Einsatz in der Praxis aus und ob die Infos wirklich aktuell oder subjektiv gefärbt sind, kann man auch nicht immer beurteilen. Für die, bei uns eingesetzten Systeme, kann ich das natürlich einschätzen. Für potentielle Alternativen nicht unbedingt.
Aktuell steht noch mySQL bei mir zur Debatte. Für weitere Alternativen bin ich aber offen.

Bei dieser Betrachtung soll der Preis erstmal Nebensache sein. Natürlich spielt der im Endeffekt auch eine Rolle, wichtig sind aber erstmal die technischen Merkmale.

Bei mySQL habe ich unter anderem gefunden, dass es keine Benutzergruppen und Rollen gibt. Das kann bei Berechtigungskonzepten zu erheblichem Mehraufwand führen. Das Locking soll abhängig von der Storage-Engine sein. Beim Backup dürfen angeblich keine Abfragen parallel laufen. Ist dann blöd, wenn man mal eben eine Arbeitskopie erstellen möchte. Restoring soll auch sehr zeitaufwendig sein. Das sind alles keine Killerargumente für mySQL, aber schon Einschränkungen, die Mehraufwand bedeuten können.

Es wäre schön, wenn ich einige Infos aus der Praxis bekommen kann. Wie geschrieben, sind wir für weitere Alternativen immer noch offen. SQL99 muss aber mindestens unterstützt werden.

[haentschman]

Moin...

Datenmengen? Anzahl gleichzeitiger User? Texte, Zahlen, Blobs? Größe MSSQL Current?

[Jasocul]

Ups, da habe ich doch wichtige Fragen offen gelassen.
Datenmengen: Teilweise Tabellen mit Datensätzen im 2-stelligen Mio-Bereich. Das meiste aber unter 500 Tsd
Anzahl Concurrent-User: aktuell ca. 50. Tendenz steigend und nach der Umstellung ca 150-200.
Datentypen: Vorwiegend Zahlen und Text. BLOB nur in sehr geringem Umfang.
Aktuelle DB-Größe: ca. 170 GB

[philipp.hofmann]

Kleiner Hinweis zu mySQL und dem Thema: "Das Locking soll abhängig von der Storage-Engine sein"

-> das ist manchmal ein entscheidender Vorteil; nicht für alle Daten braucht man Transaktionssicherheit und die Performance ist ohne Transaktionssicherheit nun mal schneller; es gibt z.B. in meinem Umfeld oft Daten, die eh einmal am Tag komplett neu geladen werden und dies soll schnell gehen; wenn es hier Probleme gibt, ist es einfacher die Daten neu zu laden als über irgendwelche Transaktions-Rollbacks die Daten wiederherzustellen; bei Oracle und MS-SQL bedeutet dies, dass du über SQL-Loader oder bcp (BulkCopy) gehen muss (also sehr nah an jeweiligen DB programmierst und optimierst), bei MySQL kannst du dies auch mit SQL-Mitteln lösen, weil du für die betroffenen Tabellen dann eine auf Performance optimierte Storage-Engine wählst;

Wenn du mySQL in Betracht ziehst, solltest du aber auch einen Blick auf MariaDB werfen, weil dies die OpenSource-Variante zu MySQL ist, welche ja mittlerweile Oracle gehört und auch bei MySQL fallen je nach Einsatzzweck Lizenzgebühren an. Aber deine Größenordnung sieht schon so aus, dass eine DB mit dementsprechendem Support sinnvoll sein sollte.

[Jasocul]

Zitat von philipp.hofmann:

Kleiner Hinweis zu mySQL und dem Thema: "Das Locking soll abhängig von der Storage-Engine sein"

-> das ist manchmal ein entscheidender Vorteil; ...

Stimmt, das kann durchaus auch ein Vorteil sein. Gerade im DWH-Bereich kommen solche Aktionen schon mal vor.

Zitat von philipp.hofmann:

Wenn du mySQL in Betracht ziehst, solltest du aber auch einen Blick auf MariaDB werfen,

Bin ich vorhin auch drüber gestolpert. Ich hatte von MariaDB auch schon gehört, aber bei meinen Recherchen nicht mehr daran gedacht. Die hat schon Einiges, was ich bei mySQL vermissen würde.

[haentschman]

Zitat:

bei uns gibt es Planungen, das Datawarehouse komplett neu aufzubauen

...die Frage ist...wieso? Never touch a running system.

[Jasocul]

Zitat von haentschman:

Zitat:

bei uns gibt es Planungen, das Datawarehouse komplett neu aufzubauen

...die Frage ist...wieso? Never touch a running system.

Es gibt zum Teil komplette Software-Systemwechsel, bei denen die jetzigen Strukturen des DWH nur noch mit hohem Aufwand unterstützt werden können. Außerdem genügt das DWH nicht mehr den Anforderungen an der Granularität der Daten. Das System muss also sowieso im erheblichen Umfang angefasst werden. Das Projekt ist auch in einem zeitlichen Rahmen von 1 bis 1,5 Jahre umzusetzen. Der Aufwand ist uns also durchaus bewusst.

[Medium]

Zitat von Jasocul:

Bin ich vorhin auch drüber gestolpert. Ich hatte von MariaDB auch schon gehört, aber bei meinen Recherchen nicht mehr daran gedacht. Die hat schon Einiges, was ich bei mySQL vermissen würde.

MariaDB ist der Fork von MySQL, den der ursprüngliche Entwickler nach der Übernahme von Oracle eigenständig weiterentwickelt. (Benannt nach seiner 2. Tochter, die erste heißt My - ist nicht Englisch zu verstehen!) Seit Oracle MySQL besitzt, ist die Lizenzpolitik recht unübersichtlich. Insbesondere bei Nutzung der libmysql.dll zum Zugriff, bzw. "insbesonderer" bei Nichtnutzung dieser, sondern nativem Zugriff mit z.B. UniDAC ist unklar ob und welche Gebühren anfallen. Zumindest war es so, als ich mich das letzte Mal damit beschäftigt hatte. MariaDB geht dem komplett aus dem Weg, und ist bzgl. Zugriff voll zu MySQL kompatibel.
Wir setzen MariaDB seit einigen Jahren sehr erfolgreich ein, sind aber auch keine DBMS "Poweruser". Zumindest kann ich sagen, dass auch Tabellen mit mehreren Millionen Sätzen performant verarbeitet werden können wenn man sich nicht allzu blöd anstellt. Was aber Management und Toolsets angeht, ist man hier vermutlich deutlich spartanischer unterwegs als bei den großen kommerziellen Varianten. Bei der Größenordnung die du nennst, und besonders der Nutzeranzahl, könnte es doch sinnvoll sein in ein DBMS nebst Herstellersupport zu investieren. Hier kann ich aber keine Erfahrungswerte anbieten.

[HoppyP]

Woran hapert es bei der aktuellen Lösung? Wo zwickt es?

Der MS-SQL Server deckt so ein breites Spektrum ab, sodass keine typischen oft wiederkehrende Sammlung von Szenarien allein aus der Information ableitbar ist.

Fragen angelehnt aus der Perspektive einer ausgewachsenen Data-Warhouse Architektur in der sich oft Anforderungen auch im kleineren Maßstab wiederfinden.

a) Läuft die Steuerung/Monitoring von Jobs über das OS oder in einer eigenen Software oder im Rahmen eines wie auch immer gearteten integrierten Reporting/Staging/ETAL Werkzeug ala. QlikView & Co.

b) 24*7?

c) Gibt es eine Trennung zwischen Administration Infragstruktur, Systementwicklung, Wartung und Business Support.
c1) Verwenden Entwickler und Support für AdHoc Abfragen bspw. SQL Erweiterungen als Oracle CUBE Queries oder MSX im Falles des SQL-Server
c2) Wollt ihr euch auf bspw. Materialized Views & Co einlassen

Habt ihr von der Datenbeschaffung bis zur Auswertung hin alles selbst geschrieben und könnt frei wählen. Ich mache es nur mehr so. Was am OS geht geht wird am OS gemacht, was geht auf der DB und tunlichst für Änderung und Ergänzung des Werkzeugkastens für die Auswertenden. Sprich es sollte möglich sein für ein anderes Werkzeug die Daten nach dem ODS abzuzweigen und passend aufzubereiten.

Am kompaktesten ist der SQL Server. Ich euch der SQL-Server 'zu groß' zu umfangreich oder zu klein und wenn ja welche der mächtigeren Features einer anderen DB als Partitioning Option, Oracle Datawarehousing usw...

Downsizing geht mit Abstrichen, ist zumeist aber kein Fehler. Die meisten Leute schwitzen nicht ob des warmen Wetters, sondern da sie sich 'damals' zu warm angezogen haben. Auf der Hardware heute geht mit einfachen Mitteln mehr. Die traditionellen Anforderungen bleiben konstant.

Ich habe mal eine Oracle abgelöst und auf Postgres umgestellt, da die Leute mehr mit SQL arbeiten und der ambitionierten Truppe das entwirrte SQL mehr entgegen kam. Ansonsten muss man zumeist die Liga raufsteigen, wobei ich mich Frage wo die hinter was ein SQL-Server heute schon in der Lage ist zu leisten noch liegen soll.

Zitat von Jasocul:

Hallo DB-Spezialisten,

...
Aktuell steht noch mySQL bei mir zur Debatte. Für weitere Alternativen bin ich aber offen.

...

Es wäre schön, wenn ich einige Infos aus der Praxis bekommen kann. Wie geschrieben, sind wir für weitere Alternativen immer noch offen. SQL99 muss aber mindestens unterstützt werden.

[haentschman]

Zitat:

bei denen die jetzigen Strukturen des DWH

...und bei einem anderen DBMS ist das anders? Glaube ich nicht... Da kommst du evt. vom Regen in die Traufe...

Zitat:

Es gibt zum Teil komplette Software-Systemwechsel

Welche Software? Eigene, Fremdanbieter?

Zitat:

Das System muss also sowieso im erheblichen Umfang angefasst werden.

Ich denke du solltest bei MSSQL bleiben. Die Anderen haben die gleichen Probleme...oder? Investiere die Zeit in die Umstellung...nur meine Meinung.