Tool um Excel Daten in Db einzufügen

[theoneand]

@Dejan Vu
Das mag ja alles schön und recht sein, wenn man Ahnung von SQL hat...
Es kam nur mal eine Anfrage von einem unserer Kunden, ob sowas nicht umsetzbar ist, und für den Fall, finde
ich das Tool sehr nützlich.

Mir ist auch klar, dass jemand der sich gut mit SQL auskennt, anderer, schnellere und effektivere Wege parat hat um
das Ganze umzusetzten.

Und in der Hinsicht hab ich durch einige Recherchen noch nichts vergleichbares auf dem Markt entdeckt


@DSP
Das mit dem Währungsrechner hört sich nicht schlecht an, muss mich da mal bisschen informieren

[Dejan Vu]

Komisch, meine Kernaussage habe ich wohl nicht abgeschickt: Es ist ein tolles Projekt für eine Abschlussprüfung, die auch einen Mehrwert hat. Wenn du das hinbekommst, ist das ein Beleg für dein Können.

Ich würde die Aufgabe skizzieren, die Grundfunktionen definieren und das Thema dann absegnen lassen. Dann gehst Du ans Werk

[p80286]

[OT]

Zitat von Dejan Vu:

Komisch, meine Kernaussage habe ich wohl nicht abgeschickt:

Die ist wohl eher in den anderen Bemerkungen untergegangen
[/OT]

Ich finde die Idee übrigens ganz gut, z.B. eine Funktion zur Entfernung von Prüfziffern, oder zur Formatierung von Zifferngräbern (DE123456789012 -> DE 123 456 789 012) oder das Gegenteil (DE 123 456 789 012 ->DE123456789012) (statt blanks sind Kommata oder Punkte auch beliebt) wäre für die Datenaufbereitung ganz nett.

Gruß
K-H

[Jumpy]

Zitat von p80286:

Ich finde die Idee übrigens ganz gut, z.B. eine Funktion zur Entfernung von Prüfziffern, oder zur Formatierung von Zifferngräbern (DE123456789012 -> DE 123 456 789 012) oder das Gegenteil (DE 123 456 789 012 ->DE123456789012) (statt blanks sind Kommata oder Punkte auch beliebt) wäre für die Datenaufbereitung ganz nett.

Gruß
K-H

Da man sich an so "Datenmanipulaions"-Funktionen totoptimieren (bzw. verzetteln) kann, wäre es cool einen Mechanismus zu entwickeln, wie man so Funktionen nachträglich leicht einbauen kann, so dass dieser Mechanismus (wie auch immer sowas aussehen könnte) zum Rahmen der Arbeit gehört, die tatsächlichen Funktionen, die man da so machen könnten, bis vllt. auf ein einfaches Beispiel, aber nachträglich (nicht im Rahmen der Arbeit) gemacht würden.

[p80286]

Zitat von Jumpy:

Zitat von p80286:

Ich finde die Idee übrigens ganz gut, z.B. eine Funktion zur Entfernung von Prüfziffern, oder zur Formatierung von Zifferngräbern (DE123456789012 -> DE 123 456 789 012) oder das Gegenteil (DE 123 456 789 012 ->DE123456789012) (statt blanks sind Kommata oder Punkte auch beliebt) wäre für die Datenaufbereitung ganz nett.

Gruß
K-H

Da man sich an so "Datenmanipulaions"-Funktionen totoptimieren (bzw. verzetteln) kann, wäre es cool einen Mechanismus zu entwickeln, wie man so Funktionen nachträglich leicht einbauen kann, so dass dieser Mechanismus (wie auch immer sowas aussehen könnte) zum Rahmen der Arbeit gehört, die tatsächlichen Funktionen, die man da so machen könnten, bis vllt. auf ein einfaches Beispiel, aber nachträglich (nicht im Rahmen der Arbeit) gemacht würden.

Und das wäre gleichzeitig flexibler
Gruß
K-H

[jobo]

Ich find, das ist eine schöne Aufgabe. Nur nicht unbedingt für Delphi.
Was Datenoptimierung und Transformation(!) angeht, bietet Excel eigentlich mehr, als man mal eben in 70h bauen kann.

Cool fänd ich ein Excelplugin, das in der Lage ist, markierte Spalten (Mehrfachauswahl) sowie gefilterte Zeilen (nur die aktuell angezeigt sind) unabhängig ob Formel oder Wert in eine DB.NeueTabelle oder DB.BestehendeTabelle zu blasen.
Das würde erlauben, ein beliebiges Excelsheet aufbereiten zu können, mittels Formeln zu bereinigen, etc. pp. und dann eine geprüfte, bewertete Menge filtern und in die DB schieben zu können.

Zum Thema SQL und "geht alles viel schneller":
Neben den recht intuitiven Möglichkeiten, Daten per Formel zu bearbeiten, ist eine große Stärke von SpreadSheet Systemen der wahlfreie Zugriff auf Vorgänger/Nachfolger "Datensätze", wie er in vielen RDBMS gar nicht möglich ist, oder wenn doch, dann eben ist das eher etwas für SQL Experten.

Den Umweg über Delphi finde ich dabei nicht wirklich notwendig. Wär ein nettes Werkzeug für adhoc Geschichten.

[Dejan Vu]

Zitat von jobo:

Zum Thema SQL und "geht alles viel schneller"...

Es geht doch nicht um Spreadsheetfunktionen, sondern um den Import in bestehende Tabellen. Ich behaupte mal, das Typkonvertierungen ('May 27 Wed 15:23:56 GMT 2004' als DateTime), erstellen von FK-Beziehungen und sonstige Transformationen i.A. in SQL besser und vor allen Dingen schneller von statten gehen, als in EXCEL.

Ich habe das gerade die letzten Tage gemacht. So ein Import dauert schon ein paar Minuten und wenn ich die Millionen von Datensätzen in EXCEL erst konvertiert und dann über mehrere Versuche ins RDBMS importiert hätte, wäre ich jetzt noch nicht fertig.

Also erst -wupps- als Tabelle mit lauter 'varchar(max)' Spalten importiert, ein paar Indexe gesetzt, neue Spalten hinzugefügt, konvertiert und dann in die Zieltabellen transformiert. Und zwar jeweils in Transaktionen gekapselt:

Code:

begin transaction
-- do some stuff
select <stuff> into results from importedTable
update otherREsults set foo = bar from importedTable...
-- verify the results
select * from results
select * from otherResults
rollback transaction

Und dann, wenn die Verifizierung erfolgreich ist, aus dem 'rollback' ein 'commit', Skript nochmal laufen lassen, fertig.
Ich verwende jedes Werkzeug genau da, wo es am sinnvollsten/effektivsten ist. Wenn die Daten aufbereitet werden sollen, oder wenn ich Berechnungen vor dem Import vornehmen muss, würde ich vielleicht EXCEL einsetzen, das käme drauf an. Andererseits kann man mit SQL auch rechnen und Datensätze durchnummerieren, also wozu großartig mit EXCEL arbeiten? Ich bin auch nicht so versiert mit dem Teil, und wüsste jetzt gar nicht, wie ich eine Formal auf 2.5 Mio Zeilen anwenden soll, außer mit der Maus runterziehen (ächtz)

Aber bloß weil ich auf Vorschlaghammer stehe, heißt das ja nicht, das ich damit auch einen Nagel aus dem Holz ziehe. Also, kommt auf den Nagel an.

[jobo]

Zitat von Dejan Vu:

Zitat von jobo:

Zum Thema SQL und "geht alles viel schneller"...

Es geht doch nicht um Spreadsheetfunktionen, sondern um den Import in bestehende Tabellen.
Ich verwende jedes Werkzeug genau da, wo es am sinnvollsten/effektivsten ist.

Es geht nicht um Spreasheetfunktionen, aber die Verwendung von Werkzeugen soll da erfolgen, wo sie sinnvoll und effektiv ist?
Dann geht es vielleicht doch um Spreadsheetfunktionen?

Wie gesagt, Analytic Functions / Window Functions stehen nicht in allen RDBMS zur Verfügung. Insofern kann man Excel da sehr gut einsetzen, bevor es zur DB geht.

Aber das kann ja der TE prima selber entscheiden. Er hat nach Vorschlägen gefragt.

Was Du ansonsten beschreibst, ist kein klassisches ETL sondern LTE oder LET. Das ist genau mein Ding, ich mache es auch nicht anders.

[Dejan Vu]

Zitat von jobo:

Dann geht es vielleicht doch um Spreadsheetfunktionen?

Das Thema dieses Threads lautet? Genau.

Ansonsten gilt immer vorneweg: Werkzeuge dort einsetzen, wo sie sinnvoll sind. Da muss man keine Erbsenzählerei betreiben, Sätze zusammenziehen und einen neuen scheinbar streibaren Zusammenhang herstellen usw. Ist doch wohl logisch, das ich mir in SQL keinen abbreche, was in EXCEL (oder mit Bleistift) besser geht.

Ich gebe es zu, es ist frustrierend (das Wetter), aber hey! Es ist Freitag, also.

[theoneand]

ich mach mich jetzt einfach mal ans werk und werde die kommenden Wochen mal was von meinen
Ergebnissen posten.

Bin jetzt erst mal 2 Wochen in urlaub, danach wird angegriffen