CVS-Import FireDAC

[Ghostwalker]

Hallo und guten Morgen

Folgende Problematik:

Ich importiere CVS-Dateien via TFDBatchMove in ein TFDMemtable und zeige das ganze erstmal in einem TDBGrid an. Soweit so gut, funktioniert auch.

ABER:

Die CVS-Dateien enthalten in der ersten Zeile die Namen der Spalten (bzw. dessen Bedeutung). Leider hab ich es bisher (nach 2 Tagen) nicht geschaft,
dem TFDBatchMove beizubringen, das er die erste Zeile (bzw. dessen Einträge) als Feldnamen zu nutzen. Er nutzt immer das Format "FDMemFieldXXX". Das ist natürlich etwas
ungünstig, wenn man unterschiedliche CSV-Dateien hat, bei denen zwar die Bedeutung der Spalten (je nach Name) gleich ist, sie aber unterschiedliche Anzahlen von Spalten haben
(insbesondere wenn man die Daten schließlich in eine DB überträgt).

Deshalb:

Gibt es eine Lösung, wie ich dem TFDBatchmove beibringen kann, die 1. Zeile der CSV-Datei nicht als normale Datenzeile, sonder als "Definitions-Zeile" zu interpretieren ?

[mensch72]

..."Leider hab ich es bisher (nach 2 Tagen) nicht geschaft"...
=> 1min google "TFDBatchMove":
http://docwiki.embarcadero.com/CodeE...tchMove_Sample

...
Sets the FileName property of TFDBatchMoveTextReader with the location of data.txt. This is the file used to load the data to the table. Also several DataDef properties are adjusted according to the text file format.
DataDef.Separator := ','; It defines the separator used to separate the fields in the text file.
DataDef.WithFieldNames := True; It specifies that the field name is included in the first row of the text file.
...

[Ghostwalker]

Tja..das hatte ich schon probiert. Leider hats nicht funktioniert.

[Uwe Raabe]

Deine Frage

Zitat von Ghostwalker:

Gibt es eine Lösung, wie ich dem TFDBatchmove beibringen kann, die 1. Zeile der CSV-Datei nicht als normale Datenzeile, sonder als "Definitions-Zeile" zu interpretieren ?

ist mit diesem Hinweis eigentlich beantwortet:

Zitat von mensch72:

DataDef.WithFieldNames := True; It specifies that the field name is included in the first row of the text file.

Wenn das bei dir nicht funktioniert, machst du vielleicht was falsch. Was das ist, können wir aber nicht sehen.

[Ghostwalker]

Ich habs grad auf die ganz einfach Tour noch mal Probiert (sicher ist sicher).

neue VCL anwendung
TFDBatchMoveTextReader drauf.
Optionen -> eingestellt.
FileName auf die Datei eingestellt.
TFDBatchMoveDataSetWrite drauf,TFDMemTable drauf beides miteinander verknüpft.
TFDBatchMove drauf, reader und writer gesetzt
TDBDatasource drauf -> mit dem MemTable verknüpft.
TDBGrid drauf mit dem DataSource verknüpft.


Anschließend in der IDE auf Guess Format und schließliche Execute im BatchMove ausgeführt.

Ergebniss siehe Anhang.

Kleiner Schnipsel der CSV-Datei, die es zu importieren gilt.

Code:

"alpha3-b","alpha3-t","alpha2","English","French"
"aar","","aa","Afar","afar"
"abk","","ab","Abkhazian","abkhaze"
"ace","","","Achinese","aceh"
"ach","","","Acoli","acoli"
"ada","","","Adangme","adangme"
"ady","","","Adyghe; Adygei","adyghé"
"afa","","","Afro-Asiatic languages","afro-asiatiques, langues"
"afh","","","Afrihili","afrihili"
"afr","","af","Afrikaans","afrikaans"
"ain","","","Ainu","aïnou"
"aka","","ak","Akan","akan"
"akk","","","Akkadian","akkadien"
"alb","sqi","sq","Albanian","albanais"
"ale","","","Aleut","aléoute"
"alg","","","Algonquian languages","algonquines, langues"
"alt","","","Southern Altai","altai du Sud"
"amh","","am","Amharic","amharique"
"ang","","","English, Old (ca.450-1100)","anglo-saxon (ca.450-1100)"
"anp","","","Angika","angika"
"apa","","","Apache languages","apaches, langues"
"ara","","ar","Arabic","arabe"
"arc","","","Official Aramaic (700-300 BCE); Imperial Aramaic (700-300 BCE)","araméen d'empire (700-300 BCE)"
"arg","","an","Aragonese","aragonais"
"arm","hye","hy","Armenian","arménien"
"arn","","","Mapudungun; Mapuche","mapudungun; mapuche; mapuce"
"arp","","","Arapaho","arapaho"
"art","","","Artificial languages","artificielles, langues"
"arw","","","Arawak","arawak"
"asm","","as","Assamese","assamais"

[juergen]

Hallo,

da ich es in deinem Code-Ausschnitt nicht sehe. Hast du denn wie schon vorgeschlagen:

TFDBatchMoveTextReader.DataDef.WithFieldNames := True; auch gesetzt?

[Ghostwalker]

Bitte die Posts erstmal lesen.

[Ghostwalker]

Guten Morgen

Nach weiteren Analysen (böse Zungen würden sagen "Rumprobierei" ) hab ich zwar die Ursache des Problems nicht gefunden, aber lustigerweise eine Lösung.

Bisher:

Code:

    Reader.FileName := fod.FileName;
    bm.GuessFormat();
    bm.Execute;

Jetzt:

Code:

    Reader.FileName := fod.FileName;
    bm.GuessFormat();
    PrepareFieldNames(HeadLine);
    UpdateReaderFieldnames;
    bm.Analyze := [];
    bm.Execute;

PrepareFieldNames mach nix anderes, als die 1. Zeile vom CSV selbst zu analysieren und die Feldnamen in einer Stringliste bereit zu stellen.
UpdateReaderFieldNames setzt nun die entsprechenden Feldname in der Definition des Readers manuell.
Danach noch die automatische Analyze (lt.Doku werden die Einstellungen hier nur im Execute verwendet) abgeschalten und schon gehts.

Wie gesagt, die genaue Ursache des Problems ist unbekannt. Sie liegt aber wohl im Umfeld der automatischen Analyse des Formats. Evtl. ist es auch "nur" ein Problem der
Community-Version.

Danke trotzdem für euere Mühen

[matthias25881]

Hallo, ich bin noch anfänger in der Delphi DB geschichte.
Ich bin dabei ein einfaches program zu erstellen das eine csv datei einliest und in eine mysql datenbank schreibt.
Soweit funktioniert es auch.
Jetzt kommen aber meine probleme.
Ich gehe den weg über ein dbgrid und dann nach mysql.
meine CSV hat 5 columns und ca. 26000 Row.
jetzt möchte ich nicht alle Spalten importieren, sondern nur 2,4 und 5.
Wie kann ich das den bewerkstelligen??
Dann möchte ich noch ein Textfeld in das ich eine zahl schreibe und die dann in eine Spalte der Mysql db geschrieben wird (von zeile 1 bis 26000).

Wäre cool wenn mir einer tips geben könnte wie ich das machen kann.

Danke.

[himitsu]

Wozu erst umständlich in ein DBGrid, anstatt direkt in ein DataSet/Query?

Naja, die CSV direkt in die Datenbank ist wohl das Bekannteste und sehr einfach.
Und dann nur noch ein INSERT/UPDATE+SELECT, um die Daten aus der Import-Tabelle in die Ziel-Tabelle zu kopieren, wo man nach Herzenslust auch Spalten weglassen oder weitere Spalten hinzufügen kann.
https://www.thewebhatesme.com/entwic...l-importieren/
https://www.mysqltutorial.org/import...e-mysql-table/

Oder eben über FireDAC-BatchMove (TFDBatchMove)
http://docwiki.embarcadero.com/CodeE...tchMove_Sample
http://codeverge.com/embarcadero.del...table1/1089699
https://stackoverflow.com/questions/...-a-fdtabletask


Ansonsten ein Query mit SELCET A, B, C FROM table und über DataSet.Insert, DataSet.Fields/FieldByName und DataSet.Post die Daten in die Datenbank übergeben.

Oder ein INSERT-Statement und dort ebenfalls mit DataSet.Params/ParamByName die Daten rein.


Die CSV, kann man mit einer speziellen CSV-Komponente lesen
oder einfach TStringList und jede Zeile über eine Split-Function (oder eine weitere TStringList mit StringList.DelimitedText) die einzelne Spalten zerlegen
und das dann ans DataSet/Query übergeben.