Makro in Excel ausführen

[go4hl80ve]

Hi!
Stehe mal wieder vor einem Problem:

Ich will riesige .csv-Dateien so schnell wie möglich in ein Stringgrid bekommen.
Bisher hab ich die immer erst mit Excel importiert. Dann als .xls gespeichert.
Die .xls-Daten konnte ich mittels OLE-Fernsteuerung von Excel super schnell und automatisch ins Stringgrid übertragen.

Jetzt wollte ich auch noch die .csv-Importierung automatisieren, was sich bisher als unüberwindbare Hürde herausstellte.
Nehme ich mir den Makro-Code vor, dann funktioniert der trotz Anpassungen in Delphi (und mit OLE-Fernsteuerung von Excel) leider nicht ganz.
Die nächste Idee war, den Mauszeiger automatisch zu steuern. Klappt aber auch nur zum Teil, da der Anwender im voraus das Öffnen-Fenster verschoben haben könnte. Dann wüsste ich wieder nicht, wo der Mauszeiger hinklicken muss.

Die letzte Idee wäre nun, dass aufgezeichnete Makro von Excel selbst ausführen zu lassen.
Kann mir jemand sagen, wie ich aus Delphi heraus in Excel mein Makro starte?

Für alternative Lösungsvorschläge bin ich natürlich immer offen :mrgreen:

Gruß
go4hl80ve

[Bernhard Geyer]

Lese doch die CSV-Datei zeilenweise ein und zerlege sie selbständig in Zellen.
Solle um Welten schneller sein als über Excel wenn du keine Fehler machst.

[go4hl80ve]

Zitat:

Zitat von Bernhard Geyer

Lese doch die CSV-Datei zeilenweise ein und zerlege sie selbständig in Zellen.
Solle um Welten schneller sein als über Excel wenn du keine Fehler machst.

Am Anfang wollte ich das so machen. Hab's dann aber aufgegebenm weil's einfach viel zu langsam war.

Die .csv-Dateien haben teilweise bis zu 300 Spalten und tausende von Zeilen!
Mit Excel lade ich das alles in ein paar Sekunden ein.

[omata]

Excel kann doch nur maximal 256 Spalten. Wie machst du das mit 300?

Verwunderte Grüsse
Thorsten

[go4hl80ve]

Zitat:

Zitat von omata

Excel kann doch nur maximal 256 Spalten. Wie machst du das mit 300?

Verwunderte Grüsse
Thorsten

ups...und Recht hast du auch noch.
Um's genau zu machen, ist die Spaltenanzahl variabel, je nachdem wie viele Messstationen bei der CSV-Erstellung ausgewählt wurden.
Meine Test-CSVs sind nicht sonderlich breit, dafür aber recht lang...
(Und man sagte mir, dass manchmal bis zu 300 Messstationen in die CSVs gebracht werden.)

Hat vielleicht jemand einen guten CSV-Importier-Algorithmus zur Hand?

Gruß
go4hl80ve

[Bernhard Geyer]

Zitat:

Zitat von go4hl80ve

Am Anfang wollte ich das so machen. Hab's dann aber aufgegebenm weil's einfach viel zu langsam war.

Die .csv-Dateien haben teilweise bis zu 300 Spalten und tausende von Zeilen!
Mit Excel lade ich das alles in ein paar Sekunden ein.

Und mit reineme Delphicode hab ich das in ein paar 1/10 Sekunden geladen + Verteilt. Du mußt da in ein paar Performancefallen in deiner Implementierung gefallen sein.

[go4hl80ve]

Zitat:

Zitat von Bernhard Geyer

Und mit reineme Delphicode hab ich das in ein paar 1/10 Sekunden geladen + Verteilt. Du mußt da in ein paar Performancefallen in deiner Implementierung gefallen sein.

stimmt natürlich - excel kann schließlich auch nicht zaubern.
am besten, ich denk mir nochmal einen ordentlichen importier-algorithmus aus...

[DGL-luke]

hallo, ich hab hier was absolut ungetestetes zusammengecodet.

Ich lade das ganze in einen Memorystream und greife mit ein wenig Pointer-Arithmetik direkt auf den Speicher zu. Ich suche nach ';', markiere mit meinen pointern anfang und ende, schiebe das in einen string und lade es in eien array. Der array ist übrigens [y,x] indiziert!

Delphi-Quellcode:

procedure TForm2.Load(fname: string);
var ms: TMemoryStream;
    row,col: Integer;
    b: string;
    values: array of array of Integer;
    ptrstart,ptrend,ptrEOF: Pointer;
begin
  ms := TMemoryStream.Create;
  ms.LoadFromFile(fname);
  row := 0;
  col := 0;

  setlength(values,rows,cols);

  ptrstart := @ms.memory;
  ptrEOF := Pointer(Integer(@ms.Memory) + ms.size);
  while not Integer(ptrstart) = Integer(ptrEOF) do
    begin
      ptrend := ptrstart;
      while not ((Integer(ptrend) = Integer(ptrEOF)) and (char(ptrend^) = ';')) do
        Inc(Integer(ptrend));
      if char(ptrend^) = ';' then
        begin
          setlength(b,Integer(ptrend)-Integer(ptrstart)-1); //we don't want to get the '', too!
          CopyMemory(@b[1],ptrstart,length(b));

          ptrstart := Pointer(Integer(ptrend) + 1); // again +1 to skip the ';' 

          values[row,col] := StrToIntDef(b,-1);

          Inc(col);
          if col = cols then
            begin
              col := 0;
              Inc(row);
              if row = rows then
                begin
                  setlength(values,Round(values * 1.72)+1,cols); // not sure about this... make sure the cols get allocated!
                  rows := length(values);
                end;
            end;
        end;
    end;
end;

Nochmal: Nicht getestet!

Ach ja genau, cols und rows muss unbedingt (global oder als parameter) gesetzt werden.

[Amateurprofi]

Hallo go4hl80ve,

versuche es mal damit.

Getestet habe ich es mit der vom Bundeswahlleiter veröffentlichten .csv Datei "kerg2005.csv" (Wahlergebnisse je Wahlkreis).
Scheint zu funktionieren.
Für diese Datei würdest Du die Prozedur aufrufen mit

Delphi-Quellcode:

CSVtoStringGrid(stringgrid1,'kerg2005.csv',';');

Das kann man sicherlich noch optimieren.

Delphi-Quellcode:

PROCEDURE CSVtoStringGrid(sg:TStringGrid; dsn:string; delimiter:char);
var slist:TStrings; i,j,k,c,maxcols:integer; s:string;
begin
   slist:=TStringList.Create;
   slist.LoadFromFile(dsn);
   // maximale Anzahl der Spalten ermitteln
   maxcols:=0;
   for i:=0 to slist.count-1 do begin
      c:=0;
      s:=slist[i];
      for j:=1 to Length(s) do
         if s[j]=delimiter then inc(c);
      if c>maxcols then maxcols:=c;
   end;
   with sg do begin
      // Anzahl Zeilen und Spalten festlegen
      ColCount:=FixedCols+maxcols;
      RowCount:=FixedRows+slist.Count;
      // Daten in Stringgrid übertragen
      for i:=0 to slist.count-1 do begin
         s:=slist[i];
         c:=FixedCols;
         k:=1;
         for j:=1 to Length(s) do
            if s[j]=delimiter then begin
               cells[c,i+FixedRows]:=Copy(s,k,j-k);
               inc(c);
               k:=j+1;
            end;
         cells[c,i+FixedRows]:=Copy(s,k,Length(s)-k+1);
      end;
   end;
   slist.free;
end;

[omata]

Und direkt in ein Grid geht es z.B. so...

Delphi-Quellcode:

procedure CSVtoStringGrid(Dateiname:string; StringGrid:TStringGrid);
var Datei:textfile;
    Zeilen, posi, ErsteZeile, ErsteSpalte, x, xmax, y, Breite:integer;
    Spalte, Zeile, s:string;
begin
  if assigned(StringGrid) then begin
    ErsteZeile:=StringGrid.FixedRows;
    ErsteSpalte:=StringGrid.FixedCols;
    StringGrid.RowCount:=StringGrid.FixedRows+1;
    Zeilen:=StringGrid.RowCount-1;
    Breite:=StringGrid.ColCount-1;
    y:=ErsteZeile;
    xmax:=0;
    assignfile(Datei, Dateiname);
    try
      reset(Datei);
      while not eof(Datei) do begin
        readln(Datei, Zeile);
        if y > Zeilen then begin
          StringGrid.RowCount:=StringGrid.RowCount+1;
          Zeilen:=StringGrid.RowCount-1;
        end;

        Zeile:=Zeile+';';
        s:=Zeile;
        x:=ErsteSpalte;
        repeat
          posi:=pos(';', Zeile);
          if posi > 0 then
            Spalte:=copy(Zeile, 1, posi-1);
          delete(Zeile, 1, posi);

          if x > Breite then begin
            StringGrid.ColCount:=StringGrid.ColCount+1;
            Breite:=StringGrid.ColCount-1;
          end;
          StringGrid.Cells[x, y]:=Spalte;
          inc(x);
          if x > xmax then
            xmax:=x;
        until (posi = 0) or (Zeile = '');
        inc(y);
      end;
      if StringGrid.RowCount > y then
        StringGrid.RowCount:=StringGrid.RowCount - (StringGrid.RowCount - y);
      if StringGrid.ColCount > xmax then
        StringGrid.ColCount:=StringGrid.ColCount - (StringGrid.ColCount - xmax);
    finally
      closefile(Datei);
    end;
  end;
end;

Aufruf...

Delphi-Quellcode:

  CSVtoStringGrid('Mappe.csv', StringGrid);

Test: ~23MB / 17000 Zeilen, 256 Spalten in 23 Sekunden.
Das Einlesen und erstellen des Gridbereiches dauert eigentlich nur 5 Sekunden (so schnell ist bei mir auch Excel), wurde allerdings auf 23 Sekunden erhöht, durch den Zugriff auf Cells. Da das alles private Elemente im Grid sind, die da aufgerufen werden konnte ich da leider noch keine weitere Optimierung einbauen.
Auch das Umschalten der Zeichenroutine oder das unsichbarmachen des Grids ergab keinen Geschwindigkeitszuwachs.

Edit:
Der Ansatz von Amateurprofi ist sogar noch etwas schneller (~19 Sekunden), allerdings wird die letzte Spalte nicht mit importiert (c mit 1 initialisieren, dann gehts)

Gruss
Thorsten