Delphi Datenlogger zerstört CompactFlash (CF) Karten

[himitsu]

Was loggt denn der Datenlogger?
Nur Zugriffe auf DateiAPIs, die Zugriffe auf den Datenträgercontroler, oder die realen Zugriffe auf die Speicherzellen?


Jupp, beim Öffnen wird das Ende der Datei aisgelesen, dann nochmal darin nach einem "Dateiendezeichen" gesucht, der Zeiger auf das Ende gesett und wenn du dann die Datei schleißt, wird natürlich der komplette Cluster neu beschrieben und womöglich noch ein Annpassung im Volume Bitmap und dann auch noch die Anpassung der Dateigröße und des Änderungsdatums im Verteichnis und womöglich auch noch in allen übergeordneten Verzeichnissen. (Letzteres wurde in Windows 7 mal abgeschafft, vermutlich zum Zeitgewinn und in Hinblick auf SSDs)

Wie stabil läuft denn das System und wie wichtig sind die geloggten Daten?
Erstmal die Datei nicht ständig öffnen/schließen, dann auf Streams ausweichen, welche keine eigene Cache implementieren, so wie so alten Dateifunktionen, womit dann beim Absturz des Programms keine Daten verloren gehen.
Je nach Schreibverhalten und Speicherauslastung werden hier, über die WindowsFileCache, wenn man die Datei nicht ständig schließt, auch die physischen Dateiuzugriffe verringert.

Oder wenn das Schreiben nicht so wichtig ist, dann mit einer größeren eigenen Cache zwischenspeichern und die Dateizugriffe minimieren.

Sind die Daten ganz wichtig, dann müßte man sogar noch die Schreibcache vom Windows und des Datenträgers ausschalten, was aber die realen Zugriffe noch erhöht.

[rhuber]

Vielen Dank für eure Antworten!!!

Das mit dem Schreibcache hab ich gar nicht überlegt; FileMon (zur Überwachung der CF-Zugriffe) loggt ziemlich sicher nur die Datei APIs und nicht die realen Zugriffe...

Das System läuft extrem stabil (im Labor seit über einem Jahr), startet sich jeweils um Mitternacht selbst neu und schreibt die Logfiles des letzten Tages auf einen USB-Stick.
Es ist nicht tragisch wenn mal ein Tag verloren geht, viel wichtiger ist dass das System nicht hängen bleibt (was es aber im Falle eines CF-Defekts tut,dann hängt nämlich mein AutoReboot-Tool ->gemacht mit ExitWindowsEx,gibts da eine "Hardcore-Variante"?).

Nun, ich kenne mich leider mit den Datei APIs nicht sehr gut aus; gibts eine einfache Alternative zu "WriteLn()", mit welcher vorerst noch nichts geschrieben wird? Also zuerst nur in den RAM speichern und erst später die Änderungen schreiben,ohne zuviel am Code ändern zu müssen?

[Klaus01]

Zitat von rhuber:

gibts eine einfache Alternative zu "WriteLn()", mit welcher vorerst noch nichts geschrieben wird? Also zuerst nur in den RAM speichern und erst später die Änderungen schreiben,ohne zuviel am Code ändern zu müssen?

.. die TStringList
mit der Methode saveToFile zu speichern.

Die LogDaten im ram zu halten nützt natürlich nichts, wenn das Programm abstürzt.


nicht schön ...

Delphi-Quellcode:

program Project1;

{$APPTYPE CONSOLE}

uses
  SysUtils, classes;
var
  sl : TStringList;

procedure writeLn(s: ansiString);
begin
  sl.add(s);
end;

begin

  { TODO -oUser -cConsole Main : Insert code here }

  sl := TStringList.Create;
  try
    writeLn('test');
    sl.SaveToFile('filePath+fileName');
  finally
    sl.Free;
  end;
end.

Grüße
Klaus

[Medium]

In dem Fall würde ich auch fast sagen: Logs in StringListen, und speichern bei Programmende, Ausnahmefehlern die sich früh genug abfischen lassen und zu einem definierten Zeitpunkt. Und zwar direkt auf den Stick, dann ist die CF Karte überhaupt nicht mehr an Bord.
Hat natürlich den Nachteil, dass Logs flöten gehen, wenn mal einer mutwillig den Stecker zieht, aber die Hardware lässt an der Stelle dann einfach nicht arg viel Spiel für Datensicherheit. Im Zweifel könnte man noch an einen externen DB Server denken, der dann z.B. via WLAN alles schön in Tabellen speichert.

[divBy0]

Es ist ja auch möglich die Stringlist alle 2 Stunden oder so mal zu speichern.

[p80286]

Gibt's keine interne Festplatte?
von da täglich, alle 6Stunden.. auf Stick/CF-Card sichern?

oder vllt eine USB-Festplatte?

Gruß
K-H

[himitsu]

Ich denkie mal das ist eine Preis-, Platz- und vorallem Energiefrage.

CF-Karte als Ersatz für HDDs sind schon seit langem bekannt ... praktisch der Vorgänger der SSDs.

[hathor]

Lösung: RAM-DISK
Nur 1x täglich auf Flash-Speicher schreiben.

[shmia]

Die "richtige" Methode ist wenn man die Datei zum Schreiben öffnet, mit Seek ans Ende geht und dort weiterschreibt.
Was man vermeiden sollte ist den alten Inhalt in eine Stringliste einzulesen, dann Daten anhängen und den gesamten Inhalt wegzuschreiben.
Mit dieser falsche Methode würde man alle Daten, die man bisher geschrieben hat nochmals schreiben (nicht gut für die CF).

Ich habe mal auf die Schnelle eine Hilfsklasse geschrieben, mit der man es besser machen kann.

Delphi-Quellcode:

type
   // Mit dieser Klasse kann man Daten an eine bestehende Datei anhängen
   TAppendFileWriter = class(TObject)
   private
     FStream : TFileStream;
     FFilename : string;
     function GetFilesize: Int64;
   public
     constructor Create(const filename:string);
     destructor Destroy;override;

     procedure WriteString(const s : String);
     procedure WriteLine(const line:string);
     function Flush:Boolean;

     property Filename:string read FFilename;
     property Filesize:Int64 read GetFilesize;
   end;



{ TAppendFileWriter }

constructor TAppendFileWriter.Create(const filename: string);
begin
  inherited Create;
  FStream := TFileStream.Create(filename, fmOpenReadWrite or fmShareDenyWrite);
  FStream.Seek(0, soFromEnd);
end;

destructor TAppendFileWriter.Destroy;
begin
   FStream.Free;
   inherited;
end;

procedure TAppendFileWriter.WriteString(const s: String);
begin
   if s <> '' then
      FStream.WriteBuffer(s[1], Length(s));
end;

procedure TAppendFileWriter.WriteLine(const line: string);
begin
   WriteString(line+#13#10);
end;



function TAppendFileWriter.GetFilesize: Int64;
begin
   Result := FStream.Size;
end;


// Daten sicher schreiben
procedure TAppendFileWriter.Flush;
begin
   if not FlushFileBuffers(FStream.Handle) then
      RaiseLastWin32Error;
end;

[rhuber]

Wow, das ist ja super,besten Dank für eure Vorschläge!!!

Genau, der Embedded-PC braucht im Betrieb mit Win2k nur ca. 2 Watt. Da ich auch auf bewegte Teile verzichten wollte, läuft alles über eine Interne CF-Karte. Das Ganze soll mindestens 2 Jahre ohne Eingriffe (Tastatur,Monitor usw. gibts nicht) betrieben werden, lediglich der USB-Stick wird monatlich gewechselt. Immer nach dem Neustart um Mitternacht werde die Log-Files von der internen CF-Karte auf den USB-Stick kopiert.

Hab jetzt mal eine RAM-Disk gemacht, sollte ja den selben Effekt haben wie eine StringList.

Meine Speichervariante:

Code:

If FileExists(fileName) Then Begin //fileName=.csv-File des aktuellen Tages
   try
     AssignFile(TxtFile, fileName); //.csv-File Laden
     Append(TxtFile);
     WriteLn(TxtFile,messwerte);   //Neue Zeile mit Messwerte in Logfile hinzufügen (ca.300 Zeichen)
     CloseFile(TxtFile);

Ist wohl nicht gerade optimal,richtig? Ich werd auch mal versuchen die vorgeschlagene Klasse einzubauen. Kenn mich mit der Materie leider noch nicht so aus...

Gruss Roman