Datenbank zur Ablage von (mitunter großen) Blob flieds?

[moelski]

Moin !

Zitat:

Ja, das geht auf jeden Fall.
In den Beispielen gibt es extra ein Demo mit Threadbasierten Schreib- Lesezugriff.

Aha, das klingt gut ...

Sorry wenn ich da nochmal extra nachhake ...
Also angenommen ich habe 4 MDI Childs. 2 sind geöffnet und beinhalten ein Bild mit jeweils 150 MB.
Die anderen beiden sind geschlossen.

Der User (angenommen er kann schnell klicken :) ) schließt nun die zwei offenen und öffnet die beiden geschlossenen.

Bedeutet:
- 2 * 150MB werden in der DB abgelegt
- 2 * 150MB werden aus der DB geladen

Und das geht ohne das der Main Thread stoppt? Wenn dem so ist, dann wäre das super.

[Pfoto]

Also soooo große Dateien habe ich nicht verwendet,
bei mir waren es ca. 1000 Bilder von je ~100kb.

Aber bei Deinen Dateigrößen könnte wohl je nach
Rechner-Power schon mal was hängen...
Hol dir doch einfach mal das Beispiel von Nexus und lade
richtig große Dateien rein.

Gruß
Jürgen

[moelski]

Moin !

Das sind natürlich nur Beispieldaten. Sozusagen der Worst Case.
Im Normalfall rechne ich eher mit 1-10MB.

Zitat:

Hol dir doch einfach mal das Beispiel von Nexus und lade
richtig große Dateien rein.

Versuche ich gerade, aber die Embedded Free Edition D2007 kann ich nicht entpacken. Sagt mir immer das Archv wäre defekt :|

[Pfoto]

Zitat:

Zitat von moelski

Moin !
Versuche ich gerade, aber die Embedded Free Edition D2007 kann ich nicht entpacken. Sagt mir immer das Archv wäre defekt :|

Das war bei mir auch so.
Es lag dann am Entpacker (ich weiß nicht mehr welcher fehlerhaft war),
auf jeden fall habe ich hier IZArc und 7-Zip
bei mir installiert und nur mit einem von beiden hatte es funktioniert.

[moelski]

Moin !

So mit was anderem als 7-zip hat es nun auch bei mir geklappt.
Ich finde da eine Demo mit Threads. Da geht es aber nur um kleine Texte die eingefügt und gelöscht werden.

@Pfoto:
Wäre es dir möglich, dass du mir ein bisserl hilfst bei einem Thread Test mit größeren Datenmengen? Ich kenne die Datenbank noch nicht wirklich.

Was mir aber schon jetzt aufgefallen ist ... die Filestruktur:

Zitat:

$SQL$FUNCTIONS.nx1
$SQL$PROCEDURES.nx1
$SQL$TRIGGERS.nx1
$SQL$VIEWS.nx1
nxTrans.cfg
table1.nx1

Alles in einzelnen Dateien. Kann man das irgendwie mergen in eine?

[mkinzler]

Wenn du eine Datei willst, solltest du dir vielleicht doch FireBird (embedded) ansehen.

[moelski]

Moin !

Naja das mit den vielen Dateien ist nicht schön, aber könnte einfach mit einer ZIP Komponente erledigt werden. Vorher entpacken, beim Schließen wieder verpacken.

[alzaimar]

Zitat:

Zitat von moelski

Zitat:

Du könntest die BLOBs auch direkt in deine EXE (oder eine separate Resource-DLL) streamen

:gruebel: :gruebel: Wie meinen?
Das sind ja keine festen Daten sondern das sind die Daten die der User aufzeichnet. Und das in die EXE bzw. in eine Resourcen-DLL??
Da kann ich gerade nich folgen.

Kukstu hier, zum Beispiel.

Alternativ baut man sich sein eigenes Datei/Streamformat, so z.B.:

Delphi-Quellcode:

unit BlobDB;
interface
uses
  Classes;

type
  TBloblDB = class
  private
    fData: TStream;
  public
// Z.B. Mit einem FileStream instantiieren, z.B:
// MyFileStream := TFileStream.Create('MyFormularData.DAT', fmOpenReadWrite);
// MyBlobDB := TBlobDB.Create (MyFileStream);
    constructor Create(aStream: TStream);
// Inhaltsverzeichnis: Name|<Blob-Größe>
    Procedure ReadContents (aDirInfo : TStrings);
// Daten unter dem Namen speichern
    procedure ReadData(aName: AnsiString; aData: TStream);
// Daten unter dem Namen überschreiben bzw. anhängen
    procedure WriteData(aName: AnsiString; aData: TStream);
// Daten unter dem Namen entfernen
    procedure DeleteData(aName: AnsiString);
// Ermitteln, ob unter dem Namen Daten vorhanden sind
    Function DataExists (aBame: AnsiString) : Boolean;
  end;

implementation
uses
  SysUtils;
type
{(*}
  TBlobHeader = record
    Name: AnsiString;
    DataSize: Integer;

    function LoadFromStream(aStream: TStream) : Boolean;
    procedure SaveToStream(aStream: TStream);
  end;
{*)}

{ TBlobHeader }
function TBlobHeader.LoadFromStream(aStream: TStream): Boolean;
var
  iLen: Integer;

begin
  if aStream.Position >= aStream.Size - 1 then
    Result := False
  else begin
    Result := True;
    aStream.ReadBuffer(iLen, SizeOf(iLen));
    setLength(Name, iLen);
    if iLen > 0 then
      aStream.Read(Name[1], iLen);
    aStream.Read(DataSize, SizeOf(DataSize));
  end;
end;


procedure TBlobHeader.SaveToStream(aStream: TStream);
var
  iLen: Integer;

begin
  iLen := Length(Name);
  aStream.WriteBuffer(iLen, SizeOf(iLen));
  aStream.WriteBuffer(Name[1], iLen);
  aStream.Write(DataSize, SizeOf(DataSize));
end;

{ TBloblDB }

constructor TBloblDB.Create(aStream: TStream);
begin
  fData := aStream;
end;

function TBloblDB.DataExists(aBame: AnsiString): Boolean;
var
  blobHeader: TBlobHeader;

begin
  fData.Position := 0;
  while blobHeader.LoadFromStream(fData) do
    if blobHeader.Name = aName then begin
      Result := True;
      Exit;
    end
    else
      fData.Position := fData.Position + blobHeader.DataSize;

  Result := False;
end;

procedure TBloblDB.DeleteData(aName: AnsiString);
var
  tmpStream: TMemoryStream;
  blobHeader: TBlobHeader;

begin
  tmpStream := TMemoryStream.Create;
  Try
  fData.Position := 0;
  while blobHeader.LoadFromStream(fData) do
    if blobHeader.Name <> aName then begin
      blobHeader.SaveToStream(tmpStream);
      tmpStream.CopyFrom(fData, blobHeader.DataSize)
    end
    else
      fData.Position := fData.Position + blobHeader.DataSize;

    fData.Position := 0;
    fData.CopyFrom(tmpStream, 0);
  finally
    tmpStream.Free;
  End;
end;

procedure TBloblDB.ReadContents(aDirInfo: TStrings);
var
  blobHeader: TBlobHeader;

begin
  fData.Position := 0;
  aDirInfo.Clear;
  while blobHeader.LoadFromStream(fData) do Begin
    aDirInfo.Add(Format('%s|%d',[blobHeader.Name, blobHeader.DataSize]));
    fData.Position := fData.Position + blobHeader.DataSize;
  End;
end;

procedure TBloblDB.ReadData(aName: AnsiString; aData: TStream);
var
  blobHeader: TBlobHeader;

begin
  fData.Position := 0;
  while blobHeader.LoadFromStream(fData) do
    if blobHeader.Name = aName then begin
      aData.CopyFrom(fData, blobHeader.DataSize);
      Exit;
    end
    else
      fData.Position := fData.Position + blobHeader.DataSize;

  raise EResNotFound.CreateFmt('Could not find: %s', [aName]);
end;

procedure TBloblDB.WriteData(aName: AnsiString; aData: TStream);
var
  blobHeader: TBlobHeader;

begin
  DeleteData(aName);
  blobHeader.Name := aName;
  blobHeader.DataSize := aData.Size;
  blobHeader.SaveToStream(fData);
  aData.Position := 0;
  fData.CopyFrom(aData, aData.Size);
end;

end.

[Pfoto]

Letztendlich bekommst du die Streams auch bei NexusDB auf
die übliche Art in die entsprechende Tabelle; entweder direkt
über TnxTable.AddFileBlob() oder über TnxQuery,
dann übergibst du vor der Ausführung den entsprechenden Stream:

DeineQuery.ParamByName('Blob').LoadFromStream(Hier DeinStream, ftBlob);

Oder auf welche Weise speichert ihr derzeit die Blobs?

Gruß
Jürgen