Substrings Extract Delimited Values

[Olli73]

Warum nicht einfach:

Delphi-Quellcode:

var
  SL: TStringList;
begin
  SL := TStringList.Create;
  SL.Delimiter := ADelimiter;
  SL.StrictDelimieter := True;
  SL.DelimitedText := AText;
  ...

Oder habe ich etwas falsch verstanden?

[mytbo]

Zitat von Olli73:

Oder habe ich etwas falsch verstanden?

Grundsätzlich hast du nichts falsch verstanden. In der Anfrage ging es um Beschleunigung am Beispiel. Meine Lösung ist ca. 1/3 schneller als das TStrings Äquivalent. In der Praxis vermutlich irrelevant.

Bis bald...
Thomas

[Uwe Raabe]

Das Anfügen an die TStringList benötigt aber ja auch seine Zeit.

Einen wohl auch akzeptabel schnellen Ansatz bietet das bordeigene Split:
  var arr := src.Split([',']);

[mytbo]

Zitat von Uwe Raabe:

Einen wohl auch akzeptabel schnellen Ansatz bietet das bordeigene Split:
  var arr := src.Split([',']);

Richtig! Diese Lösung ist ca. 1/3 schneller als mein Vorschlag. Da der Fragesteller kein Neuling ist und wir nicht wissen, welche zusätzlichen Anforderungen es noch gibt, hat sich mein Vorschlag konkret auf die Frage des Posters und der Verbesserung am Beispiel bezogen. Ich persönlich hätte die mORMot Lösung genommen.

Bis bald...
Thomas

[himitsu]

Zitat von Uwe Raabe:

Das Anfügen an die TStringList benötigt aber ja auch seine Zeit.

Sie haben da schon etwas optimiert und ändern den Speichern nicht bei jedem einzelnen Add,
aber wenn es unbedingt sein muß, dann SL.Capacity := 1000000; vor dem Hinzufügen.

[freimatz]

Wenn Geschwindigkeit so eine Rolle spielt - was ich mir bei einer DB gar nicht so recht vorstellen kann - dann wäre es eine Idee den String nicht vorgängig aufzusplitten und das Ergebnis zu speichern sondern erst später die String zu extrahieren und gleich zu verwenden.
Und wenn es doch sein muss nicht die ganzen strings zu speichern sondern nur die Start- und End-Positionen im Ausgangsstring.

[Sequitar]

Danke Euch für Eure Vorschläge!
Die Lösung mit
s.split() macht bisher einen guten Eindruck. Die Lösung von Thomas / mytbo werde ich noch prüfen


Zu den spezifischen Anforderungen wäre nur noch zu sagen:
- ich lade zzt eine Liste mit min 50M, max 100M, kommaseparierten (CSV) Einträgen vorberechnteter / vordefinierter Strings aus einer *.zip- Resource
- Ziel: es ist im Anschluss zu prüfen ob ein bestimmter Wert in dieser/n Liste/n vorkommt. Daher (denke ich) müsste ich die Resource bei programmstart durchsuchbar laden
- ich hatte überlegt, zwecks Speicherreduktion die Werte in einem (Binary-)Trie zu speichern (hier werden nicht die kompletten Strings gespeichert) statt in einer Stringlist / Tlist<>. Allerdings muss ich da noch überprüfen, inwiefern da die Geschwindigkeitseinbüßen zum durchsuchen meines Tries relevant sind.
-Ggf hatte ich überlegt, direkt auf Datenbank umzusteigen

Die Resourcen sind derzeit in einem Zip archiv (einzelne *.txt files) hinterlegt, Gäbe es hier eine Möglichkeit, ggf direkt auf den Zipstream zuzugreifen und darin zu suchen - statt extraktion/ übertragung von dort, oder macht das eher keinen Sinn?

Weitere Anforderungen an Format / Speicherung gibt es vorerst keine.>
@himitsu, wahrscheinlich wird es nicht direkt ersichtlich, wie viele Einträge geladen werden. Das könnte ich allerdings hierzu noch anpassen, um die capacity zu setzen

[Uwe Raabe]

Zitat von Sequitar:

- Ziel: es ist im Anschluss zu prüfen ob ein bestimmter Wert in dieser/n Liste/n vorkommt. Daher (denke ich) müsste ich die Resource bei programmstart durchsuchbar laden

Delphi-Quellcode:

type
  TMyStrings = class
  private
    FArr: TArray<string>;
  public
    procedure LoadStrings(const Value: string);
    function ContainsItem(const Item: string): Boolean;
  end;

function TMyStrings.ContainsItem(const Item: string): Boolean;
var
  idx: Integer;
begin
  Result := TArray.BinarySearch<string>(FArr, Item, idx);
end;

procedure TMyStrings.LoadStrings(const Value: string);
begin
  FArr := Value.Split([',']);
  TArray.Sort<string>(FArr);
end;