DLL Tparallel.for loop deadock

[Sequitar]

Zitat von Sequitar:

Zitat von TiGü:

Ne, so geht das nicht!
Das ist so nicht aus dem Hut ohne große Anpassung lauffähig.
Dein Vorname Nachname steht als als Output Path für Win32 Debug drin.
Dann gibt es Heckmeck mit den Laufzeitpackages und wenn man das aus der Projektdatei entfernt hat, dann will er die Units Shared.Globals, Unittests, Utils.Messagelog, Objects.Factory usw. einbinden, die aber nicht mitkommen.

Versuch bitte nochmal dein Problem zu verkleinern.

Guter punkt. ichhab die paths noch nicht angepasst. ich werde heute nachmittag eine mvp ohne packages hochladen. dank für den hinweis.

Das gestaltet sich - wg veränderter initialisierungsreihenfolge- etwas schwierig, alles in eine einzelne exe zu packen. Da ich im moment relativ wenig zeit hab, brauch ich damit wohl noch 1,2 tage, wenn es anders gar nicht geht.
Trotzdem erst mal danke für die hilfe
seq

[Sequitar]

Zitat von Sequitar:

Zitat von Sequitar:

Zitat von TiGü:

Ne, so geht das nicht!
Das ist so nicht aus dem Hut ohne große Anpassung lauffähig.
Dein Vorname Nachname steht als als Output Path für Win32 Debug drin.
Dann gibt es Heckmeck mit den Laufzeitpackages und wenn man das aus der Projektdatei entfernt hat, dann will er die Units Shared.Globals, Unittests, Utils.Messagelog, Objects.Factory usw. einbinden, die aber nicht mitkommen.

Versuch bitte nochmal dein Problem zu verkleinern.

Guter punkt. ichhab die paths noch nicht angepasst. ich werde heute nachmittag eine mvp ohne packages hochladen. dank für den hinweis.

Das gestaltet sich - wg veränderter initialisierungsreihenfolge- etwas schwierig, alles in eine einzelne exe zu packen. Da ich im moment relativ wenig zeit hab, brauch ich damit wohl noch 1,2 tage, wenn es anders gar nicht geht.
Trotzdem erst mal danke für die hilfe
seq

Hat etwas gedauert. Entschuldigung.
Ich hoffe ich hab jetzt die entsprechenden paths alle abgeändert.

Dazu hab ich ein minimum-core package zusammengestellt, das die notwendigen interfaces und globale pfade etc enthält. Das hat jetzt aber keine debuginfos mehr drin.
Die ResourcenDLL ist noch nicht compiliert, hierzu liegen die resources bei.

!!FactorizeMT_minimal.ini: Hier müssen die wichtigen Pfade (your user name\myprojects\plugins etc..) noch angepasst werden
(danke für den tip übrigens, ich denke ich hab sonst alle rausgelöscht).
Es gibt auch noch die möglichkeit, sich einen anderen logger (für eine ausgabedatei, standardmäßg über die console) zu registrieren.



Wg.der resources ist das Archiv jetzt übergroß und wird nicht hochladen:
https://www.dropbox.com/s/oqsj97uln4...izeMT_test.zip

[Sequitar]

Ich muss mich heute noch mal zurückmelden:

Wenn ich eine einfache for loop teste:

Delphi-Quellcode:

 
 CheckSynchronize;
 Tparallel.For(1, 10,
    Procedure(I: Integer)
    Begin
// CheckSynchronize;//?? macht keinen Unterschied
      Writeln(I);
    End);

, dann komme ich beim Debuggen
in Unit <system.threading>, l. 1583

Delphi-Quellcode:

class function TParallel.&For(ALowInclusive, AHighInclusive: Integer; const AIteratorEvent: TProc<Integer>): TLoopResult;
begin
  Result := ForWorker(..)
end;

Dann kann ich nach l. 3100 und springen:

Delphi-Quellcode:

class function TThreadPool.GetCurrentThreadPool: TThreadPool;
..

Hier wird dann auch eine entsprechende instanz zurückgegeben

allerdings hängt die Ausführung in der class procedure

Delphi-Quellcode:

class function TParallel.ForWorker(..)
//..

//l. 1414:
RootTask.Start.Wait;

//also scheint der "roottask" thread in dem fall nicht gestartet, denn er wartet an der Stelle vergeblich
//nach erfolgter Ausführung der function ttask.start:itask


Macht das irgendeinen Sinn? Ich meine, ich kann auch einen ganz normalen Thread laufen lassen (so hab ich z.b. einen "working indicator" im Hintergrund (ne Art "ladebalken, der mir einfach eine bestimmte Zeichenfolge -/-\...) ausgibt. Der läuft auch einwandfrei, (ist natürlich aber auch von nichts externem abhängig).

BTW, konnte das Problem jemand reproduzieren anhand der Anhänge?


Vielen Dank

[Sequitar]

Also ganz ehrlich, das kann doch nicht sein?! Irgendwas läuft da grundlegend falsch.
Ich dachte, ok paralell geht nicht, steige ich - mit mehraufwand - auf normale threads um.
Es stellt sich raus, ...das geht genauso wenig.

Nehmen wir folgende minimalklasse

Delphi-Quellcode:

type
  tmythread = class(Tthread)
    procedure Execute; override;
  end;

Procedure tmythread.Execute;
Begin
  While Not Terminated Do
  Begin
    Sleep(1000);
    Writeln(Timetostr(Now));
  End;
End;

und packen sie in eine standalone exe. ...

Delphi-Quellcode:

 with tmythread.Create(true) do
  begin
    start;
    waitfor;
    free;
    end; //unbeachtet der endlosschleife hier

gibt das ganz normal jede sekunde eine zeit aus. Soweit so gut,

packe ich DENSELBEN code in eine dynamisch geladene dll

..NIX

Der Thread (zum testen innerhalb der dll "gestartet") gibt nix aus. Es zeigt sich dass, beim Aufruf der Methode "start"
a) irgendein Tobject.create aufgerufen wird (ok kann ja im hintergrund sein)
b) direkt dabei eine access violation auftritt bei

Delphi-Quellcode:

function _ClassCreate(InstanceOrVMT: Pointer; Alloc: ShortInt): Pointer;
//..
  CALL    DWORD PTR [EAX] + VMTOFFSET TObject.NewInstance

//..
end;

Im Call-Stack listet er dann noch system.classes.objecttexttoresources() auf, das ist dann aber so tief in den internals der rtl. Ich dachte nicht dass mich so ein code überhaupt tangiert..?


Das "onidle" wie ganz zu beginn mal angemerkt, wurde auch hier exportiert. Aber es kann doch nicht sein,ddass ich *keinen* einzigen Thread in der dll laufen lassen kann (außer app main thread)?

Ich bin echt ratlos, liebe leute.
Danke schon mal für euer feedback.

[Sequitar]

Ich habe heute mal etwas Zeit gefunden, mich noch einmal mit dem Problem zu beschäftigen. Es ist mir tatsächlich gelungen den code auch innerhalb der dll laufen zu lassen (zum test einfach mal eine simple procedure exportiert:

Delphi-Quellcode:

procedure paral_for;
var
  l: Tlist<Boolean>;
  pc: Iprimecheck;
const
  N = 5000;
var
  Indicator: Tindicatorthread;
  Pool: TThreadPool;
begin
  l := Tlist<Boolean>.Create;
  pc := Tfactory.New<Iprimecheck>;
  Indicator := Tindicatorthread.Create(False);
  Indicator.FreeOnTerminate := True;
  Logger.Add('checking the first ' + inttostr(N) + ' primes.Multithreaded.');
  try
    Pool := TThreadPool.Create;
    Pool.SetMaxWorkerThreads(3);
    Pool.SetMinWorkerThreads(3);
    TParallel.For(0, N,
      procedure(I: Integer)
      begin
        l.Add(pc.Checkprime(inttostr(I)));
      end, Pool);
  finally
    Pool.Free;
    Indicator.Terminate;
    for var B in l do
      Writeln(B);
    l.Free;
  end;
end;


//..
 paral_for name 'checkprime_paralFor',

In der main app lasse ich die dann laufen, wie gewünscht:

Delphi-Quellcode:

//loadlibrary(..);
 Tester.Test(
    procedure
    begin
      @paral_for_external := getprocaddress(module,
        Pchar('checkprime_paralFor'));
      if Assigned(@paral_for_external) then
        paral_for_external;
    end, 'external Parallel for loop');
//..
//freelibrary(..);

Zwei (prominente) dinge habe ich am setup geändert:
-Jetzt arbeite ich an einem anderen PC - Gleiche Delphi-Version 10.4 comm.
- KEINE nutzung von Sharemem.pas (dem Memorymanager). Die war irgendwie in der DLL aktiv, komischerweise nicht aber in der exe.

Ich würde mal auf die Kausalität mit letzterem tippen. Kann das sein? Es war ja der Fall, dass es mir die IDE ja nicht mal erlaubt hat, in den Funktionskörper der Tparalell.for ().. zu springen, sondern sie hat an der Stelle immer direkt gehangen.

Lange rede, kurzer Sinn:
Ich denke ich habe das / ein kritisches Problem gefunden und beheben können. Zumindest in einem Testcase macht der code-Abschnitt jetzt was er soll. Ich bin gespannt, wie es aussieht, wenn ich das auf den originalcode anwende.


BTW: *darf* man ungeschützt innerhalb der paralel-loop auf eine gemeinsame liste zugreifen (sprich brauche ich hier eine CS oder macht der das in dem Fall selber?). Im allgemeinen würde ich das ja nicht so machen.

[Sequitar]

OK, es läuft. Jetzt bleibt die Frage, wieso ist es als Multithreaded-Version *signifikant* langsamer?
Um die tparallel.&for() loop nutzen zu können, muss ich ja einen min, und einen max wert angeben, um terminieren zu können. Soweit so klar. Also hol ich mir einen array[min..max], fülle den auf (das muss im moment noch linear erfolgen, schien mir ein bottleneck zu sein, daher hab ich den teil jetzt auf pointers umgestellt (anstatt
for i:=low to high do ar[i]:=//... jetzt

Delphi-Quellcode:

filler:=@ar[low];
stop:=@ar[high];
while filler<>stop do
begin
filler^:=//..
inc(filler)
end;
//last item
filler^:=//..

und lasse per parallel loop auf teilbarkeit (relativ einfach)/ primality (sehr rechenintensiv. hieran hängts's wohl, dass es trotzdem nicht schneller ist.) testen. Hier hatte ich aufgrund der parallelen Bearbeitung (vorallokation eines Threadpools, getestet mit unterschielicher Größe von 2,8,16 Threads) der intensiven schritte auf einen Vorsprung gegenüber linearem testen gehofft. Das gegenteil scheint, ceteris paribus, der fall.
Am Befüllen scheint es nach entsprechender Testung nicht zu liegen. Hier habe ich abseits mal einen vergleich laufen lassen, und kaum unterschiede feststellen können
(WO)Mache ich einen Denkfehler?