Python im Delphi ausführen (geht nicht)

[himitsu]

Moin,

nutzt hier irgenwer Python direkt in seiner Anwendung?

https://github.com/pyscripter/python4delphi
https://github.com/python/cpython
https://www.python.org/downloads/


Aktuell haben wir noch die Python.exe, wo Input und Output ins Programm umgeleitet sind (CreateProcess)
und jetzt wollten wir uns direkt mit der Python*.dll verbinden.

Erstmal, da dort die Fehlerbehandlung einfacher würde und vor allem auch für die Übergabe von Variablen. (später auch Zugriff auf Funktion und Klassen im Delphi)


Derzeit spielen wir etwas mit Python4Delphi rum
und wöllten eigenlich am Liebsten das Python direkt aus "unserem" Programmverzeichnis nehmen, anstatt "irgendeiner" (nicht)installierten Version. (auf den Rechnern unserer Kunden)

DLLName und DLLPath kann man "eigentlich" in der TPythonEngine angeben,
aber es raucht wortlos ALLES ab. (nur mit einer "richtigen" Installation läuft es bisher)

Bisher sind wir so weit, dass wir wissen es bricht im Py_Initialize ab.
Wir hatten auch gehört, dass Py_Initialize blöd ist und man besser Py_InitializeEx verwenden soll. (geändert, aber natürlich kein Unterschied)
Im Assmbler dann etweas reingedebuggt und es bricht im letzten CALL innerhalb von Py_InitializeEx ab,
dann den Quellcode besorgt und ....

und jetzt würde ich die Python-Entwickler liebendgern erwürgen
und den Entwickler von Python4Delphi auch ein bisschen.



Wie sind denn eure Erfahrungen?



Wir wissen noch nicht warum, aber wenigstens nun erstmal wo es abraucht.

Also genauer beendet sich das Programm, sobald die Form mit dieser Komponente geladen wird.
Keine Exception ... einfach zu und weg.

TPythonEngine.AfterLoad -> TPythonEngine.Initialize -> Py_Initialize -> Py_InitializeFromConfig -> ...
... -> _PyStatus_EXCEPTION -> Py_ExitStatusException -> Exit oder Write(stderr)+Exit

Code:

// pylifecycle.c

void
Py_InitializeEx(int install_sigs)
{
    PyStatus status;

    status = _PyRuntime_Initialize();
    if (_PyStatus_EXCEPTION(status)) {
        Py_ExitStatusException(status);
    }
    _PyRuntimeState *runtime = &_PyRuntime;

    if (runtime->initialized) {
        /* bpo-33932: Calling Py_Initialize() twice does nothing. */
        return;
    }

    PyConfig config;
    _PyConfig_InitCompatConfig(&config);

    config.install_signal_handlers = install_sigs;

    status = Py_InitializeFromConfig(&config);
    if (_PyStatus_EXCEPTION(status)) {
        Py_ExitStatusException(status);
    }
}

void _Py_NO_RETURN
Py_ExitStatusException(PyStatus status)
{
    if (_PyStatus_IS_EXIT(status)) {
        exit(status.exitcode);
    }
    else if (_PyStatus_IS_ERROR(status)) {
        fatal_error(stderr, 1, status.func, status.err_msg, 1);
    }
    else {
        Py_FatalError("Py_ExitStatusException() must not be called on success");
    }
}

void
Py_Initialize(void)
{
    Py_InitializeEx(1);
}

Fazit: Als "Fehlerbehandlung" beendet diese besch**** Komponente einfach so den kompletten Prozess (Halt/Exit/ExitProcess), anstatt z.B. eine Exception zu werfen (oder etwas mit Fehlercodes, innerhalb des Programms).

Wie im fatal_error zu sehen, würde ein Fehlertext eventuell auf die Console (strerr) ausgegeben.
Natürlich geil, dass eine VCL-Anwendung keine Console hat und selbst mit Console geht das Fenster bei Programmende auch sofort weg. (müsste man das dann also auch noch in der CMD.exe starten)


Auch im PascalWrapper (PythonEngine.pas) ist böswillig in ExitProcess versteckt,
denn das Property PythonEngine.FatalAbort ist standardmäßig True.

Delphi-Quellcode:

// wenn Fehler aufgetreten und Property FatalAbort=True
if FatalAbort then
  Quit;


procedure TDynamicDll.Quit;
begin
  if not( csDesigning in ComponentState ) then begin
{$IFDEF MSWINDOWS}
    MessageBox( GetActiveWindow, PChar(GetQuitMessage), 'Error', MB_TASKMODAL or MB_ICONSTOP );
    ExitProcess( 1 );
{$ELSE}
    WriteLn(ErrOutput, GetQuitMessage);
    Halt( 1 );
{$ENDIF}
  end;
end;

Wie kann man nur so dermaßen böswillig sein
und, nur weil es ein kleines Problem gibt, gleich den kompletten Prozess abwürgen,
anstatt nur, in dem einen Thread, einen Fehler zu werfen, welcher abgefangen und verarbeitert werden könnte?



Besonders cool ist auch die DLL-Suchfunktion der TPythonEngine (UseLastKnownVersion), welche auf einem Testrechner mit Installiertem Python (64 Bit) dessen DLL findet,
welche ... naja, in einem 32 Bit Programm geladen, geht es irgendwie nicht gut.

[TiGü]

Ein Kollege von mir beschäftigt sich gerade damit, eine große externe Bibliothek per Python4Delphi an unserer Programm anzuschließen.
Ich habe ihn den Thread per Mail geschickt und zitiere hier seine Antwort gekürzt.
Vielleicht hilft es dir weiter?
(EXTERNER BIBLIOTHEK = zensiert)

Zitat:

Ich hatte bis jetzt keine Probleme mit der Installation und Ausführung der Python-Schnittstelle in Delphi.

Ich habe es in 3 Rechner und 2 virtuelle Maschinen installiert und lief und läuft ohne Probleme und sehr stabil.

Die Benutzung externer DLL's zB von EXTERNER BIBLIOTHEK oder anderen mathematischen Bibliotheken, die unter C/C++ entwickelt sind (egal, ob über die Python Schnittstelle oder nicht), verlangt das verändern der FPU-Exception Masken, weil sie unterschiedlich sind, als in Delphi.
Für mehr Info kannst Du hier gucken:
https://stackoverflow.com/questions/...nd-twebbrowser

Die Entwickler von Python stellen als Hilfe die Funktion
MaskFPUExceptions(true);
zur Verfügung die genau das macht.

Das gleiche wird auch in der COM - Schnittstelle von EXTERNER BIBLIOTHEK gemacht.

Macht man das nicht, bekommt man Exceptions je nach Lust und Laune und ich vermute, der Typ mit dem Bug hat eventuell dieses Problem.

Ansonsten wäre dieses Unterforum vielleicht noch eine sinnvolle Anlaufstelle:
https://en.delphipraxis.net/?forumId=39

[TiGü]

Hier das angesprochene Maskieren der FPU-Exceptions:
https://github.com/pyscripter/python...kFPUExceptions

[mmw]

hallo,

bei mir läuft es so.

diese Datei

python-3.8.7-embed-win32.zip

runtergeladen (entpackt).

die Komponente wie im Anhang konfiguriert.

https://docs.python.org/3/using/wind...ows-embeddable

Ob's das Problem löst kann ich nicht sagen, zumindest kommt ein Ergebnis.

Gruß

[himitsu]

Jupp, so ähnlich hab ich das inzwischen auch zum Laufen bekommen.
* python-3.9.1-embed-win32.zip
* nichts konfiguriert
* und im Delphi wie bei dir, aber zusätzlich die mistigen Fatal*** auch auf False

Allerdings lässt sich der Pfad nicht dynamisch ändern. (OnBeforeLoad ist einen Hauch zu spät ... könnte maximal noch .Loaded überschreiben)
* drum, hab ich nun das Auto**** deaktiviert und versuche manuell zu laden
* war grade dabei meine zwei Demo-EXEn auszumisten und dann hochzuladen

* mit hartcodiertem Pfad geht es nun
* aber da das Programm selten im selben Pfad liegt .......


Mit AutoLoad hab ich auch noch das Problem, dass ich Variablen erst manuell löschen muß, da sie nach dem Execute erhalten bleiben, in den nächsten Aufrufen.
* grundsätzlich erstmal gut, da wir unser InitScript einzeln ausführen können und es nicht ins ArbeitsScript einfügen müssen. (bei einem Fehler würden dann nun endlich mal die Zeilennummern stimmen)
* aber zwischen der Ausführung von zwei Aufgaben sollten die Variablen nicht erhalten bleiben (früher einfach, da die Python.exe sich am Schulß eh immer beendete)
* auf die Schnelle aber nur ein Python-Script zum Löschen gefunden (im Delphi den Zugriff auf die Variablen noch nicht rausgefunden/verstanden ... egal, geht erstmal)


Also erstmal was halbwegs Nutzbbares hinbekommen,
aber nun noch versuchen das AutoLoad durch was Manuelles zu ersetzen

mit AutoLoad

Delphi-Quellcode:

procedure TForm9.PythonEngine1BeforeLoad(Sender: TObject);
begin
  { zu spät ... muß schon vor/in .Loaded erledigt worden sein, drum stehts erstmal wieder in der DFM }
  //PythonEngine1.DllPath             := EdDllPath.Text;
  //PythonEngine1.DllName             := EdDllName.Text;
  //PythonEngine1.RegVersion          := '';
  //PythonEngine1.UseLastKnownVersion := False;

  // muß vor PythonEngine1.Initialize aufgerufen werden.
  // und da PythonEngine1.AutoLoad=True .....
  PythonEngine1.InitScript.Text := EdGlobalScript.Text;
end;

procedure TForm9.BtExecCheckClick(Sender: TObject);
begin
  EdOutput.Clear;

  //PythonEngine1.ExecString(EdInitScript.Text);
  EdResult.Text := BoolToStr(PythonEngine1.CheckExecSyntax(EdExecScript.Text), True);
end;

procedure TForm9.BtExecClick(Sender: TObject);
begin
  //PythonEngine1.InitScript.Text := EdGlobalScript.Text;
  try
    EdResult.Clear;
    EdOutput.Clear;

    // Variablen der letzten Ausführungen löschen
    { bissl was versucht, aber nichts half
    PythonEngine1.GlobalVars := nil;
    PythonEngine1.LocalVars := nil;
    PythonModule1.ClearVars;
    }
    PythonEngine1.ExecString(
        'for name in dir(): '#10
      + '  if not name.startswith("__"): '#10
      + '    del globals()[name] '#10
      + 'for name in dir(): '#10
      + '  if not name.startswith("__"): '#10
      + '    del locals()[name] '#10
      + 'del name');

    if Trim(EdInitScript.Text) <> '' then
      PythonEngine1.ExecString(EdInitScript.Text);
    PythonEngine1.ExecString(EdExecScript.Text);
  except
    on E: Exception do
      EdResult.Text := E.Message;
  end;
end;

ohne AutoLoad (aber im Initialize knallt eine Zugriffsverletzung bei Addr 0000)

Delphi-Quellcode:

procedure TForm9.BtExecClick(Sender: TObject);
begin
  if not PythonEngine1.IsHandleValid then begin
    PythonEngine1.DllPath             := EdDllPath.Text;
    PythonEngine1.DllName             := EdDllName.Text;
    PythonEngine1.RegVersion          := '';
    PythonEngine1.UseLastKnownVersion := False;
    PythonEngine1.LoadDll;
  end;

  if not PythonEngine1.Initialized then begin
    PythonEngine1.InitScript.Text := EdGlobalScript.Text;
    PythonEngine1.Initialize;
  end;
  try

    try
      EdResult.Clear;
      EdOutput.Clear;

//      // Variablen der letzten Ausführungen löschen
//      { bissl was versucht, aber nichts half
//      PythonEngine1.GlobalVars := nil;
//      PythonEngine1.LocalVars := nil;
//      PythonModule1.ClearVars;
//      }
//      PythonEngine1.ExecString(
//          'for name in dir(): '#10
//        + '  if not name.startswith("__"): '#10
//        + '    del globals()[name] '#10
//        + 'for name in dir(): '#10
//        + '  if not name.startswith("__"): '#10
//        + '    del locals()[name] '#10
//        + 'del name');

      if Trim(EdInitScript.Text) <> '' then
        PythonEngine1.ExecString(EdInitScript.Text);
      PythonEngine1.ExecString(EdExecScript.Text);
    except
      on E: Exception do
        EdResult.Text := E.Message;
    end;

  finally
    PythonEngine1.Finalize;
  end;
end;

[Der schöne Günther]

Ich habe mit Python nichts am Hut, aber Kiriakos "pyscripter" Vlahos ist in der englischen Delphi-Praxis aktiv und es gibt dort sogar ein eigenes Unterforum.

[mmw]

hallo,

bringt es vielleicht

Delphi-Quellcode:

 if not PythonEngine1.Initialized then begin
    PythonEngine1.InitScript.Text := EdGlobalScript.Text;
    PythonEngine1.Initialize;
  end;

PythonEngine1.Initialize;

durch

PythonEngine1.LoadDLL

zu ersetzen

Gruß

[hanvas]

Zitat von himitsu:

Moin,

nutzt hier irgenwer Python direkt in seiner Anwendung?

https://github.com/pyscripter/python4delphi

und den Entwickler von Python4Delphi auch ein bisschen.

Das musst Du nicht. Der Verantwortliche für dieses Verhalten der Komponenten, einer der Ursprungsentwickler (Morgan Martinet , Dietmar Budelsky) von Python4Delphi, ist gerade erst verstorben. [1]

In der englischsprachigen Ausgabe der Delphi Praxis gibt es eine Art "Support" für Python4 Delphi. [2]

[1] https://huth.gemeinsam-trauern.net/B...etmar-budelsky

[2] https://en.delphipraxis.net/forum/39-python4delphi/

[mmw]

hallo,
ich hab's jetzt so gelöst. (Bemerkung: Ich benutze eine p4d-version von Mitte 2020, bei der aktuellen scheint sich was geändert zu haben)

in der Procedure

procedure TPythonEngine.Initialize; ausdokumentiert
// raise Exception.Create('There is already one instance of TPythonEngine running' );

den Code eingefügt.

Delphi-Quellcode:

if Assigned(gPythonEngine) then begin
   gPythonEngine := Self;
   CheckRegistry;
   FInitialized := True;
   FIORedirected := False;
   InitSysPath;
   SetProgramArgs;
   GetTimeStructType;
   GetDateTimeTypes;

if RedirectIO and Assigned(FIO) then
    DoRedirectIO;

for i := 0 to ClientCount - 1 do
    with Clients[i] do
      if not Initialized then
        Initialize;
 if InitScript.Count > 0 then
    ExecStrings( InitScript );
  if Assigned(FOnAfterInit) then
    FOnAfterInit(Self);
  exit;
end;

Delphi-Quellcode:

procedure TForm1.FormActivate(Sender: TObject);


begin
    PythonEngine1.LoadDll;
end;

Delphi-Quellcode:

procedure TForm1.FormCreate(Sender: TObject);

begin
    PythonEngine1.DllName:='python38.dll';
    PythonEngine1.DllPath:='d:\delphi10';
    edDllPath.Text:=PythonEngine1.DllPath;
    edDllName.text:=PythonEngine1.DllName;
end;

bis jetzt funktioniert's. Ist natürlich nur für den persönlichen Gebrauch gedacht und auf eigene Verantwortung.

Gruß

[himitsu]

Aktuelles Ergebnis:


Also erstmal muß man unbedingt aufpassen welches Python installiert ist. (eigentlich klar, aber die Fehlerbehandlung ist bissl ungünstig ... man denkt der finded die Embedded- oder Installed-DLL nicht, dabei kann er sie nur nicht laden, wegen falscher Bitigkeit)
> bei Win32-Programm die 32-Bit-DLL (meistens scheint im Windows64 die 64-Bit-Version installiert zu sein, was in einem 32 Bit Programm nicht gut geht)

* Obwohl die Komponente ab Delphi 2010 ist

Zitat:

Delphi-Quellcode:

{$IFNDEF FPC}
  {$IFNDEF DELPHI2010_OR_HIGHER}
      Error! Delphi 2010 or higher is required!
  {$ENDIF}
{$ENDIF}

Lässt es sich im Delphi XE garnicht kompilieren (in der INC muß die ExtendedRTTI auskommentiert werden)

* Die Demos sind alle für ein installiertes Python ausgelegt (ohne Installation mit Embedded irgendwo rumliegend, muß jede Demo einzeln angepasst werden)
* Außerdem fehlen in den Projekten die Suchpfade zum ..\Source;..\Source\Vcl (so lassen sich die Demos auch nicht kompilieren)
* Im XE flog aus allen Demo-Projekten das Win64 und es wurde mit Win32 kompiliert (hier bin ich in 10.4 drauf reingefallen, dass es dort mit standardmäßig aktiven Win64 mit meinem 32-Bit-Python nicht ging, wo mein Kollege keine Probleme hatte)

* manuelles LoadDll+Initialize und Finalize+UnloadDll funktioniert irgendwie nicht ... beim zweiten Aufruf geht vieles nicht mehr, vor allem die wichtige IO-Redirection
* Aber alle Klassen manuell erstellen und nach jedem Execute wieder freigeben, das funktionierte letztendlich
> alle Instanzen erstellen und initialisieren, inkl. Erstellen von paar PascalFunktionen und setzen von Python-Variablen ... dauert nur knapp 60 Millisekungen (schneller als die 3-5 Sekunden vom Aufruf der Python.EXE)