Bild im Internet Explorer finden?

[Caps]

Ein (relativ) einfacher Ansatz (wenn auch nicht sehr performant) wäre die Hough-Transformation.
Das funktioniert vor allem dann, wenn das Männchen ein starres Bild (Sprite), d.h. wenn es nicht z.B. animiert ist.

Ein etwas anderer Ansatz ist eine zweidimensionale, diskrete Kreuzkorrelation, d.h. das Produkt des isolierten Männchens mit allen Teilflächen an potentiellen Positionen des Männchens auf dem Screenshot. Da wo das Produkt maximal ist, ist die Chance am größten, dass sich das Männchen befindet.

Bei beiden Ansätzen müssen die Farbkanäle einzeln verarbeitet werden, da die Algorithmen einen eindimensionalen Funktionswert erwarten.

lg Caps

ps. Eine gewisse Art, Toleranz ("Unschärfe") beim Suchen anzuwenden, stellt in den beiden Verfahren der Funktionswert der Transformierten bzw. der Korrelationsfunktion dar - je höher desto besser ist der Treffer. Wenn mal ein Pixelchen fehlt, klappt die Erkennung meist trotzdem.

Edit:
Für die Hough-Transformation sollte das Männchen parameterisiert sein (Vektorgrafik), sonst geht's nicht, sorry.

[gee21]

Huui

Danke euch für eure schnellen Antworten. Bin immer wieder positiv überrascht was ihr alles wisst

Also das gesuchte Männlein (oder das gesuchte Symbol) ist nur 1 Bild (nicht animiert).
So könnte ich vermutlich die Hough-Transformation benutzen.

Also die Theorie habe ich nun verstanden . Hat vielleicht jemand ein Beispiel oder Tutorial dazu?

[gee21]

Zitat:

Edit:
Für die Hough-Transformation sollte das Männchen parameterisiert sein (Vektorgrafik), sonst geht's nicht, sorry.

Oh gar nicht gesehen. Ich denke ich kann keinen Screenshot als Vektorgrafik erstellen. Oder doch?

Ich denke es gibt ein normales Bmp oder Jpg wenn ich einen "normalen" Screenshot mache.

[Caps]

Das Problem bei der Hough-Transformation ist, dass Du das Männchen in Parametern beschreiben müsstest, so wie eine Vektorgrafik. Es gibt die generalisierte Hough-Transformation, die funktioniert mit jeder Art Muster.

Ich denke die Kreuzkorrelation würde besser funktionieren bzw. leichter umzusetzen sein. Es handelt sich ja eigentlich nur um zwei verschachtelte for-Schleifen mit etwas Beilage und Dressing.

[gee21]

Habe gerade mal etwas im Forum rumgeschaut und das einzige was ICH gefunden habe und evt für mich hilfreich SEIN KÖNNTE?
Bin eben noch ziemmlicher Anfänger und daher sind auch einfache Sachen für mich immer noch Schwierig zu realisieren.


Könnte man evt mit diesem Code etwas anfangen? (Ist von diesem Beitrag: http://www.delphipraxis.net/144655-b...tion-zncc.html)

Delphi-Quellcode:

function TForm1.CompareImages(Image1,Image2:TBitmap):Int64;
 var x,y:integer;
    P1,P2:PRGBTripleArray;
    summe1,summe2:integer;
 begin
   result := 0;
   summe1 := 0;
   summe2 := 0;
   for y := 0 to Image1.Height -1 do
    begin
      P1 := Image1.ScanLine[y];
      P2 := Image2.ScanLine[y];
        if not CompareMem(p1,p2,Image1.Width*SizeOf(TRGBTriple)) then
          begin
            for x := 0 to Image1.Width-1 do
              begin
                inc(summe1,RGB(P1[x].rgbtRed,P1[x].rgbtGreen,P1[x].rgbtBlue));
                inc(summe2,RGB(P2[x].rgbtRed,P2[x].rgbtGreen,P2[x].rgbtBlue));
                if summe1 <> summe2 then
                  begin
                    summe1 := 0;
                    summe2 := 0;
                    inc(result);
                  end;
              end;
          end;
    end;
   Application.ProcessMessages;
 end;

In diesem Beispiel wird zwar der % Satz der Differenz der Pixel gesucht (Wenn ich es richtig verstanden habe )
Aber es wäre doch ein ähnliches Prinzip oder so?

[Perlsau]

Zitat von gee21:

Habe gerade mal etwas im Forum rumgeschaut und das einzige was ICH gefunden habe und evt für mich hilfreich SEIN KÖNNTE?
Bin eben noch ziemmlicher Anfänger und daher sind auch einfache Sachen für mich immer noch Schwierig zu realisieren.

Dazu möchte ich dir etwas sagen:

Es ist nicht empfehlenswert, als Anfänger gleich derart schwierige Unterfangen zu starten. Wenn du die oben beschriebene Aufgabe lösen möchtest, mußt du auch verstehen, wie der Code, den du dazu einzusetzen gedenkst, funktioniert. Daher stellt kopierter Kode, den du offensichtlich nicht verstehst, keine brauchbare Vorgehensweise dar. Auch bei Komponenten, die ja oft massenweise Code enthalten, der nicht immer auf Anhieb zu verstehen ist, mußt du zumindest wissen, wie die Komponente arbeitet, um sie sinnvoll einsetzen zu können. Einfach mal was kopieren und dann im Forum fragen, ob man das mit diesem Code machen könnte, stößt bei den meisten fortgeschrittenen Programmierern auf impulsive Ablehnung, weil du nämlich den Eindruck erweckst, du seist nur an einer Irgendwie-Lösung des Problems interessiert und nicht, wie man diese Lösung selbst entwickelt.

Die Hinweise mit dem Pixelmuster müßten eigentlich genügen, um diese Aufgabe lösen zu können. Weitere Hinweise wären ScanLine und die Überlegung, daß mit der jeweiligen Position des Männleins im IE ja vielleicht auch ein anderer Hintergrund-Ausschnitt verbunden ist. Ergo müßtest du den Hintergrund des Männleins erst einmal korrekt entfernen und dann im Bild danach suchen, wo sich das Männlein-Muster befinden könnte. Du mußt dazu einfach via Scanline die einzelnen Zeilen auf die Männlein-Farben testen. Findest du die erste Farbe sagen wir mal von der linken oberen Ecke des Männleins, dann prüfst du, ob die nächste Farbe mit dem zweiten Pixel des Männleins übereinstimmt usw. Studieren der Hilfe zu Scanline wird dich sicher weiterbringen, wenn du das möchtest.

Eine schnelle Erledigung der Aufgabe wirst du als "ziemlicher Anfänger" wohl nicht auf die Reihe bekommen, daher sind Geduld und Ausdauer angesagt. Das Resultat nennt man Fortschritt.

[gee21]

OK, Danke für deine Info. Finde ich gut was du geschrieben hast. Da es auch ein ziemlich unwichtiges / FUN Projekt ist, wollte ich auch nur eine Irgendwie/schnelle/einfache Lösung. (Beim Mändlein ist übrigens immer der gleiche Hintergrund).

Wenn ich sehe wie einfach es ist, zwei "Gleich grosse" Bilder zu vergleichen kann es ja nicht so schwer sein ein Pixel Bereich in einem gesammten Bild zu finden.

Scanline habe ich mittlerweile auch entdeckt. Wie du aber richtig schreibst, verstehe ich es nicht. (Oder noch nicht)

werde mich mal schlau machen, üben und testen.

Danke

[gee21]

So also. Habe mal etwas versucht. Leider klappt es absolut noch nicht richtig... (Aber immerhin schon ein wenig )


1.
Wenn ich den folgenden Code so ausführe, listet er mir zwar die Farbe der Pixel aus der 1. Zeile auf. Aber leider krieg ich am Schluss eine Fehlermeldung: Zugriffsverletzung Ntdll.dll.
Weitere Fehlermeldungen erhalte ich merkwürdigerweise wenn ich die Projekt.exe dann schliesse.

Weiss jemand was ich falsch mache?


2.
im Memo werden zuerst alle Farben so aufgeführt: $00F7F7F7
ein paar werden aber plötzlich so aufgeführt: clWhite
Warum denn das?




3.
Hier habe ich nun zum testen nur mit der 1. Zeile gearbeitet. trotzdem geht es relativ lange...(2-3 Sekunden) Ich vermute mal dass es bei einem Bild von 1680x1050 viel zu lange dauern würde alles SO auszulesen und dann noch nach einem gewissen Bereich zu suchen. Was kann man da machen?

Delphi-Quellcode:

var
Bild: TBitmap;
p: PBytearray;
zeile, spalte: integer;
r, g, b: byte;
begin

Bild:=form1.Image1.Picture.Bitmap;

//pf32 oder 24?
Bild.pixelformat := pf32Bit;

// Nur die erste Zeile auslesen (Als Test)
zeile:= 0;
// Später dann Alle Zeilen so auslesen? :  for zeile := 0 to Bild.height do

//Alle Spalten / Pixel einer Zeile auslesen
for spalte := 0 to Bild.Width do begin;

//Zeiger auf Zeile setzen
p := Bild.scanline[zeile];

//Hier die 3 Farbwerte pro Pixel auslesen (Diesen Teil hab ich im Netz gefunden)
b := p[spalte * 4];
g := p[spalte * 4 + 1];
r := p[spalte * 4 + 2];

// Ab ins Memo als test und um später das gesuchte Teilbild per String zu suchen.
memo1.Lines.Add(ColorToString(rgb(r, g, b)));
end;
bild.free;
end;

[Volker Z.]

Hallo,

Zitat:

Wenn ich den folgenden Code so ausführe, listet er mir zwar die Farbe der Pixel aus der 1. Zeile auf. Aber leider krieg ich am Schluss eine Fehlermeldung: Zugriffsverletzung Ntdll.dll.
Weitere Fehlermeldungen erhalte ich merkwürdigerweise wenn ich die Projekt.exe dann schliesse.
Weiss jemand was ich falsch mache?

Lösche die Zeile bild.free nach Deiner For-Schleife.

Zitat:

im Memo werden zuerst alle Farben so aufgeführt: $00F7F7F7
ein paar werden aber plötzlich so aufgeführt: clWhite
Warum denn das?

Aus der OH

Zitat:

Mit ColorToString können Sie einen String abrufen [...] Wenn für die Farbe eine symbolische Konstante definiert ist [...], wird diese zurückgegeben. Andernfalls gibt ColorToString den hexadezimalen Wert der Farbe als String zurück

Zitat:

Hier habe ich nun zum testen nur mit der 1. Zeile gearbeitet. trotzdem geht es relativ lange...(2-3 Sekunden) Ich vermute mal dass es bei einem Bild von 1680x1050 viel zu lange dauern würde alles SO auszulesen und dann noch nach einem gewissen Bereich zu suchen. Was kann man da machen?

Vermutlich wird die meiste Zeit beim Einfügen ins und Aktualisieren des Memos verbraten.

Gruß

[Bummi]

Neben den Punkten die Volker bereits aufgeführt hat greifst Du mit

Zitat:

0 to Bild.Width

schon 1 zu weit zu ...

Statt des ByteArray kannst Du eine Array of TRGBQuad verwenden

Delphi-Quellcode:

uses exgdi,exgdipapi,exgdipobj;
{$R *.dfm}
type
  pRGBQuadArray = ^TRGBQuadArray;
  TRGBQuadArray = ARRAY[0..$effffff] OF TRGBQuad;

....
var
 pscanLine32 : pRGBQuadArray;
 i,j:Integer;
 begin
   Bmp.PixelFormat := pf32Bit;
   for i := 0 to bmp.Height -1 do
     begin
     pscanLine32 := bmp.Scanline[i];
     for j := 0 to bmp.Width -1 do
        begin
          ... pscanLine32[j].rgbReserved ...
          ... pscanLine32[j].rgbBlue ... 
          ... pscanLine32[j].rgbRed ... 
          ... pscanLine32[j].rgbGreen ... 
        end;
     end;
 end;

Der Umweg über String und ein Memo im besonderen werden das ganze extrem ausbremsen.

Ich würde den Vergleich direkt über die Scanlines machen

Pseudocodefetzen

Delphi-Quellcode:

  ...
  Pixelidentisch := true;
 
  //Loop über i/j Bild1 x/y Bild2 mit Abbruch wenn nicht Pixelidentisch
  //wenn x und y die Breite und Höhe erreicht haben und Pixelidentisch dann gefunden
  //das ganze dann jeweils mit erhöhten i und j Werten bis Pixelidentisch oder alles durchsucht
 
  Pixelidentisch := Pixelidentisch AND (Integer(pscanLineBitmap1[j]) = Integer(pscanLineBitmap2[x]));
  ...