Pixelerkennung, Kreativität gesucht die mir fehlt!

[hanvas]

Ich würde zunächst ein Array in den Dimensionen des Bildes anlegen, als Datentyp würde ich vermutlich Byte wählen, kann aber sein das Integer, wenn es auf Geschwindigkeit ankommt, ggf. besser wäre.

Anschließend würde ich an allen Positionen die im Bild der Suchfarbe entsprechen eine 1 im Array setzen, an allen anderen Positionen eine 0. Das Ergebnis bis hierhin ist praktisch Binärbild das die zu bearbeitenden Umrisse, die Buchstaben und die Paralellogramme des gesuchten Balkens enthalten.

Anschließend würde ich eine Liste der "verbundenen Komponenten" erstellen. Die nachfolgenden Prozeduren sollten nebenbei auch noch ein Labeling durchführen, das heißt jedem Umriss im erzeugten "Binärbild" eine andere Nummer, beginnend mit 2 zuordnen. Die erzeugte Liste enthält ein Objekt welches die Anzahl der zusammenhängenden Pixel speichert, das Rechteck für jeden Umriss das den Umriss gerade noch umschließt und das Label das mit dem Urisse in unseren Array korrospondiert.

Einfach mal so hingeschrieben, ungetestet, keine Garantie auf Korrektheit, beim dargestellten Problem (und s/w Bild) sollte die rekursive Version funktionieren.

Delphi-Quellcode:

const nr = YYYY; // Dimension in y
      nc = XXXX; // Dimension in x

type  TData : Array[0..nr,0..nc] of byte;     

      // Bitte selbst implementieren
      TObjectInfo = class(TObject) // oder record
      private
       FExtends : TRect;
       FLabel   : Integer;
       FSize    : Integer;
      public
       Constructor Create(aSize, aLabel : Integer; minX,minY,maxX,maxY : Integer );
      property
       Size : Integer
        read FSize;
      property
       R : TRect
         read FExtends 
      property 
       label : Integer
         read FLabel;
      end;

function  ConnectedArea ( var data : TData; y,x : Integer; Searched : Integer= 1; Visited: Integer = 2; var minX,minY,maxX,maxY ) : Integer;
var v : Integer;
begin
  if ( y< nr  ) and
     ( y >= 0 ) and
     ( x < nc ) and
     ( x >= 0 ) then
  begin
   v := Data[y,x];
   if (v=Searched) and // 
      (v<>visited) then
      begin
       if (minX>x) then 
           minX:= x;
       if (minY>y ) then
           minY:= y;
       if (maxX>x) then
           maxX := x;  
       if (maxY>y) then
           maxY := y; 
       result    := 1;
       Data[y,x] := visited;
       result    := result + ConnectedArea ( img, y+1, x  , Value, minx,miny,maxx,maxy );
       result    := result + ConnectedArea ( img, y+1, x+1, Value, minx,miny,maxx,maxy );
       result    := result + ConnectedArea ( img, y+1, x-1, Value, minx,miny,maxx,maxy );
       result    := result + ConnectedArea ( img, y-1, x  , Value, minx,miny,maxx,maxy );
       result    := result + ConnectedArea ( img, y-1, x-1, Value, minx,miny,maxx,maxy );
       result    := result + ConnectedArea ( img, y-1, x+1, Value, minx,miny,maxx,maxy );
       result    := result + ConnectedArea ( img, y  , x+1, Value, minx,miny,maxx,maxy );   
       result    := result + ConnectedArea ( img, y  , x-1, Value, minx,miny,maxx,maxy );
      end else
      result := 0;
  end else result := 0;
end;

function ListConnected
  ( var Data : TData; zx1, zy1, zx2, zy2 : Integer ) : TList;
var i,j          : Integer;
    a, cnt       : LongInt;    
    minx,miny,
    maxx,maxy    : Integer;
begin
 result := TList.Create;
 cnt    := 2;
 minx   := maxInt; 
 miny   := maxInt;
 maxx   := 0;
 maxy   := 0;
 for j  := zy1 to zy2 do
   for i := zx1 to zx2 do
     if ( Data[j,i] = 1 ) then
      begin
       cnt := cnt + 1;
       a := ConnectedArea ( Data, 1, cnt, j,i, minx,miny,maxx,maxy );       
       if ( a > NOISE ) then begin                                  
                               result.Add(TObjectInfo.Create(a,cnt,minx,miny,maxx,maxy);                   
                               minx   := maxInt; 
                               miny   := maxInt;
                               maxx   := 0;
                               maxy   := 0;              
                             end;              
      end;
end;

Wenn man sich deine Beispielbilder ansieht fällt auf das der von dir gesuchte Balken aus nebeneinanderliegenden Paralellogrammen besteht. Die Bilder sind für mich zu klein um erkennen zu können ob sich die Paralellogramme berühren, ich gehe mal von nein aus.

Die einander nicht berührenden Paralellogramme würden in der erzeugten Liste als jeweils eigene Objekte zu finden sein. Die y Koordinate der jeweiligen Grundlinien sollte gleich, oder durch Darstellungsfehler unter Umständen um ein Pixel nach oben oder unten verschoben sein. Die Rechtecke die die Ausmaße beschreiben müssen überlappen. Solange also mindestens zwei Paralellogramme existieren musst Du eigentlich nur nach überlappenden Objekten mit praktisch gleichen Dimensionen an unterschiedlichen X Positionen, aber (nahezu) gleichen Y Positionen suchen und das Rechteck bilden das alle Objekt die Du so findest einschließt.

[1] Wenn Du meine Prozedur von vertikal zuerst auf horizontal umstellst dann werden die Objekte sogar in der richtigen Reihenfolge erzeugt was das suchen und finden noch einfacher macht.

cu Ha-Jö

[Medium]

Zitat von Zacherl:

Muss die Erkennung wirklich rein visuell sein? Weiß nicht genau, inwiefern sowas vom rechtlichen Standpunkt her in Deutschland erlaubt ist, aber ich würde mir die Koordinaten der Spieler einfach aus dem Arbeitsspeicher des Spiels auslesen.

Andere (aber deutlich kompliziertere) Alternative:
Reverse das Netzwerkprotokoll, schalte deine eigene Anwendung als Proxy dazwischen und lese die Koordinaten einfach aus dem Daten-Stream aus. Das hatten wir damals bei einem bekannten Valve Spiel mal erfolgreich als PoC implementiert.

So wie ich Blizzard kenne, wird deren berühmt-berüchtigte Anti-Cheat Software "Warden" teil des Spiels sein. Und auf Gefummel im Prozessraum des Spiels reagiert dieser sofort. Rein rechtlich ist das wohl kein Problem, aber rein rechtlich ist es auch keines, wenn Blizzard dann einem die Nutzung ihrer Server untersagt.

[Namenloser]

Zitat von Medium:

Zitat von Zacherl:

Muss die Erkennung wirklich rein visuell sein? Weiß nicht genau, inwiefern sowas vom rechtlichen Standpunkt her in Deutschland erlaubt ist, aber ich würde mir die Koordinaten der Spieler einfach aus dem Arbeitsspeicher des Spiels auslesen.

Andere (aber deutlich kompliziertere) Alternative:
Reverse das Netzwerkprotokoll, schalte deine eigene Anwendung als Proxy dazwischen und lese die Koordinaten einfach aus dem Daten-Stream aus. Das hatten wir damals bei einem bekannten Valve Spiel mal erfolgreich als PoC implementiert.

So wie ich Blizzard kenne, wird deren berühmt-berüchtigte Anti-Cheat Software "Warden" teil des Spiels sein. Und auf Gefummel im Prozessraum des Spiels reagiert dieser sofort. Rein rechtlich ist das wohl kein Problem, aber rein rechtlich ist es auch keines, wenn Blizzard dann einem die Nutzung ihrer Server untersagt.

Trotzdem mal aus Interesse: Wie findet man denn "einfach" die Koordinaten der Spieler im Arbeitsspeicher? Ich hab sowas mal vor Jahren bei emulierten GBA-Spielen gemacht, aber die sind ja auch sehr hardwarenah und primitiv. Bei modernen PC-Spielen ist doch wahrscheinlich alles dynamisch sonstwo allokiert.

Was die visuelle Erkennung angeht: OpenCV ist extrem mächtig. Wenn es mit irgendwas geht, dann damit. Aber braucht natürlich viel Einarbeitung. Ich kann dir da auch nicht helfen, weil ich da nur mal so ganz am Rande was mit zu tun hatte.

[mensch72]

Schönes Thema

Zum "Abgreifen" von (Geometrie)Informationen für/von 3D Programmen eigenen sich spezielle DirectX-"kompatible"-Grafiktreiber. VMware hat es vorgemacht das und wie es mit nur 10..15% Geschwindigkeitsverlust innerhalb von VMs funktioniert. (Sollte ein "Bot" der Plan sein, würde ich auch völlig ohne Effekte darstellen lassen, so hat man viel weniger optische Beeinflussung der 3D Objekte)

Aber zurück zum "SourceHack" der 3D-Informationen... das ist schon daher besser, weil man echte "Tiefe" hat und behält, also nicht versuchen muss aus der in 2D dargestellen 3D Szene sich diese Information wieder zu rekonstruieren.

Das "simulierte"Ansteuern von Maus&Tastatur macht doch heute keiner mehr ohne HDI kompatibles Modul, was direkt von aussen als echtes Maus&Tastatur Interface die entsprechenden Sachen völlig ohne spezielle Ring0-Treiber macht.
Wenn ich zunächst neutrale Bot's für "beliebige" 2D Sachen entwickeln wollte, würde ich das eventuell sogar völlig extern machen, also 2PCs... Kamera des zweiten PC mit meiner Software nimmt den Screen des ersten auf und steuert per HDI ein Mouse&Tastaturinterface für den ersten PC und kontrolliert "optisch" auch gleich die MousePosition, weil es gern mal passiert, das Programme die Mouse selbst versetzen und ein Bot ohne externe Rückkopplung dann Probleme bekommt.


=> nur zum Spass macht und entwickelt sowas aber keiner nebenbei/kostenlos... alles was mir da einfällt hätte mit der Umgehung von kommerziellen Nutzungseinschränkungen zu tun und wäre wenn man es gewinnorientiert zum eigenen Vorteil trotzdem macht definitiv illegal

[Pixel]

@hanvas: Cool danke, ich möchte das zwar nicht 1:! so übernehmen wie du es da geschrieben hast aber ich werde auf jedenfall mit deiner Idee rumspielen! (und hier den Code dann posten)

@Medium: Das ist korrekt. Blizzard hat ihre eigene Anti cheat Abteilung und die sind definitiv nicht unfähig. Gut so! Wie du schon meintest - "finger weg vom Blizzard-RAM, denn sonst gibt's nen Bann!"

@Namenloser: Das kommt auf das Spiel an. Die Werte selbst (z.B. Spielerpositionen) sind zwar an dynamischen Adressen (99.99999%), aber man kann mit Hilfe von einigen Tools die statischen Pointer (also immer gleiche Adresse) finden und dann mittels Offsets zum gewünschten Wert (nzw. zur dynamischen Adresse) finden. Aber da die meisten Spiele das nicht wollen gibt es halt Sicherheitsvorkehrungen und da liegt dann die eigentliche Schwierigkeit.

@mensch72: Naja, wenn ich die Maus virtuell Bewegen will dann kann man SendInput() nutzen, die Funktion ruft widerum mouse_event() auf und diese widerum auf Ring0 w32k.sys NtUserSendInput(). mouse_event() z.B. sendet direkt in den Maus-Stream. Das heißt man müsste schon NtUserSendInput() hooken um herauszufinden ob die Mausbewegung physikalisch oder virtuell geschah. Wenn ich nicht falsch informiert bin, ist das so..

[bitsetter]

Zitat:

Also fest steht Die Mitte der HP-Bar ist immer die Mitte des Kopfes, das heißt wenn man die Breite ermitteln könnte wäre die Sache schon getan, denn ich habe festgestellt:

Es sieht aber auf deinen letzten beiden Bildern so aus, als wenn sich die HP-Bar immer mittig vom Bildschirm befindet. Dann könnte man doch mit Hilfe das ersten linken Pixels der HP-Bar den letzten rechten Pixel und somit die Gesamtbreite berechen.

(rechter Pixel) = (Breite des Bildes) - (linker Pixel)