Pixelerkennung, Kreativität gesucht die mir fehlt!

**Pixel**

Hallo erstmal,

bin hier neu (wie man sieht)!

Ich stelle schon mal gleich klar: Ich hab mich mit dem folgenden Problem c.a. 1 Woche auseinandergesetzt und nichts gutes auf die Beine gestellt. Es mangelt mir eindeutig an kognitiven Fähigkeiten und Ihr habt nun die Mission das zu kompensieren (weil Ihr so nett seid).

Kurz: Es geht darum in den folgenden Bildern via Pixelerkennung den Kopf zu finden. Bevor ich darauf eingehe was ich bisher getan habe könnt Ihr euch selbst ein Bild davon machen wie das ganze aussieht. Achtet bei den Bildern auf die Roten Linien die die Objekte umrunden. Bilder im Anhang.

Momentan funktioniert meine Pixelerkennung nur bei 1D). Die HP-bar hat einen immer gleichen Rot-ton:

Rot : >= $FA
Grün: = $00
Blau: = $13

Also der Screenshot der bei 1D zusehen ist wird dann mit folgendem Code durchlaufen:

zusammenfalten · markieren

Delphi-Quellcode:

			procedure findPixelPosition;

var

  x,y : Integer;

  Pixels2 : PRGBTripleArray;

begin

  found := false;

  for y := 0 to screenshot.Height-10 do

  begin

    Pixels := screenshot.ScanLine[y];

    for x := 0 to screenshot.Width-10 do

    begin

      if (Pixels[x].rgbtBlue = $13) and (Pixels[x].rgbtGreen = $00) and (Pixels[x].rgbtRed >= $FA) then

      begin

        Pixels2 := screenshot.ScanLine[y+1];

        if (Pixels2[x].rgbtBlue = $13) and (Pixels[x].rgbtGreen = $00) and (Pixels[x].rgbtRed >= $FA) then

        begin

          Pixels2 := screenshot.ScanLine[y+2];

          if (Pixels2[x].rgbtBlue = $13) and (Pixels[x].rgbtGreen = $00) and (Pixels[x].rgbtRed >= $FA) then

          begin

            found := true;

            AimPixelX := ScanL + x;

            AimPixelY := ScanT + y;

            Exit;

          end;

        end;

      end;

    end;

  end;

end;

Also, wenn 3 untereinanderfolgende Pixel diese Farbe haben, dann ist die linke Seite der HP-bar gefunden, denn wir fangen ja an von Links nach Rechts zu suchen.

Bei einer Entfernung von 2-8 Meter kann man das statische Offset HP_Bar_Links_X + 41 und HP_Bar_Links_Y + 63 verwenden um vom gefunden Pixel ca zur Mitte des Kopfes zu gelangen.

Problem: Bei größerer Entfernung ist das Offset falsch. Die Objekte sowohl auch die HP-Bar skalieren. Demnach wird aus Offset HP_Bar_Links_X + 41 und HP_Bar_Links_Y + 63 bei einer Entfernung von 30 Metern z.B. Offset HP_Bar_Links_X + 30 und HP_Bar_Links_Y + 43

Ich habe keine Möglichkeit gefunden herauszufinden wie weit ich von einem Objekt entfernt bin, demnach wollte ich von der HP-Bar erkennung mich lösen und anstelle dessen den Kopf irgendwie anders erkennen. Ich habe mal bei 1A, 1B und 1C paar Objekte screenshotted und mit verschiedenem Hintergrund.

Ich müsste die Breite der HP-Bar (die auch mit der Distanz sich verändert) feststellen können und davon die Mitte nehmen um zumindest mal die X-Achse zu erhalten.

Dann könnte ich Y-Achse nach dem nächsten Rot-Pixel durchsuchen (unterhalb des Namens).

Aber die HP-bar hat nicht immer die gleiche Farbe und wird ja auch durchsichtig wenn die HP verloren gehen...

Ich hoffe die Problemstellung ist klar genug dass man sich darüber Gedanken machen kann.

Danke im voraus!

**Aviator**

Ich kann zwar leider nichts zum Problem beitragen bzw. dir eine Hilfestellung geben, aber dir einen Tipp für deine zukünftigen (bzw. auch diesen) Beitrag geben.

Du kannst Bilder direkt hier im Forum anhängen und sogar direkt im Text anzeigen lassen. Dazu gibt es unter dem Beitragsfenster einen Button "Anhänge verwalten". Dort kannst du dann deine Bilder hochladen. Über die Büroklammer im Editor kannst du die Bilder dann im Text mit anzeigen lassen.

Vorteil hierbei ist, dass man nicht auf externe Seiten herumsurfen muss. Sowas wird nicht gerne gemacht. Ich persönlich mag das auch nicht so. Und dazu kommt, dass die Bilder bei den meisten Hostern irgendwann gelöscht werden. Hier im Forum bleiben diese Daten aber erhalten solange es diesen Fred hier gibt.

Deinen Beitrag kannst du 24h nach Erstellung bearbeiten. Sei doch bitte so nett und hänge die Daten hier ein.

PS: Noch ein Herzliches Willkommen in der DP!!!

**Pixel**

Zitat von Aviator:

Ich kann zwar leider nichts zum Problem beitragen bzw. dir eine Hilfestellung geben, aber dir einen Tipp für deine zukünftigen (bzw. auch diesen) Beitrag geben.

Du kannst Bilder direkt hier im Forum anhängen und sogar direkt im Text anzeigen lassen. Dazu gibt es unter dem Beitragsfenster einen Button "Anhänge verwalten". Dort kannst du dann deine Bilder hochladen. Über die Büroklammer im Editor kannst du die Bilder dann im Text mit anzeigen lassen.

Vorteil hierbei ist, dass man nicht auf externe Seiten herumsurfen muss. Sowas wird nicht gerne gemacht. Ich persönlich mag das auch nicht so. Und dazu kommt, dass die Bilder bei den meisten Hostern irgendwann gelöscht werden. Hier im Forum bleiben diese Daten aber erhalten solange es diesen Fred hier gibt.

Deinen Beitrag kannst du 24h nach Erstellung bearbeiten. Sei doch bitte so nett und hänge die Daten hier ein.

PS: Noch ein Herzliches Willkommen in der DP!!!

Aber gerne

**Neutral General**

Das ist ein interessantes Problem, aber ich werde dir sicher nicht helfen einen Aimbot für Overwatch zu schreiben

Das ist gegen die EULA und du kannst dir sicher sein, dass du dir so einen lebenslangen Bann einhandelst (gut so!).

**Pixel**

Zitat von Neutral General:

Das ist ein interessantes Problem, aber ich werde dir sicher nicht helfen einen Aimbot für Overwatch zu schreiben

Das ist gegen die EULA und du kannst dir sicher sein, dass du dir so einen lebenslangen Bann einhandelst (gut so!).

Wenn man's genau nimmt, steht mir völlig frei screenshots zu machen und Bilderkennung durchzuführen.
Das verstößt in keiner Form gegen Blizzards EULA und kann davon mal abgesehen auch nicht erkannt werden. Sonst sind bald alle streamer gebannt

Verstoßen würde ich erst, wenn ich Funktionen wie mouse_event() nutze um den cursor virtuell zu bewegen oder anders gesagt: Das Game manipuliere/Bewegungen automatisiere. Auch hier wird es schwer das zu erkennen da mouse_event() direkt in den mouse stream sendet. Man müsste schon NtUserSendInput auf Ring0 hooken um festzustellen ob der input physikalisch oder virtuell war.

Durch heuristische erkennung wirds auch ein Katz und Mausspiel. Klar, man könnte die inputs per second der Maus (die Normal z.B. 1000 ist) nehmen und dann Abweichungen messen die während des Schießens passieren aber naja - ein anderes interessantes Thema.

Ganz ehrlich wie schon gesagt: Mir geht's hier nur ums erkennen "proof-of-concept" ohne mit dem Spiel direkt zu interagieren/modifikationen durchzuführen. Das was ich hier mache verstößt nicht gegen deren EULA und sollte hier somit auch tolleriert werden!

**Medium**

Das Problem ist, dass der Weg vom Proof-of-Concept hin zum funktionsfähigen Aimbot dann fast nur noch eine Formalität ist. Und mal so unter uns: Warum den Aufwand betreiben, um es nachher als "heh, is ja interessant" in die Tonne zu kloppen?

Ich hatte früher mal einen "Fight-Advisor" für WoW geschrieben. Bestand aus einem (völlig zulässigen) In-Game Addon, dass mir Buffs und Debuffs sowie diverse Cooldowns in farbige Felder codiert am Bildrand angezeigt hat. Mit einem externen Programm habe ich dann kontinuierlich Screenshots gemacht, und eine Makro-Taste meiner Tastatur mit den jeweils optimalen Spell-Shortcuts belegt. Dadurch hatte ich ein One-Button-Moonkin, dass immer weit oben im Damage-Meter war bei unseren Raids. (Zu Burnig Crusade Zeiten wohlgemerkt, als Eulen noch als nutzlos galten. In Craftable und Karazhan Gear, während der Rest seit Wochen im Black Temple gefarmt hat. Genug generded.)
Ergo:
- Ingame Addon, dass nur die von Blizzard freigegebenen APIs benutzt hat, wie es die EULA vorschreibt
- Screengrabber, der theoretisch auch ein einfache Recording-Tool hätte sein können
- Echte Tastaturinputs durch meine menschlichen Finger
Ergebnins: 72h Ban nach ein paar Monaten der Nutzung. Obwohl ich "nichts falsch gemacht habe" (ha...ha...). Bedenke auch immer, dass ein Spielebetreiber auf seinen Servern Hausrecht genießt. Er hat das Recht dich jederzeit für wie lange auch immer auszuschließen, und müsste dafür nichtmals einen Grund angeben - geschweige denn sich an seine EULA halten. Sehr dünnes Eis.

**bernhard_LA**

aus Sicht der Bildverarbeitung wäre mein Ansatz :

über NCC / FastNCC kann ich Bilder in anderen Bildern erkennen :

https://sourceforge.net/projects/nccfastncc/

dh. BMP des ersten Kopfes als Vorlage Speichern und dann innerhalb Deines roten Rahmen suchen, bei > 70 % NCC Wert hast du vermutlich dann schon einen Treffer

**Luckie**

Es handelt sich aber um kein Verbrechen, was Strafrechtlich verfolgt wird. Deswegen sehe ich kein Problem hier eine Lösung zu diskutieren. Er wurde auf die möglichen Folgen hingewiesen, die aber letztendlich nur ihn persönlich betreffen.

Wer helfen kann und will, soll es tun, ansonsten bitte diese Diskussion in Klatsch und Tratsch fortsetzen.

**Pixel**

Zitat von bernhard_LA:

aus Sicht der Bildverarbeitung wäre mein Ansatz :

über NCC / FastNCC kann ich Bilder in anderen Bildern erkennen :

https://sourceforge.net/projects/nccfastncc/

dh. BMP des ersten Kopfes als Vorlage Speichern und dann innerhalb Deines roten Rahmen suchen, bei > 70 % NCC Wert hast du vermutlich dann schon einen Treffer

Ja hatte kurze Zeit überlegt

openCV zu benutzen, problem ist aber, dass es 20 verschiedene Köpfe gibt, die skallierend von allen Blickwinkeln dann schwer zu erkennen wären..

Also fest steht Die Mitte der HP-Bar ist immer die Mitte des Kopfes, das heißt wenn man die Breite ermitteln könnte wäre die Sache schon getan, denn ich habe festgestellt:

Wenn Breite der HP-Bar >= 70 dann (Breite * 0.6) = ca. Y-Wert Mitte Kopf. Wenn < dann c.a. Y = 43.

Da die HP-Bar ja durchsichtig wird, habe ich den ersten Block der HP-Bar genommen und mit *8 multipliziert um die gesamte Breite zu erhalten. Das hat auch ganz gut funktioniert bis ich dann fesgestellt habe dass die Anzahl Balken ja auch variieren

Ich würde ja einfach versuchen von dem Namen der untendrunter ist die Mitte zu finden (ist ebenfalls Kopf-X-Wert) aber der Rotton variiert einfach sehr stark..

Und dann sieht man noch auf Bild 1a) dass der Kopf beim Laufen durchaus nicht Zentral des Namens liegen kann.

Daher wollte ich durch die Rote Linie das erkennen. Aber da hab ich echt keine Ahnung, denn die Rote Linie hat verschiedene Rottöne die vom Hintergrund beeinflusst werden und wenn man da im Programm dann eine hohe Tolleranz einsetzt hat man schnell falsche Punkte..

Was ich später mal versuche:

Da die Hp Bar ja immer einen Mindestabstand zum Kopf hat versuche ich später mal folgendes:
Ich suche nach den 3 Pixeln in der HP-Bar (die man ja immer findet) und suche dann 80? pixel unterhalb und 20 pixel nach rechts vertikal nach einem passenden Pixel. Von dem Pixel aus könnte ich dann die 8 Aneckenden Pixel scannen und davon müsste es ja mindestens 2 geben (links und Rechts davon). Da ich ja den linken Pixel der HP-Bar als Offset und dieses links neben dem Kopf sein muss kann ich dann ja auch mit Sicherheit sagen dass alle Pixel die von meinem neuen gefunden Pixel aus Rechts liegen zum Kopf führen. Anders gesagt: Ich versuche mal der Linie "zu folgen" und den höchsten Rotpunkt zu finden, oder so :3

Im Anhang noch zwei neue Bilder.

**Zacherl**

Muss die Erkennung wirklich rein visuell sein? Weiß nicht genau, inwiefern sowas vom rechtlichen Standpunkt her in Deutschland erlaubt ist, aber ich würde mir die Koordinaten der Spieler einfach aus dem Arbeitsspeicher des Spiels auslesen.

Andere (aber deutlich kompliziertere) Alternative:
Reverse das Netzwerkprotokoll, schalte deine eigene Anwendung als Proxy dazwischen und lese die Koordinaten einfach aus dem Daten-Stream aus. Das hatten wir damals bei einem bekannten Valve Spiel mal erfolgreich als PoC implementiert.