Pixelerkennung, Kreativität gesucht die mir fehlt!

[Pixel]

Hallo erstmal,

bin hier neu (wie man sieht)!

Ich stelle schon mal gleich klar: Ich hab mich mit dem folgenden Problem c.a. 1 Woche auseinandergesetzt und nichts gutes auf die Beine gestellt. Es mangelt mir eindeutig an kognitiven Fähigkeiten und Ihr habt nun die Mission das zu kompensieren (weil Ihr so nett seid).

Kurz: Es geht darum in den folgenden Bildern via Pixelerkennung den Kopf zu finden. Bevor ich darauf eingehe was ich bisher getan habe könnt Ihr euch selbst ein Bild davon machen wie das ganze aussieht. Achtet bei den Bildern auf die Roten Linien die die Objekte umrunden. Bilder im Anhang.

Momentan funktioniert meine Pixelerkennung nur bei 1D). Die HP-bar hat einen immer gleichen Rot-ton:

Rot : >= $FA
Grün: = $00
Blau: = $13

Also der Screenshot der bei 1D zusehen ist wird dann mit folgendem Code durchlaufen:

Delphi-Quellcode:

procedure findPixelPosition;
var
  x,y : Integer;
  Pixels2 : PRGBTripleArray;
begin
  found := false;
  for y := 0 to screenshot.Height-10 do
  begin
    Pixels := screenshot.ScanLine[y];

    for x := 0 to screenshot.Width-10 do
    begin
      if (Pixels[x].rgbtBlue = $13) and (Pixels[x].rgbtGreen = $00) and (Pixels[x].rgbtRed >= $FA) then
      begin
        Pixels2 := screenshot.ScanLine[y+1];
        if (Pixels2[x].rgbtBlue = $13) and (Pixels[x].rgbtGreen = $00) and (Pixels[x].rgbtRed >= $FA) then
        begin
          Pixels2 := screenshot.ScanLine[y+2];
          if (Pixels2[x].rgbtBlue = $13) and (Pixels[x].rgbtGreen = $00) and (Pixels[x].rgbtRed >= $FA) then
          begin
            found := true;
            AimPixelX := ScanL + x;
            AimPixelY := ScanT + y;
            Exit;
          end;
        end;
      end;
    end;
  end;
end;

Also, wenn 3 untereinanderfolgende Pixel diese Farbe haben, dann ist die linke Seite der HP-bar gefunden, denn wir fangen ja an von Links nach Rechts zu suchen.

Bei einer Entfernung von 2-8 Meter kann man das statische Offset HP_Bar_Links_X + 41 und HP_Bar_Links_Y + 63 verwenden um vom gefunden Pixel ca zur Mitte des Kopfes zu gelangen.

Problem: Bei größerer Entfernung ist das Offset falsch. Die Objekte sowohl auch die HP-Bar skalieren. Demnach wird aus Offset HP_Bar_Links_X + 41 und HP_Bar_Links_Y + 63 bei einer Entfernung von 30 Metern z.B. Offset HP_Bar_Links_X + 30 und HP_Bar_Links_Y + 43

Ich habe keine Möglichkeit gefunden herauszufinden wie weit ich von einem Objekt entfernt bin, demnach wollte ich von der HP-Bar erkennung mich lösen und anstelle dessen den Kopf irgendwie anders erkennen. Ich habe mal bei 1A, 1B und 1C paar Objekte screenshotted und mit verschiedenem Hintergrund.

Ich müsste die Breite der HP-Bar (die auch mit der Distanz sich verändert) feststellen können und davon die Mitte nehmen um zumindest mal die X-Achse zu erhalten.

Dann könnte ich Y-Achse nach dem nächsten Rot-Pixel durchsuchen (unterhalb des Namens).

Aber die HP-bar hat nicht immer die gleiche Farbe und wird ja auch durchsichtig wenn die HP verloren gehen...


Ich hoffe die Problemstellung ist klar genug dass man sich darüber Gedanken machen kann.


Danke im voraus!

[Aviator]

Ich kann zwar leider nichts zum Problem beitragen bzw. dir eine Hilfestellung geben, aber dir einen Tipp für deine zukünftigen (bzw. auch diesen) Beitrag geben.

Du kannst Bilder direkt hier im Forum anhängen und sogar direkt im Text anzeigen lassen. Dazu gibt es unter dem Beitragsfenster einen Button "Anhänge verwalten". Dort kannst du dann deine Bilder hochladen. Über die Büroklammer im Editor kannst du die Bilder dann im Text mit anzeigen lassen.

Vorteil hierbei ist, dass man nicht auf externe Seiten herumsurfen muss. Sowas wird nicht gerne gemacht. Ich persönlich mag das auch nicht so. Und dazu kommt, dass die Bilder bei den meisten Hostern irgendwann gelöscht werden. Hier im Forum bleiben diese Daten aber erhalten solange es diesen Fred hier gibt.

Deinen Beitrag kannst du 24h nach Erstellung bearbeiten. Sei doch bitte so nett und hänge die Daten hier ein.

PS: Noch ein Herzliches Willkommen in der DP!!!

[Pixel]

Zitat von Aviator:

Ich kann zwar leider nichts zum Problem beitragen bzw. dir eine Hilfestellung geben, aber dir einen Tipp für deine zukünftigen (bzw. auch diesen) Beitrag geben.

Du kannst Bilder direkt hier im Forum anhängen und sogar direkt im Text anzeigen lassen. Dazu gibt es unter dem Beitragsfenster einen Button "Anhänge verwalten". Dort kannst du dann deine Bilder hochladen. Über die Büroklammer im Editor kannst du die Bilder dann im Text mit anzeigen lassen.

Vorteil hierbei ist, dass man nicht auf externe Seiten herumsurfen muss. Sowas wird nicht gerne gemacht. Ich persönlich mag das auch nicht so. Und dazu kommt, dass die Bilder bei den meisten Hostern irgendwann gelöscht werden. Hier im Forum bleiben diese Daten aber erhalten solange es diesen Fred hier gibt.

Deinen Beitrag kannst du 24h nach Erstellung bearbeiten. Sei doch bitte so nett und hänge die Daten hier ein.

PS: Noch ein Herzliches Willkommen in der DP!!!

Aber gerne

[Neutral General]

Das ist ein interessantes Problem, aber ich werde dir sicher nicht helfen einen Aimbot für Overwatch zu schreiben Das ist gegen die EULA und du kannst dir sicher sein, dass du dir so einen lebenslangen Bann einhandelst (gut so!).

[Pixel]

Zitat von Neutral General:

Das ist ein interessantes Problem, aber ich werde dir sicher nicht helfen einen Aimbot für Overwatch zu schreiben Das ist gegen die EULA und du kannst dir sicher sein, dass du dir so einen lebenslangen Bann einhandelst (gut so!).

Wenn man's genau nimmt, steht mir völlig frei screenshots zu machen und Bilderkennung durchzuführen.
Das verstößt in keiner Form gegen Blizzards EULA und kann davon mal abgesehen auch nicht erkannt werden. Sonst sind bald alle streamer gebannt

Verstoßen würde ich erst, wenn ich Funktionen wie mouse_event() nutze um den cursor virtuell zu bewegen oder anders gesagt: Das Game manipuliere/Bewegungen automatisiere. Auch hier wird es schwer das zu erkennen da mouse_event() direkt in den mouse stream sendet. Man müsste schon NtUserSendInput auf Ring0 hooken um festzustellen ob der input physikalisch oder virtuell war.

Durch heuristische erkennung wirds auch ein Katz und Mausspiel. Klar, man könnte die inputs per second der Maus (die Normal z.B. 1000 ist) nehmen und dann Abweichungen messen die während des Schießens passieren aber naja - ein anderes interessantes Thema.

Ganz ehrlich wie schon gesagt: Mir geht's hier nur ums erkennen "proof-of-concept" ohne mit dem Spiel direkt zu interagieren/modifikationen durchzuführen. Das was ich hier mache verstößt nicht gegen deren EULA und sollte hier somit auch tolleriert werden!

[Medium]

Das Problem ist, dass der Weg vom Proof-of-Concept hin zum funktionsfähigen Aimbot dann fast nur noch eine Formalität ist. Und mal so unter uns: Warum den Aufwand betreiben, um es nachher als "heh, is ja interessant" in die Tonne zu kloppen?

Ich hatte früher mal einen "Fight-Advisor" für WoW geschrieben. Bestand aus einem (völlig zulässigen) In-Game Addon, dass mir Buffs und Debuffs sowie diverse Cooldowns in farbige Felder codiert am Bildrand angezeigt hat. Mit einem externen Programm habe ich dann kontinuierlich Screenshots gemacht, und eine Makro-Taste meiner Tastatur mit den jeweils optimalen Spell-Shortcuts belegt. Dadurch hatte ich ein One-Button-Moonkin, dass immer weit oben im Damage-Meter war bei unseren Raids. (Zu Burnig Crusade Zeiten wohlgemerkt, als Eulen noch als nutzlos galten. In Craftable und Karazhan Gear, während der Rest seit Wochen im Black Temple gefarmt hat. Genug generded.)
Ergo:
- Ingame Addon, dass nur die von Blizzard freigegebenen APIs benutzt hat, wie es die EULA vorschreibt
- Screengrabber, der theoretisch auch ein einfache Recording-Tool hätte sein können
- Echte Tastaturinputs durch meine menschlichen Finger
Ergebnins: 72h Ban nach ein paar Monaten der Nutzung. Obwohl ich "nichts falsch gemacht habe" (ha...ha...). Bedenke auch immer, dass ein Spielebetreiber auf seinen Servern Hausrecht genießt. Er hat das Recht dich jederzeit für wie lange auch immer auszuschließen, und müsste dafür nichtmals einen Grund angeben - geschweige denn sich an seine EULA halten. Sehr dünnes Eis.

[bernhard_LA]

aus Sicht der Bildverarbeitung wäre mein Ansatz :


über NCC / FastNCC kann ich Bilder in anderen Bildern erkennen :


https://sourceforge.net/projects/nccfastncc/


dh. BMP des ersten Kopfes als Vorlage Speichern und dann innerhalb Deines roten Rahmen suchen, bei > 70 % NCC Wert hast du vermutlich dann schon einen Treffer