Tablet-Telefon Erkennung

[Rollo62]

Ich dachte eigentlich immer das solche YUV-to-RGBA Trnasformationen dank GPU kein Thema mehr sind.
Könnte man das nicht einfach vorher einmal schnell konvertieren lassen, und sich die Anpassungen sparen ?
Ist aber zum Glück (noch) nicht mein Thema, kann es aber schnell werden wenn ich in die dritte Dimension
mit meinen Apps möchte.

Ich habe nur festgestellt das zumindest in XE8 die 3D Texturen der Modelle nicht richtig geladen wurden,
dachte eigentlich immer das sein ein Problem des Lade-Parsers, habs aber nicht weiter gecheckt.
Ich hatte ein paar Versuche mit extra konvertierten 3D-Objeckten gemacht, in der Hoffnung eine photorealistische
Darstellkung zu bekommen, aber raus kam immer nur ein Wireframe.

Rollo

[CHackbart]

Na dann probier doch mal ne YUV Textur mittels GPU Shader in Firemonkey darzustellen. Dazu musst du leider die Firemonkey Klassen anpassen, da das sonst nicht geht. Durch die querverknüpfungen diverser Units musst du die auch neu kompilieren :)

[Rollo62]

Ich habe dunkel in Erinnerung das es da etwas von DavidI gab.
Habs mir aber noch nicht angesehen.

Ich hatte eigentlich gehofft das man da erklärt wie GPU-Programme erzeugt werden können (ohne Komplettumbau).

Rollo

[CHackbart]

Danke für das Video das kannte ich noch nicht.
In dem Videoplayer mache ich folgendes: Ich erstelle ein 3D Form und platziere dort ein TRectangle3D.
ViewPort3D kannst du Performancetechnisch leider knicken, da die 3D Anzeige in eine Bitmap gerendert wird, die dann auf der Anzeige dargestellt wird.

Das TRectangle3D bekommt ein TMaterialSource zugewiesen in dem ich 3 TTextureBitmap habe. Nun sind das keine Bitmaps mit 32 bzw. 24 bit, sondern die enthalten nur die Y, U und V Komponente. Das kennt Firemonkey aber nicht. Für solche Texturen nutze ich TPixelFormat.L und dafür muss man in der FMX.Context.DX11 u.a. folgende Zeilen einfügen:

Delphi-Quellcode:

function TexturePixelFormatToDX(PF: TPixelFormat): DXGI_FORMAT;
begin
  case PF of
    [B]TPixelFormat.L:
      Result := DXGI_FORMAT_R8_UNORM;[/B]

Bei FMX.Context.GLES muss man ebenfalls das Pixelformat berücksichtigen, da class function TCustomContextOpenGL.PixelFormat: TPixelFormat; nur TPixelformat.RGBA benutzt wird. Außerdem musst du da noch bei DoUpdateTexture den Flag GL_LUMINANCE setzen, für diese Texturen.

Last but not least braucht deine TMaterialSource Klasse noch Pixel und Vertextshader. Meine Pixelshader für GLES, DX9 und DX11 sehen so aus:

Code:

 #define DX11

  #ifdef DX11
   #define DEFINE_2D_TEXTURE(tex, regIndex) Texture2D tex##Texture : register(t##regIndex); \
   SamplerState tex##Sampler : register(s##regIndex)
   #define SAMPLE_TEXTURE_2D(tex, coord) tex##Texture.Sample(tex##Sampler, coord)
   #define OUTPUT SV_Target
  #else
   #define DEFINE_2D_TEXTURE(tex, regIndex) sampler tex##Sampler : register(s##regIndex)
   #define SAMPLE_TEXTURE_2D(tex, coord) tex2D(tex##Sampler, coord)
   #define OUTPUT COLOR
  #endif

  DEFINE_2D_TEXTURE(s_texture_y, 0);
  DEFINE_2D_TEXTURE(s_texture_u, 1);
  DEFINE_2D_TEXTURE(s_texture_v, 2);

  float4 main(float2 tex: TEXCOORD0) : OUTPUT
  {

  float y = SAMPLE_TEXTURE_2D(s_texture_y, tex).r;
  float u = SAMPLE_TEXTURE_2D(s_texture_u, tex).r - 0.5;
  float v = SAMPLE_TEXTURE_2D(s_texture_v, tex).r - 0.5;

  float r = y +             1.402 * v;
  float g = y - 0.344 * u - 0.714 * v;
  float b = y + 1.772 * u;

  return float4(r,g,b,1);
  }

  varying vec4 TEX0;
  vec4 _ret_0;
  vec4 _TMP0;
  uniform float _Opacity;
  uniform sampler2D _textureY;
  uniform sampler2D _textureU;
  uniform sampler2D _textureV;

  void main()
  {
   float y = texture2D(_textureY, TEX0.xy).r;
   float u = texture2D(_textureU, TEX0.xy).r - 0.5;
   float v = texture2D(_textureV, TEX0.xy).r - 0.5;
   float r = y +             1.402 * v;
   float g = y - 0.344 * u - 0.714 * v;
   float b = y + 1.772 * u;
   gl_FragColor = vec4(r,g,b,1.0);     //1.0<-Opacity
  }

Da FMX keinen Shadercompiler besitzt, musst du für DX9 und DX11 den vom Microsoft SDK nutzen. Damals war Nick Pützer (der Stonequest Author so nett und hat mir ein bisschen dabei geholfen).

Christian