Generic class <T> , wie füge ich konkrete Daten ein ?

[bernhard_LA]

ich möchte den kMeans Algorithmus in einer Generic-Version erstellen, d.h.
der Algorithms kennt nicht die konkreten Daten, er arbeitet nur mit Hilfe einer als Parameter übergebenen DistanzMetrik-Funktion etc.


Mein aktuelles Problem: wie befülle ich die interne Liste mit den Rohdaten  FRawData: TRawData<T>; , dh. in der procedure Loaddata (siehe unten) kann ich die
Zeile FRawData.Add(ClusterData); nicht kompilieren, weil die Liste halt <T> Datentyp ist und ich lese einen konkreten Wert ClusterData: TClusterData ein .
Wie löse ich diese Problem.


Wenn ich meine Klasse dann verwende, ist klar T=TClusterData ....

Delphi-Quellcode:

var  MyKMeans : TKMeans<TClusterData> ;
begin
     MyKMeans := TKMeans<TClusterData>.Create(5,nil,nil, 10) ;
     try

     finally
         MyKMeans.Free;
     end;
end;

Delphi-Quellcode:

unit Unit_TKmeans;

interface

uses types, classes, Generics.Collections, vcl.Graphics;

const
  Infinity = 10000000;

type

  /// <summary>
  /// here it is just a simple pixel but can be more in future
  /// </summary>
  TClusterData = record
    DrawingColor: TColor;
    x, y: Integer;
    // tbd.
    // ...
    // ..
    // .
  end;

  /// <summary>
  /// here it can be just a simple pixel, in general  we store the  complete morginal data inside this  list
  /// </summary>
  TRawData<T> = class(TList<T>)
  end;

  /// <summary>
  /// store the  data now inside a  cluster  with a  Centroid
  /// </summary>
  TCluster<T> = record
    /// <summary>
    /// <para>
    /// as of today T, but in future some other data type , depending
    /// </para>
    /// <para>
    /// on future research :-)
    /// </para>
    /// </summary>
    Center: T;

    /// <summary>
    /// the selected elements from out complete raw data
    /// </summary>
    ClusterElements: TArray<T>;
  end;

  /// <summary>
  /// the cluster list
  /// </summary>
  TClusterList<T> = class(TList < TCluster < T >> )
  private
    function GetItem(Aindex: Integer): TCluster<T>;
    procedure SetItem(Aindex: Integer; const Value: TCluster<T>);
  public

    property Items[Aindex: Integer]: TCluster<T> Read GetItem Write SetItem;
  end;

  /// <summary>
  /// measure the distance according to this function
  /// </summary
TDistanceMetricfunction < T >= reference to
function(const A, B: T): Double;

/// <summary>
/// result of this function could be the TColor value , but also
/// coordinates  my have some impact in future ....
/// </summary
TCentroidfunction < T >= reference to
function(const A: T): Cardinal;

TKMeans<T> = class 
private

  FClusteredData: TClusterList<T>;

FRawData:  TRawData<T>;

FNumClusters: Integer;

FDistanceMetric:TDistanceMetricfunction<T>;

FCentroidfct: TCentroidfunction<T>;

FMaxIterations:  Integer;
procedure SaveData(OutBitMap: TBitmap);
public
  constructor Create(NumClusters: Integer;
    DistanceMetric: TDistanceMetricfunction<T>;
    Centroidfct: TCentroidfunction<T>; MaxIterations: Integer = 10);

  procedure LoadData(SoureBitMap: TBitmap);
  overload;

  function FindNewClusterCentroids: Boolean;

  procedure GroupData2NearestCluster;
  end;

implementation

constructor TKMeans<T>.Create(NumClusters: Integer;
  DistanceMetric: TDistanceMetricfunction<T>; Centroidfct: TCentroidfunction<T>;
  MaxIterations: Integer = 10);
begin
  FNumClusters := NumClusters;
  FDistanceMetric := DistanceMetric;
  FMaxIterations := MaxIterations;

  FClusteredData := TClusterList<T>.Create;

  FRawData := TRawData<T>.Create;

  FDistanceMetric := DistanceMetric;

  FCentroidfct := Centroidfct;
end;

function TKMeans<T>.FindNewClusterCentroids: Boolean;
var
  i, j: Integer;
  SelectedCluster: TCluster<T>;
  OldCentroid: Cardinal;
  ElementCount: Cardinal;
  Centroid: Cardinal;
begin

  for i := 0 to FClusteredData.Count - 1 do
  begin
    SelectedCluster := FClusteredData.Items[i];
    ElementCount := length(SelectedCluster.ClusterElements);
    OldCentroid := FCentroidfct(SelectedCluster.Center);

    for j := low(SelectedCluster.ClusterElements)
      to High(SelectedCluster.ClusterElements) do
    begin
      Centroid := Centroid + FCentroidfct(SelectedCluster.ClusterElements[j]);
    end;

    Centroid := Round(Centroid / ElementCount);

  end;

end;

procedure TKMeans<T>.GroupData2NearestCluster;
var
  i, j: Integer;
  closestCluster: Integer;
  minDist: Double;
  Dist: Double;
  ReferenceClusterCenter: T;
  RawDataItem: T;
  UpdateCluster: TCluster<T>;
begin
  /// loop all raw data elements
  for j := 0 to FRawData.Count - 1 do
  begin
    RawDataItem := FRawData.Items[j];
    closestCluster := -1;
    minDist := Infinity;

    // Find the nearest cluster
    for i := 0 to FClusteredData.Count - 1 do
    begin
      Dist := FDistanceMetric(RawDataItem, FClusteredData[i].Center);
      if Dist < minDist then
      begin
        closestCluster := i;
        minDist := Dist;
      end;
    end;

    // these lines are wrong and do not compile, fix the  code here !!!!
    UpdateCluster := FClusteredData[closestCluster];

    SetLength(UpdateCluster.ClusterElements,
      length(UpdateCluster.ClusterElements) + 1);

    UpdateCluster.ClusterElements[High(UpdateCluster.ClusterElements)] :=
      FRawData[j];

    FClusteredData[closestCluster] := UpdateCluster;
  end;
end;

procedure TKMeans<T>.SaveData(OutBitMap: TBitmap);
var
  x, y: Integer;
  ClusterIndex: Integer;
  closestCluster: Integer;
  minDist: Double;
  Dist: Double;
  Cluster: TCluster<T>;
begin
  // Loop through all the pixels in the output bitmap
  for y := 0 to OutBitMap.Height - 1 do
  begin
    for x := 0 to OutBitMap.Width - 1 do
    begin
      closestCluster := -1;
      minDist := Infinity;

      // Find the index of the closest cluster to the current pixel
      for ClusterIndex := 0 to FClusteredData.Count - 1 do
      begin
        Dist := FDistanceMetric(FRawData[x + y * OutBitMap.Width],
          FClusteredData[ClusterIndex].Center);
        if Dist < minDist then
        begin
          closestCluster := ClusterIndex;
          minDist := Dist;
        end;
      end;

      // Assign the color of the closest cluster center to the current pixel
      Cluster := FClusteredData[closestCluster];
      // OutBitMap.Canvas.Pixels[x, y] := Cluster.Center.DrawingColor;
    end;
  end;

  // Save the output bitmap to a file or show it in a GUI component
  // For example, to save the bitmap to a file:
  OutBitMap.SaveToFile('output.bmp');

  // Or, to show the bitmap in a TImage control:
  // Image1.Picture.Assign(OutBitMap);
end;

procedure TKMeans<T>.LoadData(SoureBitMap: TBitmap);
var
  x, y: Integer;
  ClusterData: TClusterData;
begin
  // Clear the old data
  FRawData.Clear;

  // Loop through all the pixels in the bitmap
  for y := 0 to SoureBitMap.Height - 1 do
  begin
    for x := 0 to SoureBitMap.Width - 1 do
    begin
      // Create a TClusterData object for each pixel
      ClusterData.DrawingColor := SoureBitMap.Canvas.Pixels[x, y];
      ClusterData.x := x;
      ClusterData.y := y;

      // Add the TClusterData object to the FRawData list
      FRawData.Add(ClusterData);
    end;
  end;
end;

{ TClusterList<T> }

function TClusterList<T>.GetItem(Aindex: Integer): TCluster<T>;
begin
  Result := inherited Items[Aindex];
end;

procedure TClusterList<T>.SetItem(Aindex: Integer; const Value: TCluster<T>);
begin
  inherited Items[Aindex] := Value;
end;

end.

[Mavarik]

Du brauchst für dein <T> die Einschränkung T:Tclusterdata

Mavarik

[Uwe Raabe]

Zitat von Mavarik:

Du brauchst für dein <T> die Einschränkung T:Tclusterdata

Das wäre allenfalls der Fall wenn TClusterData eine class ist und kein record . Aktuell compiliert das nicht.

[Mavarik]

Zitat von Uwe Raabe:

Zitat von Mavarik:

Du brauchst für dein <T> die Einschränkung T:Tclusterdata

Das wäre allenfalls der Fall wenn TClusterData eine class ist und kein record . Aktuell compiliert das nicht.

Klar…

[bernhard_LA]

TClusterData als Class benötigt viel mehr Arbeitspeicher, brauche 10E6... Instanzen davon

[bernhard_LA]

gibt es überhaupt eine möglichkeit meine beiden Klassen Attribute

Delphi-Quellcode:

  

FClusteredData: TClusterList<T>;

FRawData: TRawData<T>;

mit konkreten Records zu befüllen, wie sieht so eine Code-Sequenz aus? Die Klasse kennt nur T und haben tue ich etwas anderes ....
Wenn das nicht geht macht doch der Generic Ansatz bei mir keinen Sinn.

[Uwe Raabe]

Wenn du mit T in der generischen Klasse etwas machen willst, dann muss T so beschrieben sein, dass diese Aktionen dort möglich sind. Dazu gibt es sogenannte Constraints. Mit <T: class> schränkt man die Verwendung auf Klassen ein, kann dann allerdings auch z.B. Free for eine Variable vom Typ T aufrufen. Mit <T: constructor> muss ein später übergebenes T einen parameterlosen Konstruktor haben, den man dann aber auch generisch aufrufen kann. Mit <T: TComponent> kann man alles machen, was TComponent so bietet. Bei Records <T: record> ist das wegen der fehlenden Vererbung halt etwas eingeschränkt.

Generics sind nicht für jeden Anwendungsfall geeignet bzw. nutzbar. Es ist also gut möglich, dass du da auf dem Holzweg bist.

[jaenicke]

Zitat von Uwe Raabe:

Wenn du mit T in der generischen Klasse etwas machen willst, dann muss T so beschrieben sein, dass diese Aktionen dort möglich sind.
[...]
Bei Records <T: record> ist das wegen der fehlenden Vererbung halt etwas eingeschränkt.

Eine mögliche Lösung sind hier Eventhandler, die diese Aktion durchführen. Dann muss man diese bei der Erstellung der Klasse zuweisen und kann dann in der Klasse diese aufrufen, um mit dem Typ eine Aktion durchzuführen, die man ansonsten nicht machen könnte.

Beispiel:

Delphi-Quellcode:

  TBlub<T> = class
  public
    type
      TOnCalcChecksum = function(AValue: T): Integer;
    var
      FValues: TDictionary<Integer, T>;
      FOnCalcChecksum: TOnCalcChecksum;
  public
    procedure Add(AValue: T);
    property OnCalcChecksum: TOnCalcChecksum read FOnCalcChecksum write FOnCalcChecksum;

...

procedure TBlub<T>.Add(AValue: T);
begin
  FValues.Add(FOnGetChecksum(AValue), AValue);
end;

Das ist ein ganz banales Beispiel und vielleicht löst das hier auch das Problem nicht. Ich habe aber leider aktuell nicht die Zeit, die Logik genau anzuschauen. Uwe hat ja schon geschrieben, dass Generics nicht immer die Lösung sind. Man muss sich als erstes klarmachen, welche Funktionalität die einzelnen Typen gemeinsam haben und ob man das generisch zusammenfassen kann. Ich habe auch schon sehr komplizierte generische Funktionalitäten umgesetzt, die sehr viel Quelltext zusammengefasst haben, so dass sich der Aufwand gelohnt hat. Da musste ich aber auch mit solchen Callbacks und 4 generischen Parametern arbeiten, so dass das ganze nicht mal eben gemacht war und für manche auch nicht so gut verständlich ist. Da muss man dann genau schauen, ob Generics dort ein Vorteil sind, auch wenn man es generisch hinbekommt.

[bernhard_LA]

wenn ich meine records in Klassen konvertiere und dann Constraints verwende kann ich kompilieren, ich hoffe ich habe Eure Inputs im sample code unten richtig umgesetzt.


mein Problem mit dieser Lösung:
ich möchte doch alle 3 Klassen TClusterDataX in meiner TKMeans class verarbeiten und erst wenn ich eine konkrete Klasse verwende mich für den Datentypen entscheiden müssen. Muss ich dann die TClusterDataX voneinander erben lassen?

Delphi-Quellcode:

  /// <summary>
  /// here it is just a simple pixel but can be more in future
  /// </summary>
  TClusterData3 = class
    DrawingColor: TColor;
    x, y: Integer;
    chrlabel : char;
    // ...
    // ..
    // .
  end;

  /// <summary>
  /// a bit different pixeldefinition
  /// </summary>
  TClusterData2 = class
    BWColor: Byte;
    x, y: Integer;
    // tbd.
    // ...
    // ..
    // .
  end;

  TClusterData = class
    DrawingColor: TColor;
    x, y: Integer;
  end;


type
  [B]TKMeans<T: TClusterData> = class[/B]
  private

  private
    FClusteredData: TClusterList<T>;

    FRawData: TRawData<T>;

    FNumClusters: Integer;

    FDistanceMetric: TDistanceMetricfunction<T>;

    FCentroidfct: TCentroidfunction<T>;

    FMaxIterations: Integer;

  public
    constructor Create(NumClusters: Integer;
      DistanceMetric: TDistanceMetricfunction<T>;
      Centroidfct: TCentroidfunction<T>; MaxIterations: Integer = 10);

    procedure LoadData(SoureBitMap: TBitmap); overload;

    function FindNewClusterCentroids: Boolean;

    procedure GroupData2NearestCluster;

    procedure SaveData(OutBitMap: TBitmap);
  end;

[jaenicke]

Ja, denn das sagt der Constraint aus. Dass der Typ als Elterntyp TClusterData haben muss.

Ich glaube aber nicht, dass du das brauchst. Da du im Konstruktor die vorgeschlagenen Berechnungsfunktionen übergibst, wäre es hier auch möglich, dass du den Constraint weglässt und einfach Records verwendest. Denn deine generische Klasse muss ja dann die Details des Typen gar nicht mehr kennen und eine Einschränkung ist somit nicht notwendig. Die ergibt sich dann daraus, dass der Nutzer der Klasse passende Funktionen bereitstellen muss. Allerdings werden Records beim Zugriff immer kopiert, weshalb die Performance nicht optimal ist. Das könnte man mit Pointern verbessern.

Bei Verwendung von Klassen kannst du dir die Berechnungsfunktionen sparen. Dann leitet du von einer gemeinsamen Klasse ab, die im Constraint steht. Das heißt dort definierte Funktionen kann die generische Klasse dann einfach aufrufen. In den abgeleiteten Clusterklassen überschreibt du die dann einfach mit speziellen Funktionen zu dem jeweiligen Typ.