Duplikate löschen

[Namenloser]

Ich habe hier einige XML-Daten in eine SQLite-Datenbank importiert, die ursprünglich von einer Website ausgelesen wurden. Der Parser hatte allerdings ein paar Macken, weshalb manche der Daten fehlerhaft sind... also wohl ein typisches Szenario.

Ein konkretes Problem ist gerade, dass manche Datensätze mehrfach vorhanden sind – also die Datensätze sind wirklich identisch, jede Spalte ist exakt gleich.

Jetzt ist die Frage: Wie werde ich die Duplikate wieder los? Ich steh da gerade auf dem Schlauch... es gibt ja keine Möglichkeit, die identischen Datensätze voneinander zu unterscheiden – wie kann ich dann per SQL nur bestimmte löschen? Es soll ja pro identischer Gruppe immer ein Eintrag übrig bleiben. Hat da zufällig jemand ein Patentrezept?

Danke im Voraus.

[Furtbichler]

Du hast das Problem nur, weil Du dir keinen PK definiert hast.
Versuche per SQL mit

Code:

select distinct * from TabelleMitDenDuplikation

die eindeutigen Datensätze in eine zweite Tabelle zu bugsieren, lösche die Originaltabelle und kopiere wieder zurück.

[Namenloser]

Ah, super, das hat geklappt, danke :thumb:
Das ging ja schnell...

Btw: Zu den Keys: Hatte ich absichtlich zunächst nicht angelegt, weil ich nicht wollte, dass der Import-Prozess wegen irgendeinem nicht abgefangenen Fehler abbricht und ich alles noch mal von vorn anfangen muss... dachte mir, ich lese das Zeug erst mal ein, und kümmer mich dann hinterher um mögliche Probleme.

[Perlsau]

Zitat:

Zitat von NamenLozer (Beitrag 1185604)

Btw: Zu den Keys: Hatte ich absichtlich zunächst nicht angelegt, weil ich nicht wollte, dass der Import-Prozess wegen irgendeinem nicht abgefangenen Fehler abbricht und ich alles noch mal von vorn anfangen muss... dachte mir, ich lese das Zeug erst mal ein, und kümmer mich dann hinterher um mögliche Probleme.

Eine Möglichkeit zur Vermeidung deines Duplikat-Problems bestünde darin, die Daten aus der XML-Datei zuerst in eine Testtabelle einzulesen, die automatisch einen fortlaufenden PK erzeugt (AutoInc bzw. Trigger und Generator). Danach durchsuchst du deine Testtabelle auf Doppelte, wirfst dieselben raus und kopierst deine Daten, die ja vermutlich einen eigenen PK mitbringen, in die "richtige", dafür vorgesehene Tabelle.