Duplikate entfernen

Doppelte Zeilen, Wörter, Absätze, CSV-Zeilen und mehr entfernen

100 % kostenlos. Läuft vollständig in deinem Browser: deine Dateien und Daten verlassen dein Gerät nie, und es wird nichts auf einen Server hochgeladen.

1Eingabe

0 Zeilen0 Wörter0 Zeichen

2Deduplizierungs-Einstellungen

Empfohlene Einstellungen
Welche Kopie bleibt

Behält die erste Kopie jedes Eintrags und entfernt spätere Wiederholungen.

Wo suchen
Vergleichsregeln

3Ergebnisse

Text einfügen oder Datei laden – das bereinigte Ergebnis erscheint hier.

Herunterladen

Alles läuft in deinem Browser – Text und Dateien werden nie hochgeladen. Sehr große Dateien hängen vom Arbeitsspeicher deines Geräts ab.

Über dieses Tool

Findet und entfernt Duplikate in Text und Daten: Zeilen, Wörter, Absätze, Einträge mit beliebigem Trennzeichen, CSV-/Excel-Zeilen und JSON-Arrays. Du wählst, welche Kopie bleibt, wie Einträge verglichen werden (Groß-/Kleinschreibung, Leerzeichen, Satzzeichen, Akzente, URLs, E-Mails, Telefonnummern) und siehst genau, was entfernt wurde – alles läuft in deinem Browser.

So verwendest du dieses Tool

  1. Text einfügen oder Dateien hochladenFüg eine Liste ein oder zieh TXT-, CSV-, TSV-, JSON-, XML-, MD-, LOG- oder XLSX-Dateien hinein. Mehrere Dateien lassen sich zu einer Liste zusammenführen.
  2. Festlegen, was dedupliziert wirdWähle Zeilen, Wörter, Absätze, ein eigenes Trennzeichen, CSV-Zeilen (ganze Zeile oder ausgewählte Spalten) oder ein JSON-Array.
  3. Vergleichsregeln einstellenBehalte die erste oder letzte Kopie, nur einmalige oder nur wiederholte Einträge, und lege fest, was als gleich gilt: Groß-/Kleinschreibung, Leerzeichen, Satzzeichen, Akzente, URLs oder E-Mails.
  4. Prüfen und exportierenSieh dir die Duplikatgruppen und die markierte Vorschau an und kopiere oder lade dann das Ergebnis, die entfernten Einträge oder einen CSV-Bericht herunter.

Eine E-Mail- oder URL-Liste bereinigen

„Groß-/Kleinschreibung ignorieren“ und „Leerzeichen trimmen“ sind standardmäßig an, daher gelten „Ana@Example.com “ und „ana@example.com“ bereits als derselbe Eintrag. Die erste Schreibweise bleibt genau so, wie sie war.

Wähle für URLs „Vergleichen als: URLs“. Dann werden Links abgeglichen, die sich nur durch http/https, www, einen abschließenden Schrägstrich, die Reihenfolge der Query-Parameter oder Tracking-Parameter wie utm_source und gclid unterscheiden – die behaltene URL bleibt unverändert.

Welche Kopie bleibt

„Erste behalten“ behält die früheste Kopie jedes Eintrags, „Letzte behalten“ die späteste – nützlich, wenn neuere Zeilen neuere Daten enthalten. „Nur einmalige“ entfernt jeden Eintrag, der mehr als einmal vorkommt, und „Nur wiederholte“ listet eine Kopie jedes wiederholten Eintrags – praktisch, um zu finden, was doppelt war.

„Wo suchen“ legt fest, ob eine Wiederholung irgendwo im Text zählt („Überall“) oder nur direkt nach demselben Eintrag („Nur direkt aufeinanderfolgend“).

Warum es nutzen

  • Zeigt, was entfernt wurde – ein eigener Tab für Entferntes, Duplikatgruppen mit Anzahl und Zeilennummern und eine markierte Vorschau.
  • Vergleichsregeln ändern nie den Text, der bleibt: Das Ignorieren von Groß-/Kleinschreibung oder Tracking-Parametern wirkt nur beim Vergleich.
  • Funktioniert mit Tabellen: CSV- oder Excel-Zeilen nach der E-Mail-Spalte, einer anderen Spalte oder der ganzen Zeile deduplizieren.
  • Privat und schnell – nichts wird hochgeladen, und große Listen laufen in einem Hintergrund-Thread, den du abbrechen kannst.

Häufige Anwendungen

  • Doppelte E-Mail-Adressen vor einer Kampagne entfernen, wobei Ana@Example.com und ana@example.com als gleich gelten.
  • URL-Listen für SEO-Audits bereinigen und Links, die sich nur durch utm_-Parameter oder www unterscheiden, als dieselbe Seite behandeln.
  • CRM- oder Kundenexporte nach einer Spalte deduplizieren und dabei alle anderen Felder der Zeile behalten.
  • Wiederholte Keywords, Wörter oder Absätze aus Entwürfen, Logs und kopierten Listen entfernen.

Tipps für bessere Ergebnisse

  • „Groß-/Kleinschreibung ignorieren“, „Leerzeichen trimmen“ und „Mehrfache Leerzeichen zusammenfassen“ sind standardmäßig an; schalte die Groß-/Kleinschreibung aus, wenn sie zählt, etwa bei Produktcodes.
  • Nutze „Vergleichen als: Telefonnummern“, damit +44 20 7946 0018 und 0044 (20) 7946-0018 als eine Nummer zählen.
  • Öffne vor dem Export den Tab „Duplikatgruppen“, um zu sehen, welche Einträge sich am häufigsten wiederholen.
  • Nutze „Nur direkt aufeinanderfolgend“ für Logs, in denen eine spätere Wiederholung ein neues Ereignis ist.

Fehler, die du vermeiden solltest

  • Ähnlichkeitsabgleich (Fuzzy) eingeschaltet lassen, ohne die Gruppen zu prüfen – ähnliche Einträge sind nicht immer Duplikate.
  • „Nur einmalige“ wählen, obwohl „Erste behalten“ gemeint war: „Nur einmalige“ entfernt jede Kopie eines wiederholten Eintrags.
  • Eine CSV nach der ganzen Zeile deduplizieren, obwohl nur die E-Mail-Spalte entscheiden soll.
  • Die Quelldatei ohne Kopie überschreiben – lade auch die entfernten Einträge herunter oder nutze „Original wiederherstellen“.

Häufig gestellte Fragen

Standardmäßig ja – „Groß-/Kleinschreibung ignorieren“ ist an, daher zählen „Beispiel“ und „beispiel“ als ein Eintrag. Schalte es aus, wenn die Schreibweise wichtig ist. Die behaltene Zeile behält in jedem Fall ihre ursprüngliche Schreibweise.

Ja. Das Ergebnis behält die ursprüngliche Reihenfolge, außer du wählst eine Sortierung wie A bis Z, natürlich, numerisch, nach Länge oder häufigste zuerst.

Standardmäßig wird der ganze Eintrag verglichen, nachdem die Vergleichsregeln angewendet wurden. Um nur einen Teil zu vergleichen, nutze eine CSV-Spalte, JSON-Schlüssel oder einen eigenen Vergleichsschlüssel – einen regulären Ausdruck, dessen erste Gruppe verglichen wird.

Wähle „Vergleichen als: E-Mail-Adressen“, das Groß-/Kleinschreibung und Leerzeichen am Rand ignoriert, und entferne dann die Duplikate. Name@Beispiel.de und name@beispiel.de sind dasselbe Postfach – so bekommt niemand dieselbe E-Mail zweimal.

Unsichtbare Unterschiede wie ein Leerzeichen am Ende, ein Tab, typografische Anführungszeichen oder Akzente machen Einträge ungleich. Schalte die passenden Regeln ein (Leerzeichen trimmen, Tabs ignorieren, Anführungszeichen ignorieren, Akzente ignorieren, Unicode normalisieren) und prüfe den Tab „Vorschau“.

Ja. Lade eine CSV-, TSV- oder XLSX-Datei hoch (oder füg die CSV ein), wähle „CSV / Tabelle“ und dann die Spalten, die ein Duplikat bestimmen – zum Beispiel E-Mail – oder „Ganze Zeile“. Ganze Zeilen bleiben erhalten, und du kannst das Ergebnis als CSV, XLSX oder JSON herunterladen.

Ja. Der Tab „Entfernte Duplikate“ listet jeden entfernten Eintrag zum Kopieren oder Herunterladen, „Duplikatgruppen“ zeigt jeden wiederholten Wert mit Anzahl und Zeilennummern, und „Bericht (CSV)“ exportiert diese Liste.

Es gibt kein festes Limit, aber alles läuft auf deinem Gerät, daher hängen sehr große Dateien von dessen Arbeitsspeicher ab. Eingaben über etwa 150.000 Zeichen laufen in einem Hintergrund-Thread mit Fortschrittsbalken und Abbrechen-Knopf. Der Ähnlichkeitsabgleich funktioniert mit bis zu 3.000 verschiedenen Werten.