Unicode-Reiniger

„Unicode Cleaner“ wird für drei verschiedene Aufgaben eingesetzt: die Normalisierung von Buchstaben mit Akzenten, die Umwandlung in einfaches ASCII und das Entfernen von unsichtbaren Formatierungszeichen. Ein Tool, das behauptet, alle drei Aufgaben zu erledigen, erfüllt in der Regel keine davon zuverlässig. Dieses Tool erledigt nur die dritte Aufgabe: Es entfernt die unsichtbaren Formatierungs- und Reservierungszeichen, die lediglich unnötigen Ballast darstellen, lässt die Zeichen, die noch eine Funktion bei der Rechtschreibung erfüllen, in Ruhe und belässt jedes sichtbare Zeichen, mit oder ohne Akzent, genau so, wie Sie es eingegeben haben, mit einer einzigen optionalen Ausnahme, die weiter unten erläutert wird.

Verwandt: Handschrift zu Font, Kostenloser Handschrift-Font-Generator.

Zuletzt aktualisiert: September 2026

auch typografische Anführungszeichen & Gedankenstriche normalisieren

Die Bereinigung erfolgt direkt in Ihrem Browser: Der Text verlässt diese Seite nicht, es ist kein Hochladen erforderlich, Sie benötigen kein Konto und es gibt keine Beschränkungen. Rewrite ist die Ausnahme, in diesem Fall wird Ihr Text an unseren Server gesendet.

Drei Jobs namens "Unicode Cleaner"

Normalisierung (NFC / NFD / NFKC). Einige akzentuierte Buchstaben können zwei codiert werden Wege, ein Codepunkt für "é" oder ein "e" plus ein separates verbindendes Akzentzeichen, das aussieht identisch auf dem Bildschirm. Normalisieren wählt eine konsistente Form. Dieses Tool macht das nicht; Ihre Die Standardbibliothek der Sprache hat mit ziemlicher Sicherheit bereits eine Einzeilenfunktion dafür ()str .normalize() In JavaScript und Python.
Transliteration / ASCII-Faltung. Hier werden „é“ in „e“ oder „™“ in „(tm)“ umgewandelt. Aber nicht mit diesem Tool, das ist bewusst nicht dafür gedacht. Es handelt sich um eine vereinfachte Bearbeitung von Inhalten, und welche Ersetzungen „korrekt“ sind, hängt vollständig von Ihrem Projekt ab und nicht davon, was ein Textfeld erraten könnte.
Entfernen von unsichtbaren Formatzeichen. Dieses Tool entfernt Zeichen, die im Text nicht sichtbar sind, wie z. B. Leerzeichen mit Nullbreite, Verbindungszeichen, Richtungsmarken, Unicode-Tag-Zeichen und Zeichen aus dem Bereich für den privaten Gebrauch. Mehr macht es nicht.

Was die betroffenen Kategorien eigentlich bedeuten

Unicode ordnet jedes Zeichen einer Kategorie zu, und die für diesen Zweck relevanten Kategorien sollte man kennen, wenn man programmatisch mit Text arbeitet:

Cf, Formatieren. Zeichen, die die Verarbeitung oder Darstellung von Text beeinflussen, ohne selbst ein eigenes Glyphen zu haben: Nullbreiten-Verbindungszeichen, Richtungsmarkierungen, unsichtbare mathematische Operatoren. Dies ist der Hauptteil dessen, was dieses Tool entfernt.
Co, Privatnutzung. Ein bestimmter Unicode-Bereich bleibt absichtlich undefiniert, um die Verwendung von benutzerdefinierten Schriftarten und Symbolsets zu ermöglichen. Da er keine universelle Bedeutung hat, wird er auf jedem Gerät, das nicht über die spezifische Schriftart verfügt, für die er bestimmt ist, als leeres Kästchen oder ein zufälliges Symbol dargestellt, dieses Tool entfernt auch diesen Bereich.
Cs, Surrogat. Codepunkte, die erst in Kombination innerhalb der UTF-16-Kodierung eine Bedeutung haben. Wenn ein einzelner solcher Codepunkt in normalem Text auftaucht, bedeutet das in der Regel, dass bei einem vorherigen Kodierungs- oder Dekodierungsschritt etwas schiefgelaufen ist, ein anderes, selteneres Problem als das Einfügen von Textfragmenten, und nicht etwas, auf das dieses Tool speziell abzielt.

Ein kurzes, konkretes Beispiel

Kopieren Sie eine kurze Antwort aus einem Chatfenster und fügen Sie sie in eine JavaScript-Konsole ein. Überprüfen Sie dann die Länge des Textes und vergleichen Sie sie mit der Anzahl der Zeichen, die Sie auf dem Bildschirm gezählt haben:

"hello".length Rückgabe 6, nicht 5, obwohl es als "hello" angezeigt wird, ohne sichtbaren Unterschied. Der zusätzliche Codepoint ist ein Leerzeichen mit Nullbreite (U+200B), das beim Einfügen mitkam. Wenn Sie denselben Text durch diesen Bereiniger laufen lassen, ist die Länge wieder 5, ohne dass sich sonst etwas an der Zeichenfolge ändert.

Die einzige sichtbare Veränderung, die dies bewirkt

Das Kontrollkästchen oberhalb des Feldes stellt eine Ausnahme von der Einstellung „nur unsichtbare Zeichen“ dar: Aktivieren Sie es, und geschweifte Anführungszeichen, lange Gedankenstriche und kurze Gedankenstriche werden in einfache Apostrophe, Anführungszeichen oder Bindestriche umgewandelt. Da es sich hierbei um sichtbare Zeichen handelt, behandelt das Tool die Änderung dieser Zeichen als optional, standardmäßig aktiviert, aber das Kontrollkästchen ist direkt daneben, falls Sie die ursprüngliche Zeichensetzung beibehalten möchten.

Fragen

Normalisiert dies Unicode (NFC/NFKC)?

Nein. Die Normalisierung wählt eine konsistente Kodierung für Zeichen aus, die mehr als eine Art dargestellt werden können, und das ist eine Aufgabe für die eingebaute normalize()-Funktion Ihrer Programmiersprache, nicht eine Einfügenbox. Es falsch zu machen kann schlimmer sein, als es überhaupt nicht zu tun.

Konvertiert dies akzentuierte Buchstaben in einfache ASCII?

Nein, und nicht zufällig, é, ñ, ü und jeder andere akzentuierte Buchstabe, den Sie einfügen, kommt genau so heraus, wie Sie sie eingegeben haben. Das Transliterieren ist eine bewusste, verlustbehaftete Wahl, die in den Code gehört, den Sie kontrollieren, nicht in ein allgemeines Reinigungswerkzeug.

Was sind Unicode-Kategorien Cf, Cs und Co?

Cf ist Format, unsichtbare Zeichen, die die Verarbeitung beeinflussen, wie Verbinder mit Nullbreite und Richtungsmarkierungen. Co ist Privatnutzung, ein Block, der benutzerdefinierten Schriftarten ohne universelle Bedeutung vorbehalten ist. Cs ist Surrogat, Codepoints, die nur in UTF-16-Paaren gültig sind. Die Aufgabe dieses Bereinigers ist hauptsächlich Cf, plus der Block für den privaten Gebrauch.

Warum taucht ein einzelnes Surrogat-Zeichen in normalem Text auf?

Normalerweise, weil ein Stück Software auf dem Weg zwischen Textcodierungen falsch konvertiert und die Hälfte eines Ersatzpaares zurückgelassen hat. Das ist ein anderer, weniger häufiger Fehler als der unsichtbare Charakter, auf den dieses Tool abzielt, und es lohnt sich, Ihre Kodierungspipeline separat zu überprüfen.

Ist es sicher, dieses Tool auf Quellcode und nicht nur auf Text anzuwenden?

Es berührt nur Zeichen ohne sichtbare Form, daher sollte sich keine Codelogik ändern, Behandeln Sie jedoch jede Massentextoperation auf Code so, wie Sie jede andere Bearbeitung behandeln würden: Behalten Sie sie unter Versionskontrolle, damit Sie das Ergebnis diffen können, bevor Sie ihm vertrauen.

Was versteht man unter „unsichtbaren Unicode-Zeichen“?

Unsichtbare Unicode-Zeichen sind Codepunkte, für die der Standard keine sichtbaren Glyphen definiert, hauptsächlich die Kategorie Cf (Format) und einige wenige andere, wie z. B. der Bereich für den privaten Gebrauch. Sie nehmen keinen Platz ein und werden nicht auf dem Bildschirm angezeigt, und genau deshalb werden sie bei einer einfachen Suchen-und-Ersetzen-Funktion oder bei einer Korrekturrunde nicht erkannt. Die Hauptaufgabe dieses Tools besteht darin, die Zeichen zu finden und zu entfernen, die lediglich als Überbleibsel einer Formatierung dienen, während die Zeichen, die tatsächlich eine Funktion erfüllen, z. B. ein Zeichen, das ein Emoji zusammenhält, oder ein Zeichen, das Teil der persischen Rechtschreibung ist, unberührt bleiben.

Was dieses Tool nicht entfernen kann

Es gibt zwei verschiedene Dinge, die Leute ein "AI-Wasserzeichen" nennen.

Unsichtbare und typografische Zeichen. Dieses Tool entfernt Namenszeichen, die überhaupt keine sichtbare Glyphe tragen, wie definiert durch Unicode Standard, keine Zahl, die wir uns ausgedacht haben. Außerdem dreht sie sich. verschiedene Leerzeichen-Varianten, einschließlich des schmalen geschützten Leerzeichens, in ein gewöhnliches Leerzeichen. Typografische Anführungszeichen und Gedankenstriche durchlaufen einen separaten, optionalen Schritt, Typografische Ersetzungen sind standardmäßig aktiviert; wenn Sie diese Option deaktivieren, bleiben die Zeichen genau so, wie Sie sie eingegeben haben. Außerdem werden die drei Unicode-Bereiche für den privaten Gebrauch gelöscht, einschließlich des Bereichs U+E0000-U+E007F, der zum Verbergen von Daten in einfachem Text verwendet wird, diese Bereiche enthalten keine eigenen Standardzeichen, daher beschreiben wir sie, anstatt sie als Zeichenanzahl darzustellen.
Ein statistisches Wasserzeichen in der Wortwahl selbst. Googles SynthID, von dem Google sagt, dass es seit Mai 2024 Texte in der Gemini-App und im Web markiert, steuert, welche Wörter ausgewählt werden, und fügt keinerlei Zeichen hinzu, sodass kein Zeichen-Cleaner, auch unserer nicht, etwas zum Erfassen hat. Anthropic gibt an, dass Text von seinen neueren Claude-Modellen (veröffentlicht am oder nach dem 2. August 2026) ein statistisches Wasserzeichen trägt, das angewendet wird, während das Modell seine Wörter auswählt, ohne dass etwas zum Text hinzugefügt wird (anthropic.com), sodass kein Zeichen-Cleaner ihn berührt. OpenAI kündigte im Oktober 2026 (wie von der Presse berichtet) einen für ChatGPT an, der ebenfalls statistisch ist und in der EU startet.

Wenn ein Tool verspricht, "das AI-Wasserzeichen" zu entfernen, ohne diese Unterscheidung zu treffen, ist es Beschreibe das erste, während du glaubst, dass es das zweite tut.