Does this normalize Unicode (NFC/NFKC)?

No. Normalization picks a consistent encoding for characters that can be represented more than one way, and that's a job for your programming language's built-in normalize() function, not a paste box — doing it wrong can be worse than not doing it at all.

Does this convert accented letters to plain ASCII?

No, and not by accident — é, ñ, ü and every other accented letter you paste in come out exactly as you typed them. Transliterating them is a deliberate, lossy choice that belongs in code you control, not in a general cleaning tool.

What are Unicode categories Cf, Cs and Co?

Cf is Format — invisible characters that affect processing, like zero-width joiners and directional marks. Co is Private Use — a block reserved for custom fonts with no universal meaning. Cs is Surrogate — codepoints only valid in UTF-16 pairs. This cleaner's job is mainly Cf, plus the private-use block.

Why would a lone surrogate character show up in normal text?

Usually because a piece of software along the way converted between text encodings incorrectly and left half of a surrogate pair behind. That's a different, less common bug than the invisible-character debris this tool targets, and worth checking your encoding pipeline for separately.

Is this safe to run on source code, not just prose?

It only touches characters with no visible shape, so no code logic should change — but treat any bulk text operation on code the way you'd treat any other edit: keep it under version control so you can diff the result before you trust it.

What is meant by "invisible unicode" characters?

Invisible Unicode characters are codepoints the standard defines with no visible glyph at all — mainly the Cf (Format) category above, plus a few outside it such as the private-use block. They take up no width and draw nothing on screen, which is exactly why an ordinary find-and-replace or a proofreading pass never catches them. This cleaner's whole job is finding and removing the ones that are just leftover formatting, while leaving the ones still doing a real job — a joiner holding an emoji together, or one that is part of Persian spelling — alone.

Unicode-Reiniger

"Unicode Cleaner" wird für drei verschiedene Jobs verwendet — Normalisierung akzentuierter Buchstaben, Transliteration in einfache ASCII und Strippen von Zeichen im unsichtbaren Format — und ein Werkzeug, das behauptet, alle drei zu tun, tut normalerweise keine von ihnen vorhersehbar. Dieser macht nur den dritten Job: Er entfernt das unsichtbare Format und reservierte Zeichen, die nur Unordnung sind, lässt diejenigen, die noch einen Schreibauftrag machen, in Ruhe und lässt jeden sichtbaren Charakter, akzentuiert oder nicht, genau so, wie Sie ihn eingegeben haben. — Abgesehen von einer opt-in-ausnahme, unten.

Normalisieren Sie auch Smart Quotes & Dashes

Reinigung geschieht in Ihr Browser: Dieser Text verlässt diese Seite nie und es gibt keinen Upload, kein Konto und kein Limit. Rewrite ist die Ausnahme — dass man ihren text an unseren server schickt.

Drei Jobs namens "Unicode Cleaner"

Normalisierung (NFC / NFD / NFKC). Einige akzentuierte Buchstaben können zwei codiert werden Wege — ein Codepunkt für "é" oder ein "e" plus ein separates verbindendes Akzentzeichen, das aussieht identisch auf dem Bildschirm. Normalisieren wählt eine konsistente Form. Dieses Tool macht das nicht; Ihre Die Standardbibliothek der Sprache hat mit ziemlicher Sicherheit bereits eine Einzeilenfunktion dafür ()str .normalize() In JavaScript und Python.
Transliteration / ASCII-Faltung. Drehen "é" in "e" oder "TM" in "(tm)". Auch nicht dieses Tool, absichtlich — Es ist ein verlustbehaftetes Umschreiben von echtem Inhalt, und das Substitutionen sind "richtig" hängt ganz von Ihrem Projekt ab, nicht von etwas, was eine Paste-Box kann Vermutung.
Entfernen von unsichtbaren Formatzeichen. Zeichen ohne sichtbare Form alle — Nullbreitenräume und Joiner, Richtmarken, Unicode-Tag-Zeichen, die Block zur privaten Nutzung. Dies ist, was dieses Werkzeug tut, und nichts anderes.

Was die betroffenen Kategorien eigentlich bedeuten

Unicode gruppiert jeden Charakter in einer Kategorie, und die hier relevanten sind es wert, von Name, wenn Sie programmgesteuert mit Text arbeiten:

Cf — Format. Zeichen, die beeinflussen, wie Text verarbeitet oder angezeigt wird ohne eine eigene Glyphe zu haben: Null-Breite-Anhänger, Richtungsmarkierungen, unsichtbare Mathematik Betreiber. Dies ist der Großteil dessen, was dieser Reiniger entfernt.
Coco — Privatnutzung. Ein Block Unicode lässt absichtlich undefined für Custom Fonts und Icon Sets. Ohne universelle Bedeutung wird es als leere Box oder zufällig dargestellt Symbol auf jeder Maschine, die nicht die spezifische Schrift hat, für die sie bestimmt war — Dieser Reiniger Streifen, die auch blockieren.
Cs — Surrogat. Codepoints, die nur paarweise im Inneren sinnvoll sind UTF-16-Codierung. Ein Einzelner, der im gewöhnlichen Text auftaucht, bedeutet normalerweise, dass ein Kodierungs- / Dekodierungsschritt ging Irgendwo falsch flussaufwärts — ein anderer, seltener Bug als Pastenschrott, und nicht etwas dieses Tool-spezifische Ziele.

Ein kurzes, konkretes Beispiel

Kopieren sie eine kurze antwort aus einem chat-fenster in eine javascript-konsole und überprüfen sie ihre länge gegen. was Sie erwarten würden, wenn Sie Buchstaben auf dem Bildschirm zählen:

"hello".length Rückgabe 6, nicht 5 — Obwohl es als "Hallo" mit nichts sichtbar anders druckt. Der zusätzliche Codepoint ist eine Nullbreite Platz (U + 200B), der mit der Paste angekommen ist. Das Ausführen des gleichen Textes durch diesen Reiniger bringt die Länge zurück zu 5, mit nichts anderem über die Zeichenfolge geändert.

Die einzige sichtbare Veränderung, die dies bewirkt

Das Kontrollkästchen über dem Kästchen ist die Ausnahme von "invisible only": schalten Sie es ein und lockige Zitate, en Bindestriche und em Bindestriche werden zu einem einfachen Apostroph, Anführungszeichen oder Bindestrich begradigt. Diese sind sichtbare Zeichen, so dass das Tool sie als optional ändert — standardmäßig eingeschaltet, nicht ausgeschaltet, aber Die Box ist genau dort, wenn Sie lieber die ursprüngliche Interpunktion beibehalten möchten.

Fragen

Normalisiert dies Unicode (NFC/NFKC)?

Nein. Die Normalisierung wählt eine konsistente Kodierung für Zeichen aus, die mehr als eine Art dargestellt werden können, und das ist eine Aufgabe für die eingebaute normalize()-Funktion Ihrer Programmiersprache, nicht eine Einfügenbox. — Es falsch zu machen kann schlimmer sein, als es überhaupt nicht zu tun.

Konvertiert dies akzentuierte Buchstaben in einfache ASCII?

Nein, und nicht zufällig — é, ñ, ü und jeder andere akzentuierte Buchstabe, den Sie einfügen, kommt genau so heraus, wie Sie sie eingegeben haben. Das Transliterieren ist eine bewusste, verlustbehaftete Wahl, die in den Code gehört, den Sie kontrollieren, nicht in ein allgemeines Reinigungswerkzeug.

Was sind Unicode-Kategorien Cf, Cs und Co?

Cf ist Format — unsichtbare Zeichen, die die Verarbeitung beeinflussen, wie Null-Breite-Anhänger und Richtungsmarkierungen. Co ist Privatnutzung — einen Block, der benutzerdefinierten Schriftarten ohne universelle Bedeutung vorbehalten ist. Cs ist Surrogat — Codepoints nur gültig in UTF-16 Paaren. Der Job dieses Reinigers ist hauptsächlich Cf, plus der Block für den privaten Gebrauch.

Warum sollte ein einsames Leihzeichen im normalen Text erscheinen?

Normalerweise, weil ein Stück Software auf dem Weg zwischen Textcodierungen falsch konvertiert und die Hälfte eines Ersatzpaares zurückgelassen hat. Das ist ein anderer, weniger häufiger Fehler als der unsichtbare Charakter, auf den dieses Tool abzielt, und es lohnt sich, Ihre Kodierungspipeline separat zu überprüfen.

Ist es sicher, auf Quellcode zu laufen, nicht nur auf Prosa?

Es berührt nur Zeichen ohne sichtbare Form, daher sollte sich keine Codelogik ändern — Behandeln Sie jedoch jede Massentextoperation auf Code so, wie Sie jede andere Bearbeitung behandeln würden: Behalten Sie sie unter Versionskontrolle, damit Sie das Ergebnis diffen können, bevor Sie ihm vertrauen.

Was ist mit "unsichtbaren Unicode" Zeichen gemeint?

Unsichtbare Unicode-Zeichen sind Codepunkte, die der Standard ohne sichtbare Glyphe definiert. — Hauptsächlich die Cf (Format) Kategorie oben, plus ein paar außerhalb wie der Block für den privaten Gebrauch. Sie nehmen keine Breite ein und zeichnen nichts auf dem Bildschirm, was genau der Grund ist, warum ein gewöhnlicher Find-and-Replace- oder Korrekturlesepass sie nie fängt. Die ganze Aufgabe dieses Reinigers besteht darin, diejenigen zu finden und zu entfernen, die nur übrig geblieben sind, während diejenigen, die noch einen echten Job machen, zurückgelassen werden. — ein Tischler, der ein Emoji zusammenhält, oder einer, der Teil der persischen Schreibweise ist — allein.

Was dieses Tool nicht entfernen kann

Es gibt zwei verschiedene Dinge, die Leute ein "AI-Wasserzeichen" nennen.

Unsichtbare und typografische Zeichen. Dieses Tool entfernt Namenszeichen, die überhaupt keine sichtbare Glyphe tragen, wie definiert durch Unicode Standard — Keine Zahl, die wir uns ausgedacht haben. Es dreht sich auch verschiedene Raumvarianten, einschließlich des engen No-Break-Raums, in einen gewöhnlichen Raum. Curly Zitate und Bindestriche durchlaufen einen separaten, optionalen Schritt - typografische Ersetzungen, standardmäßig eingeschaltet; schalten Sie das Option aus und sie bleiben genau wie typisiert. Es räumt auch die drei Unicode-Privatnutzungsbereiche, einschließlich des Tag-Bereichs U+E0000–U+E007F, der zum Ausblenden von Daten im Klartext verwendet wird Text — Diese Bereiche haben keine eigenen Standardzeichen, daher beschreiben wir sie eher als Verkleiden sie sich als charakterzahl.
Ein statistisches Wasserzeichen in der Wortwahl selbst. SynthID-Text von Google, leben in Zwillingen seit Mai 2024, ist dokumentiert, keine Charaktere überhaupt zu ändern, so dass kein Charakter Reiniger — Unsere inklusive — Hat etwas zu fangen. Anthropic hat Claudes Output gleich markiert Weg seit dem 2. August 2026, um dem EU AI Act zu entsprechen, aber seine eigene Erklärung ()support.claude.com) bestätigt nur, dass die Marke existiert, nicht wie sie funktioniert — Also können wir nicht versprechen, dass es genauso gebaut ist SynthID ist. Was wir sagen können: Ein Charakterreiniger wie dieser berührt immer nur Unicode Zeichen, und kein Wasserzeichen, das sich auf diese verlassen würde, würde eine gewöhnliche Copy-Paste überleben, so Es gibt hier nichts, was sie so oder so entfernen könnte. Ab 10. September 2026 OpenAI eigenen Inhaltsnachweis Seite listet ein textwasserzeichen weder für chatgpt noch für seine api auf.

Wenn ein Tool verspricht, "das AI-Wasserzeichen" zu entfernen, ohne diese Unterscheidung zu treffen, ist es Beschreibe das erste, während du glaubst, dass es das zweite tut.