Unicodereiniger

Unicode cleaner wordt gebruikt voor drie verschillende banen — normaliseren van geaccentueerde letters, translitereren ze naar gewone ASCII, en strippen van onzichtbare tekens — en een tool die beweert alle drie te doen meestal doet geen van hen voorspelbaar. Deze doet de derde taak alleen: het verwijdert het onzichtbare formaat en gereserveerde karakters die gewoon rommelig zijn, laat degenen die nog steeds een spelling job alleen, en laat elk zichtbaar karakter, geaccentueerd of niet, precies zoals je het typte — behalve één opt-in uitzondering, hieronder.

Reiniging gebeurt in uw browser: die tekst verlaat nooit deze pagina, en er is geen upload, geen account en geen limiet. Herschrijven is de uitzondering — Die stuurt je sms naar onze server.

Drie banen genaamd "unicode cleaner"

Wat de betrokken categorieën eigenlijk betekenen

Unicode groepeert elk teken in een categorie, en degenen die relevant zijn hier zijn de moeite waard te weten door naam als je programmatisch met tekst werkt:

Een kort, concreet voorbeeld

Kopieer een kort antwoord uit een chatvenster naar een JavaScript-console en controleer de lengte ervan Wat je zou verwachten door brieven op het scherm te tellen:

"hello​".length geeft 6Niet 5 Wat? Ook al drukt het af als "hallo" met niets zichtbaar anders. Het extra codepunt is een nulbreedte ruimte (U+200B) die met de pasta kwam. Het uitvoeren van dezelfde tekst door deze cleaner brengt de lengte terug naar 5, met niets anders over de string veranderd.

De zichtbare verandering die dit maakt

Het selectievakje boven het vakje is de uitzondering op "alleen onzichtbaar": zet het aan en krullend citaten, en streepjes en streepjes recht in een effen apostrof, citaatteken of koppelteken. Dat zijn zichtbare tekens, dus het gereedschap behandelt het veranderen ervan als optioneel — standaard, niet uit, maar De doos is daar als je liever de originele leestekens houdt.

Vragen

Is dit normaliseren Unicode (NFC/NFKC)?

Nee. Normalisatie kiest een consistente codering voor tekens die op meerdere manieren kunnen worden weergegeven, en dat is een taak voor de ingebouwde normaliserende functie van uw programmeertaal, niet een pastebox — Het verkeerd doen kan erger zijn dan het helemaal niet doen.

Zet dit geaccentueerde letters om naar gewone ASCII?

Nee, en niet per ongeluk. — E, ñ, ü en elke andere geaccentueerde brief die je plakt in kom precies zoals je ze typte. Translitereren is een doelbewuste, lossy keuze die hoort in code die u controleert, niet in een algemeen reinigingsgereedschap.

Wat zijn Unicode categorieën Cf, Cs en Co?

Cf is formaat — onzichtbare tekens die de verwerking beïnvloeden, zoals zero-width joiners en directional marks. Co is privaat gebruik — een blok gereserveerd voor aangepaste lettertypen zonder universele betekenis. Cs is Surrogaat — codepunten alleen geldig in UTF-16 paren. Het werk van deze schoonmaker is voornamelijk Cf, plus het privé-gebruik blok.

Waarom zou een surrogaatfiguur in een normale tekst verschijnen?

Meestal omdat een stuk software langs de weg omgezet tussen tekstcoderingen verkeerd en liet de helft van een surrogaatpaar achter. Dat is een andere, minder voorkomende bug dan de onzichtbare-karakter puin deze tool doelen, en de moeite waard om uw codering pijplijn voor afzonderlijk te controleren.

Is dit veilig voor broncode, niet alleen proza?

Het raakt alleen tekens zonder zichtbare vorm, dus geen code logica moet veranderen — maar behandel elke bulk tekstbewerking op code op de manier waarop u een andere bewerking zou behandelen: houd het onder versiebeheer zodat u het resultaat kunt diffen voordat u het vertrouwt.

Wat wordt bedoeld met "onzichtbare unicode" karakters?

Onzichtbare Unicode tekens zijn codepunten die de standaard definieert zonder zichtbare glyph — voornamelijk de Cf (Format) categorie hierboven, plus een paar buiten, zoals het particuliere-gebruik blok. Ze nemen geen breedte en tekenen niets op het scherm, dat is precies de reden waarom een gewone vind-en-vervang of een proeflezing pas ze nooit vangen. De hele job van deze cleaner is het vinden en verwijderen van degenen die gewoon overgebleven formatteren, terwijl het verlaten van degenen nog steeds een echte baan — een timmerman die een emoji bij elkaar houdt, of een die deel uitmaakt van Perzische spelling — Alleen.

Wat deze tool niet kan verwijderen

Er zijn twee verschillende dingen die mensen een "AI watermerk" noemen.

  • Onzichtbare en typografische karakters. Deze tool verwijdert benoemde tekens die helemaal geen zichtbare glyph bevatten, zoals gedefinieerd door de Unicode standaard — Geen nummer dat we verzonnen hebben. Het draait ook verschillende ruimtevarianten, waaronder de smalle no-break ruimte, in een gewone ruimte. Curly citaten en streepjes gaan door een aparte, optionele stap typografische vervangingen, standaard ingeschakeld; schakel deze optie uit en de tekst blijft precies zoals getypt. Het wist ook de drie Unicode-bereiken voor privégebruik, inclusief het tagbereik U+E0000–U+E007F, dat wordt gebruikt om gegevens in platte tekst te verbergen. Deze bereiken bevatten geen standaardtekens, dus we beschrijven ze in plaats van ze te presenteren als een aantal tekens.
  • Een statistisch watermerk in de woordkeuze zelf. Google's SynthID-tekst, live in Gemini sinds mei 2024 is gedocumenteerd om helemaal geen tekens te veranderen, dus geen karakter schoner — de onze inbegrepen — heeft iets te vangen. Antropic heeft de output van Claude hetzelfde gemarkeerd. Sinds 2 augustus 2026 moet de EU-AI-wet worden nageleefd, maar de eigen verklaring ervan (support.claude.com) bevestigt alleen dat het merk bestaat, niet hoe het werkt — dus we kunnen niet beloven dat het hetzelfde gebouwd is zoals SynthID is. Wat we kunnen zeggen: een karakterreiniger als deze raakt alleen Unicode aan karakters, en geen watermerk dat daarop vertrouwde zou overleven een gewone kopie-pasta, dus Er is hier niets om het te verwijderen. Met ingang van 10 september 2026, eigen content-provenance blz. toont een tekst watermerk voor noch ChatGPT noch zijn API.

Als een gereedschap belooft "het AI watermerk" te strippen zonder dit onderscheid te maken, is het Het eerste ding beschrijven terwijl je laat geloven dat het het tweede doet.

Gerelateerde tools

Het is een schoner achter al deze pagina's — Dezelfde tekens, dezelfde knop. Alleen de uitleg eromheen verandert, dus kies wat overeenkomt met je probleem.

Geïllustreerd portret van Sam RidderDoor Sam Ridder Ik bouw en beheer TextNinja op mijn eigen hardware, op mijn eigen. Wie ik ben.