Unicode-Normalisierer
Füge Text ein, um ihn in eine der vier Unicode-Normalformen umzuwandeln, und sieh genau, welche Zeichen sich geändert haben – mit ihren Codepunkten vorher und nachher. Nutze NFC zum Speichern und Vergleichen oder NFKC, um ähnlich aussehende Kompatibilitätszeichen wie fi, ① und vollbreites Hello zu vereinheitlichen.
Zuletzt aktualisiert:
Alle vier Formen vergleichen
Geänderte Zeichen
Anleitung: Unicode-Normalisierer
- Füge deinen Text ins Eingabefeld ein oder lade das Beispiel, um typische Fälle zu sehen.
- Wähle eine Form: NFC (am häufigsten), NFD, NFKC oder NFKD.
- Aktiviere Zusatzoptionen, wenn du auch Akzente, unsichtbare Zeichen oder Sonderleerzeichen entfernen willst.
- Prüfe die Änderungstabelle, um zu sehen, welche Codepunkte sich geändert haben und warum.
- Kopiere oder lade den normalisierten Text herunter oder kopiere ihn als \u-Escape-Sequenzen für Code.
Wie die vier Formen gängige Zeichen behandeln
| Eingabe | Codepunkte | NFC | NFD | NFKC | NFKD |
|---|---|---|---|---|---|
| é (vorkomponiert) | U+00E9 | é | e + U+0301 | é | e + U+0301 |
| e + ◌́ (kombinierend) | U+0065 U+0301 | é (U+00E9) | unverändert | é (U+00E9) | unverändert |
| Å Ångström-Zeichen | U+212B | Å (U+00C5) | A + U+030A | Å (U+00C5) | A + U+030A |
| Ω Ohm-Zeichen | U+2126 | Ω (U+03A9) | Ω (U+03A9) | Ω (U+03A9) | Ω (U+03A9) |
| fi Ligatur | U+FB01 | unverändert | unverändert | fi | fi |
| Vollbreites A | U+FF21 | unverändert | unverändert | A | A |
| Hochgestellte ² | U+00B2 | unverändert | unverändert | 2 | 2 |
| Eingekreiste ① | U+2460 | unverändert | unverändert | 1 | 1 |
| ½ Bruchzeichen | U+00BD | unverändert | unverändert | 1⁄2 (mit U+2044) | 1⁄2 |
| ™ Markenzeichen | U+2122 | unverändert | unverändert | TM | TM |
| Geschütztes Leerzeichen | U+00A0 | unverändert | unverändert | Leerzeichen U+0020 | Leerzeichen U+0020 |
| 각 Hangul-Silbe | U+AC01 | 각 | 3 Jamo U+1100 U+1161 U+11A8 | 각 | 3 Jamo |
NFC und NFD nehmen nur kanonische Änderungen vor: Der Text bedeutet genau dasselbe. NFKC und NFKD wenden zusätzlich Kompatibilitätszuordnungen an, die das Aussehen ändern und Informationen verlieren können.
Wann Normalisierung wichtig ist
- Stringvergleich und Duplikatbereinigung: „Café“, auf einem Mac getippt, und „Café“, aus einem PDF eingefügt, können sich Byte für Byte unterscheiden. Normalisiere beide in NFC, bevor du sie vergleichst oder hashst.
- Suche: Normalisiere Index und Suchanfrage auf dieselbe Weise. NFKC plus Case-Folding macht vollbreite, Ligatur- und gestylte Buchstaben auffindbar.
- Dateinamen: Manche Dateisysteme speichern Namen zerlegt (nahe an NFD), andere so, wie du sie getippt hast, was beim Synchronisieren scheinbare Duplikate erzeugen kann.
- Benutzernamen und Bezeichner: NFKC vereinheitlicht viele ähnlich aussehende Zeichen und verringert so Spoofing. Es erkennt aber nicht alle Verwechslungen (kyrillisches а und lateinisches a bleiben verschieden).
- Datenbanken und APIs: Normalisiere an der Grenze (wenn Daten ankommen), damit alles Gespeicherte in einer Form vorliegt.
Normalisierung im Code
| Sprache | NFC-Beispiel |
|---|---|
| JavaScript | str.normalize('NFC') |
| Python | unicodedata.normalize('NFC', s) |
| Java | Normalizer.normalize(s, Normalizer.Form.NFC) |
| C# / .NET | s.Normalize(NormalizationForm.FormC) |
| PHP (intl) | Normalizer::normalize($s, Normalizer::FORM_C) |
| Go | norm.NFC.String(s) (golang.org/x/text/unicode/norm) |
Häufige Fragen
Was ist Unicode-Normalisierung?
Unicode kennt oft mehr als eine Schreibweise für denselben sichtbaren Text. So kann é ein einzelner Codepunkt sein (U+00E9) oder ein e gefolgt von einem kombinierenden Akut (U+0065 U+0301). Die Normalisierung bringt Text in eine vereinbarte Form, damit gleich aussehende Strings auch als gleich verglichen, einheitlich sortiert und zuverlässig durchsucht werden.
Was ist der Unterschied zwischen NFC, NFD, NFKC und NFKD?
NFD zerlegt Zeichen in Grundbuchstaben plus kombinierende Zeichen; NFC zerlegt sie und setzt sie dann, wo möglich, wieder zu vorkomponierten Zeichen zusammen. Beide nehmen nur kanonische Änderungen vor, die die Bedeutung nie verändern. NFKD und NFKC wenden zusätzlich Kompatibilitätszuordnungen an, die Formatierungsvarianten in einfache Zeichen überführen: Die Ligatur fi wird zu f + i, ① zu 1, x² zu x2 und das vollbreite H zu H.
Welche Normalform sollte ich verwenden?
NFC ist die übliche Wahl zum Speichern und Austauschen von Text und wird vom W3C für das Web empfohlen; die meisten Texte liegen bereits in NFC vor. Nutze NFD, wenn du Akzente getrennt bearbeiten willst, etwa um sie zu entfernen. Nutze NFKC für Suche, Benutzernamen und Bezeichner, wo ähnlich aussehende Varianten übereinstimmen sollen, aber behalte den Originaltext für die Anzeige, denn NFKC kann Formatierungsbedeutung wie Hochstellungen verlieren.
Ist die NFKC-Normalisierung umkehrbar?
Nein. Die Kompatibilitätsnormalisierung verwirft den Unterschied zwischen Varianten, sodass du nach NFKC nicht mehr erkennen kannst, ob eine 2 ursprünglich ² oder ② war. Die kanonischen Formen (NFC und NFD) sind untereinander umkehrbar: NFC in NFD und zurück ergibt denselben NFC-Text.
Warum wird mein Text in NFD länger?
NFD teilt vorkomponierte Buchstaben in einen Grundbuchstaben plus ein oder mehrere kombinierende Zeichen, sodass é (1 Codepunkt, 2 UTF-8-Bytes) zu e + ◌́ wird (2 Codepunkte, 3 UTF-8-Bytes). Koreanische Hangul-Silben zerfallen in je 2 oder 3 Jamo. Die Vergleichstabelle zeigt Codepunkte und Bytes für jede Form.
Entfernt die Normalisierung Akzente?
Nein. Die Normalisierung behält Akzente; NFD trennt sie nur vom Buchstaben. Um sie zu entfernen, zerlege in NFD und lösche die kombinierenden Zeichen – genau das macht die Option „Auch Akzente entfernen“. Buchstaben, die nicht aus Grundbuchstabe plus Akzent bestehen, etwa ø, ł oder ß, bleiben dabei unverändert.
Entfernt die Normalisierung Nullbreiten- oder unsichtbare Zeichen?
Nein. Nullbreiten-Leerzeichen, Nullbreiten-Verbinder, weiche Trennstriche und Byte-Order-Marks überstehen alle vier Formen. Nutze die Option „Auch unsichtbare Zeichen entfernen“, um sie zu löschen, aber Vorsicht bei Emojis: Nullbreiten-Verbinder halten Emojis mit mehreren Personen und Familien zusammen.
Werden alle Tools auf FreeToolCabin auf Qualität und Genauigkeit getestet?
Ja. Jedes Tool auf der Website durchläuft automatische Tests in echten Browsern, die prüfen, ob das Ergebnis stimmt und keine Fehler auftreten. Wenn du einen Fehler findest oder einen Vorschlag hast, schreib uns an [email protected] – wir sehen es uns an.