原文、字节、候选结果的验证关系,强调可逆不等于确认来源
阅读口径

本文保留原字符串;操作在副本上进行,候选结果需由来源证据核对。

规范化处理字符关系

Unicode 规范化包括 NFC、NFD、NFKC 和 NFKD,用于处理规范等价或兼容等价的字符序列。它处理已解码字符之间的关系,并不重新解释文件字节。

规范参考:Unicode:规范化形式。操作场景与排查建议为本站说明。

搜索与存档分开

若业务希望统一检索形式,可为搜索生成规范化派生字段,同时保存原文字段。原始样本用于故障追溯时,不应被清洗后的内容覆盖。

规范参考:Unicode:规范化形式。操作场景与排查建议为本站说明。

兼容形式可能影响表达

兼容规范化可能把某些排版或兼容字符映射到共同形式。用于标识符、展示文本或档案时先检查语义与业务影响,不能把它当作无损的万能清理。

可执行检查单

  1. 01明确选择规范等价还是兼容等价。
  2. 02在副本上比较规范化前后码点。
  3. 03保留原字段,单独生成检索形式。

一个常见问题

NFC 结果没变说明没有问题吗?

不能。错误字符也可能已经处于 NFC 形式;规范化检查不能替代编码链排查。

本页结论

编码恢复与规范化应分别记录目的、输入和结果。