隐藏字符清理器

检测并删除文本中的隐藏字符、不可见空格和特殊 Unicode 字符

清理选项

所有文本处理都在您的浏览器中本地完成。

深度指南

隐藏字符清理器:具体删除什么,漏掉什么

每个选项背后的确切字符列表、真实案例的计算结果、表情符号以及波斯语、印度系文字的连接符默认如何保留,以及本工具仍然不会处理的少数不可见字符。

最后核实: 本指南的纯文本版

关键数字一览

零宽选项
U+200B、U+2060,以及表情符号和非拉丁文字词之外的 U+200C / U+200D
默认情况下,ZWJ 和 ZWNJ 会保留在表情符号序列内以及非拉丁字母之间(波斯语、泰米尔语);取消勾选“保留 ZWJ/ZWNJ”则全部删除。
BOM 选项
文本中任何位置的 U+FEFF
字节顺序标记只在文件开头才有意义。
控制字符
C0 和 C1 控制字符,制表符、换行符和回车符除外
包括 U+0000 至 U+0008、U+000B、U+000C、U+000E 至 U+001F 以及 U+007F 至 U+009F;U+2028 和 U+2029 会变成换行。
仍不会删除
其他特殊空格、不可见运算符、变体选择符等
在认定文本完全干净之前,请先看下面的列表。

按钮做什么

突出显示隐藏字符会把已勾选选项匹配到的每个字符替换成红色的 [•] 标记显示出来,并报告找到多少个。清理文本返回不含这些字符的文本。不会上传任何内容。两者都只处理已勾选的选项;“规范化空白字符”默认关闭,且只影响清理。

提示: “复制”和“下载”始终使用清理后的文本,绝不会是 [•] 标记。如果在突出显示的状态下点击“复制”,工具会复制应用了已勾选选项的文本,并在状态栏里说明。先突出显示看看会删掉什么,再复制或点击“清理文本”。

每个选项删除什么

选项(默认) 字符
零宽字符(开) U+200B 零宽空格、U+2060 词连接符,以及 U+200C 零宽不连字 / U+200D 零宽连字(被保留的除外,见下一行)
保留 ZWJ/ZWNJ(开) 零宽字符的子选项。保留表情符号之间的 U+200D(它前面是表情、变体选择符或肤色修饰符,后面是表情),并在两侧字母都不是拉丁字母时(波斯语、乌尔都语、泰米尔语、印地语等)保留 U+200C / U+200D
BOM(开) 文本中任何位置的 U+FEFF
控制字符(开) U+0000 至 U+0008、U+000B、U+000C、U+000E 至 U+001F、U+007F 至 U+009F(除制表符、LF、CR 之外的全部)。U+2028 行分隔符和 U+2029 段分隔符不会被删除,而是替换成一个换行
不可见 Unicode 字符(开) U+00AD 软连字符、U+034F 组合字素连接符、U+061C 阿拉伯字母标记、U+115F 和 U+1160 韩文填充符、U+3164 韩文填充符、U+17B4 和 U+17B5 高棉固有元音、U+180E 蒙古文元音分隔符。U+00A0 不间断空格不会被删除,而是替换成普通空格
方向标记(开) U+200E、U+200F、U+202A 至 U+202E(嵌入、覆盖和弹出控制符),以及双向隔离符 U+2066 至 U+2069
规范化空白字符(关) 每一段空格和制表符变成一个空格;三个或更多连续换行变成两个

计算结果

以下结果由页面自己的代码在默认选项下得出:

输入 发现 结果
pass U+200B word 1 password
U+FEFF id,name 1 id,name
co U+00AD operate 1 cooperate
invoice U+202E txt.exe 1 invoicetxt.exe
a U+0007 b U+0000 c 2 abc
a 制表符 b LF c CR d 0 不变(制表符、LF 和 CR 被保留)
a U+0085 b 1 ab(U+0085 下一行属于 C1 控制字符)
one U+00A0 two 1 one two(普通空格)
a U+2028 b U+2029 c 2 a、换行、b、换行、c
a U+2060 b 1 ab
a U+2066 b U+2069 c 2 abc
a U+3164 b 1 ab
👨‍👩‍👧(家庭表情) 0 不变
می‌خواهم(波斯语“我想要”) 0 不变
ab U+200D cd 1 abcd

从右向左覆盖的例子,正是文件名和源代码伪装所用的手法(“Trojan Source”攻击,CVE-2021-42574,利用的就是双向控制字符)。清理会删除这个控制符,但你仍应把该来源视为不可信。

表情符号、波斯语和印度系文字

U+200D(零宽连字)是家庭表情等序列中的“胶水”,U+200C(零宽不连字)则是波斯语和部分印度系文字拼写的一部分。盲目删除会破坏这类文本,所以默认开启的保留 ZWJ/ZWNJ 选项会在它们真正起作用的地方保留它们:

  • 👨‍👩‍👧(五个码位)和 🏳️‍🌈(彩虹旗)保持完整。
  • می‌خواهم 保留半空格,க்‍ஷ 保留连接符。
  • 同样的连接符出现在拉丁字母之间(ab U+200D cd 变成 abcd)、文本开头或结尾,或紧挨着空格和数字时,会被删除。
  • 取消勾选保留 ZWJ/ZWNJ 会删除所有连接符:家庭表情会拆成三个独立表情 👨👩👧,می‌خواهم 变成字母连在一起的 میخواهم。

这条规则是根据两侧字符做出的判断,不是语言检测。如果某段拉丁字母文本是有意使用 ZWNJ,请取消勾选整个零宽选项。

其他副作用

  • 不间断空格会变成普通空格。 法语等排版会有意在 !、?、:、; 前使用 U+00A0。如果想保留它,请取消勾选不可见 Unicode 字符,代价是该列表里的其他不可见字符也会保留。
  • 软连字符 U+00AD 只表示单词可以在此断开,所以通常删除即可。
  • 空白规范化比较粗暴。 它把制表符变成空格,因此用制表符缩进的代码会丢失制表符,而且不会去掉行尾空格。
  • 统计:总字符数是 JavaScript 字符串长度(UTF-16 码元,🙂 算 2)。已删除是长度之差,所以被换成普通空格的不间断空格会被发现但不算“已删除”,开启规范化时则包括被压缩的空格。

本工具不会删除的隐藏字符

即使勾选所有选项,下列字符也不会被处理:

  • 其他特殊空格:U+2000 至 U+200A、U+202F、U+205F 和 U+3000。(复制粘贴清理器的“删除非 ASCII 字符”选项会把它们变成普通空格。)
  • 不可见运算符 U+2061 至 U+2064
  • 表情变体选择符,如 U+FE0F
  • 看起来是空白的字符,如 U+2800 盲文空白和 U+FFA0 半角韩文填充符
  • 标签字符(U+E0000 范围)

这些字符请用编辑器处理,并用文本转十六进制之类的十六进制视图检查剩下的内容。

隐藏字符从哪里来

从网页、PDF、聊天应用和文字处理软件复制,把电子表格导出为带 BOM 的 UTF-8,以及从右向左文本的编辑,都是常见来源。BOM(U+FEFF)作为文件的第一个字符是合法的,此时它表示 UTF-8(见 Unicode FAQ);出现在文本中间时,它相当于零宽不换行空格。

常见错误

  • 取消勾选“保留 ZWJ/ZWNJ”之后,再去清理含表情符号或波斯语的文本。
  • 以为不间断空格会被删除;它其实变成普通空格。
  • 以为“未发现隐藏字符”就表示文本没有任何不可见字符。
  • 以为它会去掉制表符、换行或双空格;除非开启规范化,否则不会,而且制表符和换行永远不会被删除。

相关工具

Unicode 探索器一次识别一个字符。文本对比显示两个版本之间不可见的差异。字数统计工具可通过异常的计数发现隐藏字符。HTML 实体编码器可把不可见字符变成可见的引用。

常见问题

什么是隐藏字符?

隐藏字符是没有可见表示但存在于文本中的 Unicode 字符。常见示例包括零宽空格(ZWSP)、字节顺序标记(BOM)和控制字符。这些可能导致文本处理、代码执行、数据验证等问题。

为什么我应该删除隐藏字符?

应该删除隐藏字符,因为它们会破坏代码语法、导致数据导入失败、阻止文本在搜索中匹配、触发验证错误以及在应用程序中导致意外行为。它们在从网站或 PDF 复制文本时特别有问题。

我的文本数据是否会发送到任何服务器?

不,绝对不会。所有文本处理都完全在您的 Web 浏览器中使用 JavaScript 进行。您的数据永远不会离开您的设备,使这个工具对敏感文档、源代码、API 密钥和机密内容完全安全。

我如何知道我的文本是否有隐藏字符?

使用"突出显示隐藏字符"按钮以可视化方式标记隐藏字符在文本中的位置(以红色显示)。统计面板还显示检测到的隐藏字符计数。如果文本行为异常或字符计数不匹配,则可能包含隐藏字符。

ZWSP、ZWNJ 和 ZWJ 有什么区别?

零宽空格(ZWSP)允许在没有可见空格的情况下换行。零宽非连接符(ZWNJ)防止复杂脚本中的字符连接。零宽连接符(ZWJ)强制字符连接,特别是在表情符号中。所有这些都是不可见的,但具有不同的格式目的。

清理会删除我所有的空格吗?

不会,此工具仅删除不可见和隐藏的字符。普通空格、换行符和制表符会保留,除非您启用"规范化空白字符"选项,该选项仅删除过多的空白字符,同时保持文本可读。不间断空格(U+00A0)会被换成普通空格而不是直接删除,所以单词不会粘在一起。

我可以使用此工具清理代码吗?

是的,此工具非常适合清理从 Stack Overflow、文档网站或其他可能包含隐藏字符的来源复制的代码。它会删除有问题的字符,同时保留代码格式和常规空格。

什么是字节顺序标记(BOM)?

BOM(U+FEFF)是放置在文本文件开头的特殊字符,用于指示字节顺序编码。虽然对某些应用程序有用,但 BOM 经常在编程语言、API 和 Web 应用程序中导致解析错误,因此经常被删除。

为什么网站会添加隐藏字符?

网站使用隐藏字符进行正确的文本呈现、换行和国际化支持。但是,当您从网站复制文本时,这些格式字符会一起复制,并且在粘贴到代码编辑器、表单或数据库中时可能会导致问题。

此工具会损坏我的文本吗?

不会,此工具仅删除不可见字符,同时保留所有可见内容。默认情况下,ZWJ 和 ZWNJ 会保留在表情符号序列内以及波斯语、泰米尔语等非拉丁文字的字母之间,其他位置的会被删除;取消勾选“保留 ZWJ/ZWNJ”则全部删除。开启该选项时,其他零宽字符始终会被删除,如果不确定,请保留备份。

隐藏字符如何进入我的文本?

隐藏字符通常通过从网站、PDF、Microsoft Word 文档或富文本编辑器复制粘贴进入文本。当文件以某些编码保存或文本由翻译工具或内容管理系统处理时,它们也可能出现。

每次从网站复制时都需要清理文本吗?

并非总是如此,但建议用于关键用例,如代码、电子邮件地址、API 请求、数据导入或表单提交。对于休闲文本,隐藏字符通常不会导致问题。如有疑问,请使用此工具进行快速检查。

资料来源

  1. Unicode FAQ — UTF-8, UTF-16, UTF-32 and BOM — Explains U+FEFF as a signature and as ZERO WIDTH NO-BREAK SPACE.
  2. Unicode UTS #51 — Unicode Emoji — ZWJ sequences form single emoji; without ZWJ they fall back to separate emoji.
  3. Unicode UAX #9 — Bidirectional Algorithm
  4. Trojan Source (CVE-2021-42574) — Attack that hides code logic using bidirectional control characters.

本指南用浅白语言解释已公布的规则,不构成财务、法律或官方意见。政策会变动,做决定前请向上方链接的政府机构核实。

把这个工具嵌入你的网站

免费使用。把这段代码贴到你的网页,并保留指向 ToolSG 的链接。