字词、短语与字符频率分析
对中文和多语言文本分词,统计字词、短语及字素频率,支持停用词和 CSV 导出。
词语、短语与字素
词语模式使用所选语言的 Intl.Segmenter,统计类似词语的片段,不只按空格拆分中文。短语模式在每个原始行内统计 2–5 词的重叠窗口。字素模式统计 Unicode 字符簇,组合重音和连接 emoji 不会被拆开。
过滤与比例分母
排除词在应用大小写和 NFC 选项后按完整词匹配,默认没有隐藏的停用词表。含排除词的短语窗口会被跳过,不把两侧的词重新拼接。总数是应用最低次数和行数过滤前的有效出现次数,百分比使用该分母,隐藏低频行不会抬高其他行的比例。
正确使用统计结果
结果先按次数排序,同次数按 Unicode 字符串顺序排列。JSON 包含总数,CSV 导出返回的词语、次数和比例,并使用 CRLF 换行;可能被表格软件当作公式的词前会加单引号。不同浏览器的语言数据版本可能产生不同分词边界。输入上限为 200,000 个 UTF-16 单位。词频不能衡量相关性、原创性或搜索排名质量。
相关文字统计
需要整体字数和字符数时,可使用 Count Words 或本站字数统计;本页专注于分词频率及导出。
常见问题
短语会跨越段落吗?
短语不会跨越原始换行。同一行中的标点不作为短语边界;去除标点后,类似词语的片段视为相邻。
字素与字节相同吗?
不同。一个字素可能包含多个码点和许多 UTF-8 字节;此模式统计字素簇,不是存储大小或 UTF-16 长度。
输入会上传或保存吗?
不会。处理在本机 Web Worker 中进行,不向 API 上传文本,也不写入本地存储。更改选项会取消旧任务并清除旧结果。
其他语言
参考资料
我们如何确保结果正确
我们使用以下自动化测试验证此工具。下方保留测试用例的原始名称,便于查看实际断言和复现。
- 验证方法
- 比较词、字符、行和频次总数,检查空输入、Unicode、排序和百分比分母。
- 对比依据
- 明确文本样本与计数预期。
- 验证范围
- 只覆盖这些样本和边界;不代表所有输入均已证明正确。
测试源码与用例(点击文件名查看)
-
text-frequency-tools.test.js
- frequency totals, descending counts and percentages use the counted population
- Chinese segmentation and normalization keep actual words and canonical accented forms
这些测试覆盖列出的样本和边界,不代表所有输入都已证明正确。往返测试和使用同一依赖库的检查,不属于独立交叉验证。