字詞、短語與字符頻率分析
對中文和多語言文本分詞,統計字詞、短語及字素頻率,支持停用詞和 CSV 導出。
詞語、短語與字素
詞語模式使用所選語言的 Intl.Segmenter,統計類似詞語的片段,不只按空格拆分中文。短語模式在每個原始行內統計 2–5 詞的重疊窗口。字素模式統計 Unicode 字符簇,組合重音和連接 emoji 不會被拆開。
過濾與比例分母
排除詞在應用大小寫和 NFC 選項後按完整詞匹配,默認沒有隱藏的停用詞表。含排除詞的短語窗口會被跳過,不把兩側的詞重新拼接。總數是應用最低次數和行數過濾前的有效出現次數,百分比使用該分母,隱藏低頻行不會抬高其他行的比例。
正確使用統計結果
結果先按次數排序,同次數按 Unicode 字符串順序排列。JSON 包含總數,CSV 導出返回的詞語、次數和比例,並使用 CRLF 換行;可能被表格軟件當作公式的詞前會加單引號。不同瀏覽器的語言數據版本可能產生不同分詞邊界。輸入上限為 200,000 個 UTF-16 單位。詞頻不能衡量相關性、原創性或搜索排名質量。
相關文字統計
需要整體字數和字符數時,可使用 Count Words 或本站字數統計;本頁專注於分詞頻率及導出。
常見問題
短語會跨越段落嗎?
短語不會跨越原始換行。同一行中的標點不作為短語邊界;去除標點後,類似詞語的片段視為相鄰。
字素與字節相同嗎?
不同。一個字素可能包含多個碼點和許多 UTF-8 字節;此模式統計字素簇,不是存儲大小或 UTF-16 長度。
輸入會上傳或保存嗎?
不會。處理在本機 Web Worker 中進行,不向 API 上傳文本,也不寫入本地存儲。更改選項會取消舊任務並清除舊結果。
其他語言
參考資料
我們如何確保結果正確
我們使用以下自動化測試驗證此工具。下方保留測試案例的原始名稱,方便查看實際斷言及重現。
- 驗證方法
- 比較詞、字符、行和頻次總數,檢查空輸入、Unicode、排序和百分比分母。
- 對比依據
- 明確文本樣本與計數預期。
- 驗證範圍
- 只覆蓋這些樣本和邊界;不代表所有輸入均已證明正確。
測試原始碼與案例(點選檔名檢視)
-
text-frequency-tools.test.js
- frequency totals, descending counts and percentages use the counted population
- Chinese segmentation and normalization keep actual words and canonical accented forms
這些測試涵蓋列出的樣本和邊界,不代表所有輸入都已證明正確。往返測試和使用同一依賴套件的檢查,不屬於獨立交叉驗證。