CaCl2#
介紹#
CaCl2 是什麼？#
CaCl2（CaCl2: Chinese Lexicon V2, Simple Chinese：CA 中文語言詞庫）CaCl2 源自於一個由中國公司贊助的中文自然語言處理（NLP）研究項目。CaCl2 項目是 CaOCl（CaOCl: Open Chinese Lexical Analyzer）項目的一個重要部分。
CaCl2 如何運作？#
CaCl2 分析來自互聯網的大量文本數據，並將數據重新格式化為大量條目，根據金融行業分類標準對條目進行目錄編排和分類 [見參考文獻 1]。
CaCl2 詞庫能做什麼？#
在自然語言處理（NLP）任務中，CaCl2 詞庫幫助將語言分解為更短的基本單位。（即，標記化）CaCl2 詞庫可用於更高級的 NLP 任務，如詞語分割、文檔摘要、上下文提取、內容分類等。
CaCl2 的目標是什麼？#
CaCl2 項目旨在為互聯網構建一致、完整和準確的行業詞庫或字典集合。我們竭盡所能以實現更高的數據完整性，為中文 NLP 工作提供堅實的基礎，使用者將能夠將更多注意力投入到他們的業務和研究中。
統計數據#
條目#
| 日期 | 總數 | 候選 | 發佈 | 預覽 |
|---|---|---|---|---|
| 2021-02-01 | 21,000,000 | 3,000,000 | 2,553,806 | 280,000 |
字典#
| 日期 | 類別 | 行業 | 發佈 | 預覽 | 關閉 |
|---|---|---|---|---|---|
| 2021-02-01 | 類別 - 1 | 28 | 2 | 26 | 0 |
| 2021-02-01 | 類別 - 2 | 104 | 5 | 99 | 0 |
** 詳細統計數據請參考 Statistics
開始使用#
1. 從 GitHub 克隆 cacl2 或下載字典#
克隆 cacl2
git clone https://github.com/limccn/cacl2.git
或下載字典
wget https://github.com/limccn/cacl2/blob/master/archive/v0.2/\[在此處放置字典代碼 \].zip
2. 將字典導入到您的項目和研究環境#
CaCl2 字典格式良好，可以在許多詞庫工具中使用。
import jieba
dict_name = '480000.txt'
jieba.load_userdict(os.path.join(BASE_PATH_TO_DICT), dict_name))
<properties>
<entry key="ext_dict">480000.txt;480100.txt;</entry>
</properties>
3. 運行、測試並享受 CaCl2！#
開源計劃#
已發佈#
| 代碼 | 名稱 | 條目 | 日期 | 版本 | 格式 | 下載 |
|---|---|---|---|---|---|---|
| 480000 | 銀行 - 通用 | 40612 | 2021-02 | v0.2 | txt | 480000.zip |
| 480100 | 銀行 - 銀行 | 224433 | 2021-02 | v0.2 | txt | 480100.zip |
| 490000 | 金融 - 通用 | 341235 | 2021-02 | v0.2 | txt | 490000.zip |
| 490100 | 金融 - 證券 | 311121 | 2021-02 | v0.2 | txt | 490100.zip |
| 490200 | 金融 - 保險 | 31020 | 2021-02 | v0.2 | txt | 480200.zip |
預定發佈#
| 代碼 | 名稱 | 條目 | 預定 | 版本 | 格式 | 下載 |
|---|---|---|---|---|---|---|
| 490300 | 金融 - 其他 | 10,000 | 2021 年第 2 季度 | v0.2 | txt | 490300.zip |
技術預覽#
在字典最終發佈之前，我們發佈了一個技術預覽字典，包含每個類別 - 1 行業的 10,000 條條目。如果您需要有關所有條目的進一步信息，請參考 Statistics
** 原始數據，請參考 /dicts ** 詳細的類別 - 1 和 2 行業字典，請參考 Statistics
比較與測試#
1. 比較#
（@CaoWJ）字典#
（@CaoWJ）#
（@CaoWJ）#
2. 測試與評分#
2.1 行業測試數據集#
詞語分割測試用於不同的行業文本數據
2.1.1 使用金融行業（僅銀行行業）字典的詞語分割#
2.1.2 使用金融行業（不包括銀行行業）字典的詞語分割#
2.2 標準測試數據集#
詞語分割測試使用標準中文測試數據集
歷史與變更日誌#
1. 定期發佈#
| 版本 | 日期 | 變更日誌 |
|---|---|---|
| 0.2 | 2021 | 最新 |
| 0.1.1 | 2020 | 將所有條目編目並分類為 28 個類別 - 1 行業和 240 個類別 - 2 行業 |
| 0.1 | 2019 | 首次發佈版本，包含超過 2000 萬條條目，數據主要來自百度百科，維基百科 |
2. 每月 / 每季度發佈#
| 版本 | 週期 | 日期 | 變更日誌 |
|---|---|---|---|
| v0.2.21.01 | 每月 | 2021-02-01 | 發佈：銀行和金融字典 |
| v0.2.20.12 | 每月 | 2021-01-01 | v0.2 初始版本 |
常見問題#
披露#
CaCl2 及其數據來自互聯網上發佈的信息。CaCl2 不保證數據的完整性和正確性。CaCl2 不構成任何投資建議。作為貢獻者，我們在任何提及的股票中沒有持倉。我們與任何提及的公司的股票沒有業務關係。