CaCl2#
一、CaCl2 簡介#
CaCl2（CaCl2: Chinese Lexicon）中文名稱：CA 中文語言詞庫，源於某國內金融行業 NLP 項目，通過分析既有語料獲得海量詞條數據，同時按金融行業標準進行詞條編目和分類，在自然語言處理 NLP 過程中，可以用於分詞，關鍵詞提取、內容摘要，實體識別等用途。 CaCl2 項目目標在於向互聯網提供行業性的、完整的、準確的的詞庫，完成中文語言 NLP 的基礎性工作，讓用戶將更多精力投入業務研究。 CaCl2 是開放項目 CaOCl（CA 開放中文詞法分析工具包）重要組成部分。
統計數據#
1. 詞條數#
| 時間 | 總詞條數 | 候選詞條 | 已公開詞條 | 預覽版詞條 |
|---|---|---|---|---|
| 2021-02-01 | 約 21,000,000 | 約 3,000,000 | 2,553,806 | 280,000 |
2. 行業字典數#
| 時間 | 行業 | 詞典數 | 已公開 | 預覽版 | 未公開 |
|---|---|---|---|---|---|
| 2021-02-01 | 一級行業 | 28 | 2 | 26 | 0 |
| 2021-02-01 | 二級行業 | 104 | 5 | 99 | 0 |
** 詳細統計狀態，請參考鏈接：CaCl2 開放狀態統計
二、快速開始#
1.Clone 或按需下載 CaCl2 詞庫#
Clone
git clone https://github.com/limccn/cacl2.git
下載
wget https://github.com/limccn/cacl2/blob/master/archive/v0.2/\[字典代碼 \].zip
2. 導入和配置詞庫#
CaCl2 公開的詞庫支持在多種分詞工具和環境中使用。
使用示例#
import jieba
dict_name = '480000.txt'
jieba.load_userdict(os.path.join(BASE_PATH_TO_DICT), dict_name))
使用示例#
<properties>
<entry key="ext_dict">480000.txt;480100.txt;</entry>
</properties>
3. 測試和開始使用 CaCl2，Enjoy！#
三、詞庫開源進度表#
1. 已開源#
| 行業代碼 | 詞庫名稱 | 詞條數量 | 公開時間 | 當前版本 | 格式 | 下載地址 |
|---|---|---|---|---|---|---|
| 480000 | 銀行 - 通用 | 40612 | 2021-02 | v0.2 | txt | 480000.zip |
| 480100 | 銀行 - 銀行 | 224433 | 2021-02 | v0.2 | txt | 480100.zip |
| 490000 | 非銀金融 - 通用 | 341235 | 2021-02 | v0.2 | txt | 490000.zip |
| 490100 | 非銀金融 - 證券 | 311121 | 2021-02 | v0.2 | txt | 490100.zip |
| 490200 | 非銀金融 - 保險 | 31020 | 2021-02 | v0.2 | txt | 480200.zip |
2. 計劃開源#
| 行業代碼 | 詞庫名稱 | 詞條數量 | 計劃公開時間 | 當前版本 | 格式 | 下載地址 |
|---|---|---|---|---|---|---|
| 490300 | 非銀金融 - 多元金融 | 10,000 | 2Q 2021 | v0.2 | txt | 490300.zip |
3. 技術預覽版#
公開發布詞典前，我們提供 28 個一級行業的各 1 萬個詞條的技術預覽，詞典實際包含的詞條數量，請參考鏈接：CaCl2 開放狀態統計
| 行業代碼 | 詞庫名稱 | 收錄數量 | 格式 | 下載地址 |
|---|---|---|---|---|
| 110000 | 農林牧漁 - 通用 | 10,000 | txt | 110000.zip |
| 210000 | 采掘 - 通用 | 10,000 | txt | 210000.zip |
| 220000 | 化工 - 通用 | 10,000 | txt | 220000.zip |
| 230000 | 鋼鐵 - 通用 | 10,000 | txt | 230000.zip |
| 240000 | 有色金屬 - 通用 | 10,000 | txt | 240000.zip |
| 270000 | 電子 - 通用 | 10,000 | txt | 270000.zip |
| 280000 | 汽車 - 通用 | 10,000 | txt | 280000.zip |
| 330000 | 家用電器 - 通用 | 10,000 | txt | 330000.zip |
| 340000 | 食品飲料 - 通用 | 10,000 | txt | 340000.zip |
| 350000 | 紡織服裝 - 通用 | 10,000 | txt | 350000.zip |
| 360000 | 輕工製造 - 通用 | 10,000 | txt | 360000.zip |
| 370000 | 醫藥生物 - 通用 | 10,000 | txt | 370000.zip |
| 410000 | 公用事業 - 通用 | 10,000 | txt | 410000.zip |
| 420000 | 交通運輸 - 通用 | 10,000 | txt | 420000.zip |
| 430000 | 房地產 - 通用 | 10,000 | txt | 430000.zip |
| 450000 | 商業貿易 - 通用 | 10,000 | txt | 450000.zip |
| 460000 | 休閒服務 - 通用 | 10,000 | txt | 460000.zip |
| 480000 | 銀行 - 通用 | 10,000 | txt | 480000.zip |
| 490000 | 非銀金融 - 通用 | 10,000 | txt | 490000.zip |
| 510000 | 綜合 - 通用 | 10,000 | txt | 510000.zip |
| 610000 | 建築材料 - 通用 | 10,000 | txt | 610000.zip |
| 620000 | 建築裝飾 - 通用 | 10,000 | txt | 620000.zip |
| 630000 | 電氣設備 - 通用 | 10,000 | txt | 630000.zip |
| 640000 | 機械設備 - 通用 | 10,000 | txt | 640000.zip |
| 650000 | 國防軍工 - 通用 | 10,000 | txt | 650000.zip |
| 710000 | 計算機 - 通用 | 10,000 | txt | 710000.zip |
| 720000 | 传媒 - 通用 | 10,000 | txt | 720000.zip |
| 730000 | 通信 - 通用 | 10,000 | txt | 730000.zip |
** 原始格式的詞條，請參考：/dicts ** 詳細的開放狀態，請參考鏈接：CaCl2 開放狀態統計
四、使用效果#
1. 工具測試對比#
1.1 使用 CaCl2 標準詞庫和 Jieba 標準庫測試分詞結果對比（@CaoWJ）#
1.2 使用 CaCl2 和金融行業詞庫對比【招金詞酷】進行分詞（@CaoWJ）#
1.3 使用 CaCl2 和金融行業詞庫對比【招金詞酷】進行分詞提出摘要（@CaoWJ）#
2. 指標和得分#
2.1 行業數據集測試#
2.1.1 金融行業 (銀行行業)，分詞測試#
2.1.2 金融行業 (金融行業，不包含銀行)，分詞測試#
2.2 標準數據集測試#
五、歷史和變更日誌#
1. 定期發布版本#
| 版本 | 發布時間 | 變更日誌 |
|---|---|---|
| 0.2 | 2021 | 發布中的版本 |
| 0.1.1 | 2020 | 使用申萬行業分類對詞庫進行編目和分類，共 28 個一級行業和 104 個二級行業 |
| 0.1 | 2019 | 第一个发布版本，包含来自互联网的 2100 万中文词条，主要来自百度百科，维基中文百科等来源 |
2. 自動發布版本#
| 最新版本 | 發布周期 | 發布時間 | 變更日誌 |
|---|---|---|---|
| v0.2.21.01 | monthly | 2021-02-01 | 金融行業（銀行和非銀金融）行業詞庫發布 |
| v0.2.20.12 | monthly | 2021-01-01 | 版本 0.2 的初版，開源第一版，提供 28 個一級行業的各 1 萬個詞條預覽 |
** 歷史自動發布版本，請參考鏈接: 版本歷史
六、License 許可證#
1. 開源軟件許可證#
CaCl2 的源代碼在Apache License 2.0許可下開源。
Copyright 2021 limc.cn All rights reserved.
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
2. 共同創作許可證#
CaCl2 開放的詞庫，語料，模型等資料沿用Creative Commons BY-NC-SA 4.0知識共享許可協議。
七、貢獻和貢獻者#
感謝所有 CaCl2 貢獻者的努力，我們歡迎所有願意參與並貢獻 CaCl2 項目的貢獻者
1. 如何貢獻？#
1.1 Fork 或 Star 我們的 CaCl2#
1.2 在 Github 上參與 CaCl2 社區討論#
2. 貢獻者#
@CaoWJ
八、常見問題#
九、其他說明#
CaCl2 的部分內容來自互聯網公開的信息和數據資料，CaCl2 不保證數據的完整性和正確性，不構成任何建議。 我們沒有持有本文提及的相關證券，與本文提及的相關公司沒有任何關聯關係。