python 結巴分詞(jieba)詳解 - 程式人生
文章推薦指數: 80 %
“結巴”中文分詞:做最好的Python 中文分片語件 ... Chinese text segmentation: built to be the best Python Chinese word segmentation module.
程式人生>>python結巴分詞(jieba)詳解
python結巴分詞(jieba)詳解
阿新••發佈:2018-11-14
【轉自:https://www.cnblogs.com/jackchen-Net/p/8207009.html】
“結巴”中文分詞:做最好的Python中文分片語件
"Jieba"(Chinesefor"tostutter")Chinesetextsegmentation:builttobethebestPythonChinesewordsegmentationmodule.
ScrolldownforEnglishdocumentation.
特點
支援三種分詞模式:
精確模式,試圖將句子最精確地切開,適合文字分析;
全模式,把句子中所有的可以成詞的詞語都掃描出來,速度非常快,但是不能解決歧義;
搜尋引擎模式,在精確模式的基礎上,對長詞再次切分,提高召回率,適合用於搜尋引擎分詞。
支援繁體分詞
支援自定義詞典
MIT授權協議
安裝說明
程式碼對Python2/3均相容
全自動安裝:easy_installjieba 或者 pipinstalljieba / pip3installjieba
半自動安裝:先下載 http://pypi.python.org/pypi/jieba/ ,解壓後執行 pythonsetup.pyinstall
手動安裝:將jieba目錄放置於當前目錄或者site-packages目錄
通過 importjieba 來引用
演算法
基於字首詞典實現高效的詞圖掃描,生成句子中漢字所有可能成詞情況所構成的有向無環圖(DAG)
採用了動態規劃查詢最大概率路徑,找出基於詞頻的最大切分組合
對於未登入詞,採用了基於漢字成詞能力的HMM模型,使用了Viterbi演算法
主要功能
1.分詞
jieba.cut 方法接受三個輸入引數:需要分詞的字串;cut_all引數用來控制是否採用全模式;HMM引數用來控制是否使用HMM模型
jieba.cut_for_search 方法接受兩個引數:需要分詞的字串;是否使用HMM模型。
該方法適合用於搜尋引擎構建倒排索引的分詞,粒度比較細
待分詞的字串可以是unicode或UTF-8字串、GBK字串。
注意:不建議直接輸入GBK字串,可能無法預料地錯誤解碼成UTF-8
jieba.cut 以及 jieba.cut_for_search 返回的結構都是一個可迭代的generator,可以使用for迴圈來獲得分詞後得到的每一個詞語(unicode),或者用
jieba.lcut 以及 jieba.lcut_for_search 直接返回list
jieba.Tokenizer(dictionary=DEFAULT_DICT) 新建自定義分詞器,可用於同時使用不同詞典。
jieba.dt 為預設分詞器,所有全域性分詞相關函式都是該分詞器的對映。
程式碼示例
#encoding=utf-8
importjieba
seg_list=jieba.cut("我來到北京清華大學",cut_all=True)
print("FullMode:"+"/".join(seg_list))#全模式
seg_list=jieba.cut("我來到北京清華大學",cut_all=False)
print("DefaultMode:"+"/".join(seg_list))#精確模式
seg_list=jieba.cut("他來到了網易杭研大廈")#預設是精確模式
print(",".join(seg_list))
seg_list=jieba.cut_for_search("小明碩士畢業於中國科學院計算所,後在日本京都大學深造")#搜尋引擎模式
print(",".join(seg_list))
輸出:
【全模式】:我/來到/北京/清華/清華大學/華大/大學
【精確模式】:我/來到/北京/清華大學
【新詞識別】:他,來到,了,網易,杭研,大廈(此處,“杭研”並沒有在詞典中,但是也被Viterbi演算法識別出來了)
【搜尋引擎模式】:小明,碩士,畢業,於,中國,科學,學院,科學院,中國科學院,計算,計算所,後,在,日本,京都,大學,日本京都大學,深造
2.新增自定義詞典
回到導航
載入詞典
開發者可以指定自己自定義的詞典,以便包含jieba詞庫裡沒有的詞。
雖然jieba有新詞識別能力,但是自行新增新詞可以保證更高的正確率
用法:jieba.load_userdict(file_name)#file_name為檔案類物件或自定義詞典的路徑
詞典格式和 dict.txt 一樣,一個詞佔一行;每一行分三部分:詞語、詞頻(可省略)、詞性(可省略),用空格隔開,順序不可顛倒。
file_name 若為路徑或二進位制方式開啟的檔案,則檔案必須為UTF-8編碼。
詞頻省略時使用自動計算的能保證分出該詞的詞頻。
例如:
創新辦3i
雲端計算5
凱特琳nz
臺中
更改分詞器(預設為 jieba.dt)的 tmp_dir 和 cache_file 屬性,可分別指定快取檔案所在的資料夾及其檔名,用於受限的檔案系統。
範例:
自定義詞典:https://github.com/fxsjy/jieba/blob/master/test/userdict.txt
用法示例:https://github.com/fxsjy/jieba/blob/master/test/test_userdict.py
之前:李小福/是/創新/辦/主任/也/是/雲/計算/方面/的/專家/
載入自定義詞庫後: 李小福/是/創新辦/主任/也/是/雲端計算/方面/的/專家/
回到導航
調整詞典
使用 add_word(word,freq=None,tag=None) 和 del_word(word) 可在程式中動態修改詞典。
使用 suggest_freq(segment,tune=True) 可調節單個詞語的詞頻,使其能(或不能)被分出來。
注意:自動計算的詞頻在使用HMM新詞發現功能時可能無效。
程式碼示例:
>>>print('/'.join(jieba.cut('如果放到post中將出錯。
',HMM=False)))
如果/放到/post/中將/出錯/。
>>>jieba.suggest_freq(('中','將'),True)
494
>>>print('/'.join(jieba.cut('如果放到post中將出錯。
',HMM=False)))
如果/放到/post/中/將/出錯/。
>>>print('/'.join(jieba.cut('「臺中」正確應該不會被切開',HMM=False)))
「/臺/中/」/正確/應該/不會/被/切開
>>>jieba.suggest_freq('臺中',True)
69
>>>print('/'.join(jieba.cut('「臺中」正確應該不會被切開',HMM=False)))
「/臺中/」/正確/應該/不會/被/切開
"通過使用者自定義詞典來增強歧義糾錯能力"--- https://github.com/fxsjy/jieba/issues/14
3.關鍵詞提取
回到導航
基於TF-IDF演算法的關鍵詞抽取
importjieba.analyse
jieba.analyse.extract_tags(sentence,topK=20,withWeight=False,allowPOS=())
sentence為待提取的文字
topK為返回幾個TF/IDF權重最大的關鍵詞,預設值為20
withWeight為是否一併返回關鍵詞權重值,預設值為False
allowPOS僅包括指定詞性的詞,預設值為空,即不篩選
jieba.analyse.TFIDF(idf_path=None)新建TFIDF例項,idf_path為IDF頻率檔案
程式碼示例(關鍵詞提取)
https://github.com/fxsjy/jieba/blob/master/test/extract_tags.py
關鍵詞提取所使用逆向檔案頻率(IDF)文字語料庫可以切換成自定義語料庫的路徑
用法:jieba.analyse.set_idf_path(file_name)#file_name為自定義語料庫的路徑
自定義語料庫示例:https://github.com/fxsjy/jieba/blob/master/extra_dict/idf.txt.big
用法示例:https://github.com/fxsjy/jieba/blob/master/test/extract_tags_idfpath.py
關鍵詞提取所使用停止詞(StopWords)文字語料庫可以切換成自定義語料庫的路徑
用法:jieba.analyse.set_stop_words(file_name)#file_name為自定義語料庫的路徑
自定義語料庫示例:https://github.com/fxsjy/jieba/blob/master/extra_dict/stop_words.txt
用法示例:https://github.com/fxsjy/jieba/blob/master/test/extract_tags_stop_words.py
關鍵詞一併返回關鍵詞權重值示例
用法示例:https://github.com/fxsjy/jieba/blob/master/test/extract_tags_with_weight.py
回到導航
基於TextRank演算法的關鍵詞抽取
jieba.analyse.textrank(sentence,topK=20,withWeight=False,allowPOS=('ns','n','vn','v'))直接使用,介面相同,注意預設過濾詞性。
jieba.analyse.TextRank()新建自定義TextRank例項
演算法論文: TextRank:BringingOrderintoTexts
基本思想:
將待抽取關鍵詞的文字進行分詞
以固定視窗大小(預設為5,通過span屬性調整),詞之間的共現關係,構建圖
計算圖中節點的PageRank,注意是無向帶權圖
使用示例:
見 test/demo.py
4.詞性標註
jieba.posseg.POSTokenizer(tokenizer=None) 新建自定義分詞器,tokenizer 引數可指定內部使用的 jieba.Tokenizer 分詞器。
jieba.posseg.dt 為預設詞性標註分詞器。
標註句子分詞後每個詞的詞性,採用和ictclas相容的標記法。
用法示例
>>>importjieba.possegaspseg
>>>words=pseg.cut("我愛北京天安門")
>>>forword,flaginwords:
...print('%s%s'%(word,flag))
...
我r
愛v
北京ns
天安門ns
5.並行分詞
原理:將目標文字按行分隔後,把各行文字分配到多個Python程序並行分詞,然後歸併結果,從而獲得分詞速度的可觀提升
基於python自帶的multiprocessing模組,目前暫不支援Windows
用法:
jieba.enable_parallel(4) #開啟並行分詞模式,引數為並行程序數
jieba.disable_parallel() #關閉並行分詞模式
例子:https://github.com/fxsjy/jieba/blob/master/test/parallel/test_file.py
實驗結果:在4核3.4GHzLinux機器上,對金庸全集進行精確分詞,獲得了1MB/s的速度,是單程序版的3.3倍。
注意:並行分詞僅支援預設分詞器 jieba.dt 和 jieba.posseg.dt。
6.Tokenize:返回詞語在原文的起止位置
注意,輸入引數只接受unicode
預設模式
result=jieba.tokenize(u'永和服裝飾品有限公司')
fortkinresult:
print("word%s\t\tstart:%d\t\tend:%d"%(tk[0],tk[1],tk[2]))
word永和start:0end:2
word服裝start:2end:4
word飾品start:4end:6
word有限公司start:6end:10
搜尋模式
result=jieba.tokenize(u'永和服裝飾品有限公司',mode='search')
fortkinresult:
print("word%s\t\tstart:%d\t\tend:%d"%(tk[0],tk[1],tk[2]))
word永和start:0end:2
word服裝start:2end:4
word飾品start:4end:6
word有限start:6end:8
word公司start:8end:10
word有限公司start:6end:10
7.ChineseAnalyzerforWhoosh搜尋引擎
引用: fromjieba.analyseimportChineseAnalyzer
用法示例:https://github.com/fxsjy/jieba/blob/master/test/test_whoosh.py
8.命令列分詞
使用示例:python-mjiebanews.txt>cut_result.txt
命令列選項(翻譯):
使用:python-mjieba[options]filename
結巴命令列介面。
固定引數:
filename輸入檔案
可選引數:
-h,--help顯示此幫助資訊並退出
-d[DELIM],--delimiter[DELIM]
使用DELIM分隔詞語,而不是用預設的'/'。
若不指定DELIM,則使用一個空格分隔。
-p[DELIM],--pos[DELIM]
啟用詞性標註;如果指定DELIM,詞語和詞性之間
用它分隔,否則用_分隔
-DDICT,--dictDICT使用DICT代替預設詞典
-uUSER_DICT,--user-dictUSER_DICT
使用USER_DICT作為附加詞典,與預設詞典或自定義詞典配合使用
-a,--cut-all全模式分詞(不支援詞性標註)
-n,--no-hmm不使用隱含馬爾可夫模型
-q,--quiet不輸出載入資訊到STDERR
-V,--version顯示版本資訊並退出
如果沒有指定檔名,則使用標準輸入。
--help 選項輸出:
$>python-mjieba--help
Jiebacommandlineinterface.
positionalarguments:
filenameinputfile
optionalarguments:
-h,--helpshowthishelpmessageandexit
-d[DELIM],--delimiter[DELIM]
useDELIMinsteadof'/'forworddelimiter;ora
spaceifitisusedwithoutDELIM
-p[DELIM],--pos[DELIM]
enablePOStagging;ifDELIMisspecified,useDELIM
insteadof'_'forPOSdelimiter
-DDICT,--dictDICTuseDICTasdictionary
-uUSER_DICT,--user-dictUSER_DICT
useUSER_DICTtogetherwiththedefaultdictionaryor
DICT(ifspecified)
-a,--cut-allfullpatterncutting(ignoredwithPOStagging)
-n,--no-hmmdon'tusetheHiddenMarkovModel
-q,--quietdon'tprintloadingmessagestostderr
-V,--versionshowprogram'sversionnumberandexit
Ifnofilenamespecified,useSTDINinstead.
延遲載入機制
jieba採用延遲載入,importjieba 和 jieba.Tokenizer() 不會立即觸發詞典的載入,一旦有必要才開始載入詞典構建字首字典。
如果你想手工初始jieba,也可以手動初始化。
importjieba
jieba.initialize()#手動初始化(可選)
在0.28之前的版本是不能指定主詞典的路徑的,有了延遲載入機制後,你可以改變主詞典的路徑:
jieba.set_dictionary('data/dict.txt.big')
例子: https://github.com/fxsjy/jieba/blob/master/test/test_change_dictpath.py
原始碼:
原始碼下載的地址:https://github.com/fxsjy/jieba
演示地址:http://jiebademo.ap01.aws.af.cm/
隱馬爾科夫模型(HiddenMarkovModel,HMM)
«上一篇
textarea實現輸入賬號回車新增;刪除時選中整個賬號的效果下一篇»
相關推薦
python結巴分詞(jieba)詳解
【轉自:https://www.cnblogs.com/jackchen-Net/p/8207009.html】
“結巴”中文分詞:做最好的Py...
python結巴分詞(jieba)學習
原始碼下載的地址:https://github.com/fxsjy/jieba
演示地址:http://jiebadem...
使用結巴分詞(jieba)對自然語言進行特徵預處理(Python、Java實現)
一、前言
之前使用基於Python語言的Spa...
python中文分詞工具:結巴分詞jieba
結巴分詞jieba特點 支援三種分詞模式: 精確模式,試圖將句子最精確地切開,適合文字分析; ...
python—結巴分詞的原理理解,Hmm中的轉移概率矩陣和混淆矩陣。
結巴分詞的準備工作
開發者首先根據大量的人民日...
Python結巴分詞關鍵詞抽取分析
等於範圍分類問題urnpostbre依然信息檢索有意
關鍵詞抽取就是從文本裏面把跟這篇文檔意義最相關的一些...
python結巴分詞學習
結巴分詞(自然語言處理之中文分詞器)
jieba分詞演算法使用了基於字首詞典實現高效的詞圖掃描,生成句子中漢字所有可能生成詞情況所構成的有向無...
Python---結巴分詞介紹
結巴分詞介紹
現在開源的中文分詞工具,有IK、MMseg4j、THULAC、Ansj、Jieba、HanLP等,其中最近還在更新並維護的,也是目前分詞效果比較...
python結巴分詞器的使用說明
特點
1,支援三種分詞模式:
a,精確模式,試圖將句子最精確地切開,適合文字分析;
b,全模式,把句...
pythonjieba分詞(結巴分詞)、提取詞,載入詞,修改詞頻,定義詞庫
轉載請註明出處
歡迎加入Python快速進階QQ群:867300100
“結巴”中文分詞:做最好的Pytho...
搜尋
基礎教學
Mysql入門
Sql入門
Android入門
Docker入門
Go語言入門
Ruby程式入門
Python入門
Python進階
Django入門
Python爬蟲入門
最近訪問
python+結巴分詞(jieba)詳解
java實現排列組合實現
異步IO實戰之四:異步IO的單個處理和批量處理
在高德地圖使用:+amap+is+not+defined
Java——實現氣泡排序,選擇排序,快速排序和二分查詢
筆記—《程序員自我修養》
機器學習之線性迴歸(機器學習基石)
CentOS分析解決docker.service:+Unit+not+found問題
團隊績效
CStringArray
延伸文章資訊
- 1如何使用jieba 結巴中文分詞程式(Example) - Coderwall
近來玩了一下jieba 結巴這個Python Based 的開源中文斷詞程式,感覺大好,順手發了一些pull request,今天早上就成為contributor 了! 感覺真爽!
- 2fxsjy/jieba: 结巴中文分词
“结巴”中文分词:做最好的Python 中文分词组件. "Jieba" (Chinese for "to stutter") Chinese text segmentation: built t...
- 3Python 结巴分词(jieba)使用方法文档及示例代码 - cjavapy.com
本文主要介绍Python中,结巴分词(jieba)的使用相关介绍文档,使用结巴分词(jieba)进行分词的方法,以及相关的示例代码。
- 4Python - 知名Jieba 中文斷詞工具教學
- 5jieba - PyPI
“结巴”中文分词:做最好的Python 中文分词组件. “Jieba” (Chinese for “to stutter”) Chinese text segmentation: built t...