結巴中文分詞原理分析1 - 古詩詞庫

jieba.Tokenizer(dictionary=DEFAULT_DICT) 新建自定義分詞器，可用於 ... ：https://github.com/fxsjy/jieba/blob/master/extra_dict/idf.txt.big. MdEditor 結巴中文分詞原理分析1 語言:CN/TW/HK 時間 2019-05-0810:23:08 AINLP 主題: 中文分詞 作者：白寧超，工學碩士，現工作於四川省計算機研究院，著有《自然語言處理理論與實戰》一書，點選閱讀原文可直達原文連結，作者公眾號：機器學習和自然語言處理（公眾號ID：datathinks） 基於Python的中文分詞 1 結巴中文分詞 （1）結巴中文分詞的特點 1支援三種分詞模式： 精確模式，試圖將句子最精確地切開，適合文字分析； 全模式，把句子中所有的可以成詞的詞語都掃描出來,速度非常快，但是不能解決歧義； 搜尋引擎模式，在精確模式的基礎上，對長詞再次切分，提高召回率，適合用於搜尋引擎分詞。

2支援繁體分詞 3支援自定義詞典 4MIT授權協議 線上演示：http://jiebademo.ap01.aws.af.cm/ 網站程式碼：https://github.com/fxsjy/jiebademo （2） 安裝說明：程式碼對Python2/3均相容 全自動安裝：easy_installjieba 或者 pipinstalljieba / pip3installjieba 半自動安裝：先下載 http://pypi.python.org/pypi/jieba/解壓後執行 pythonsetup.pyinstall 手動安裝：將jieba目錄放置於當前目錄或者site-packages目錄 通過 importjieba 來引用 演算法： 基於字首詞典實現高效的詞圖掃描，生成句子中漢字所有可能成詞情況所構成的有向無環圖(DAG) 採用了動態規劃查詢最大概率路徑,找出基於詞頻的最大切分組合 對於未登入詞，採用了基於漢字成詞能力的HMM模型，使用了Viterbi演算法 （3）主要分詞功能 jieba.cut 方法接受三個輸入引數:需要分詞的字串；cut_all引數用來控制是否採用全模式；HMM引數用來控制是否使用HMM模型 jieba.cut_for_search 方法接受兩個引數：需要分詞的字串；是否使用HMM模型。

該方法適合用於搜尋引擎構建倒排索引的分詞，粒度比較細 待分詞的字串可以是unicode或UTF-8字串、GBK字串。

注意：不建議直接輸入GBK字串，可能無法預料地錯誤解碼成UTF-8 jieba.cut 以及 jieba.cut_for_search 返回的結構都是一個可迭代的generator，可以使用for迴圈來獲得分詞後得到的每一個詞語(unicode) jieba.lcut 以及 jieba.lcut_for_search 直接返回list jieba.Tokenizer(dictionary=DEFAULT_DICT) 新建自定義分詞器，可用於同時使用不同詞典。

jieba.dt 為預設分詞器，所有全域性分詞相關函式都是該分詞器的對映。

程式碼示例 #encoding=utf-8 importjieba seg_list=jieba.cut("我來到北京清華大學",cut_all=True) print("FullMode:" + "/".join(seg_list)) #全模式 seg_list=jieba.cut("我來到北京清華大學",cut_all=False) print("DefaultMode:" + "/".join(seg_list)) #精確模式 seg_list=jieba.cut("他來到了網易杭研大廈") #預設是精確模式 print(",".join(seg_list)) seg_list=jieba.cut_for_search("小明碩士畢業於中國科學院計算所，後在日本京都大學深造") #搜尋引擎模式 print(",".join(seg_list)) 輸出結果 【全模式】:我/來到/北京/清華/清華大學/華大/大學【精確模式】:我/來到/北京/清華大學【新詞識別】：他,來到,了,網易,杭研,大廈   (此處，“杭研”並沒有在詞典中，但是也被Viterbi演算法識別出來了)【搜尋引擎模式】：小明,碩士,畢業,於,中國,科學,學院,科學院,中國科學院,計算,計算所,後,在,日本,京都,大學,日本京都大學,深造 （4）新增自定義詞典 載入詞典： 開發者可以指定自己自定義的詞典，以便包含jieba詞庫裡沒有的詞。

雖然jieba有新詞識別能力，但是自行新增新詞可以保證更高的正確率 用法：jieba.load_userdict(file_name)#file_name為檔案類物件或自定義詞典的路徑 詞典格式和dict.txt一樣，一個詞佔一行；每一行分三部分：詞語、詞頻（可省略）、詞性（可省略），用空格隔開，順序不可顛倒。

file_name若為路徑或二進位制方式開啟的檔案，則檔案必須為UTF-8編碼。

詞頻省略時使用自動計算的能保證分出該詞的詞頻。

例如： 創新辦3i 雲端計算5 凱特琳nz 臺中 更改分詞器（預設為jieba.dt）的tmp_dir和cache_file屬性，可分別指定快取檔案所在的資料夾及其檔名，用於受限的檔案系統。

範例： 自定義詞典：https://github.com/fxsjy/jieba/blob/master/test/userdict.txt 用法示例：https://github.com/fxsjy/jieba/blob/master/test/test_userdict.py 之前：李小福/是/創新/辦/主任/也/是/雲/計算/方面/的/專家/ 載入自定義詞庫後：李小福/是/創新辦/主任/也/是/雲端計算/方面/的/專家/ 自定義詞典： 雲端計算5 李小福2nr 創新辦3i easy_install3eng 好用300 韓玉賞鑑3nz 八一雙鹿3nz 臺中 凱特琳nz EduTrust認證2000 用法示例： #encoding=utf-8 from__future__importprint_function,unicode_literals importsys sys.path.append("../") importjieba jieba.load_userdict("userdict.txt") importjieba.possegaspseg jieba.add_word('石墨烯') jieba.add_word('凱特琳') jieba.del_word('自定義詞') test_sent=( "李小福是創新辦主任也是雲端計算方面的專家;什麼是八一雙鹿\n" "例如我輸入一個帶“韓玉賞鑑”的標題，在自定義詞庫中也增加了此詞為N類\n" "「臺中」正確應該不會被切開。

mac上可分出「石墨烯」；此時又可以分出來凱特琳了。

" ) words=jieba.cut(test_sent) print('/'.join(words)) print("="*40) result=pseg.cut(test_sent) forwinresult: print(w.word,"/",w.flag,",",end='') print("\n"+"="*40) terms=jieba.cut('easy_installisgreat') print('/'.join(terms)) terms=jieba.cut('python的正則表示式是好用的') print('/'.join(terms)) print("="*40) #testfrequencytune testlist=[ ('今天天氣不錯',('今天','天氣')), ('如果放到post中將出錯。

',('中','將')), ('我們中出了一個叛徒',('中','出')), ] forsent,segintestlist: print('/'.join(jieba.cut(sent,HMM=False))) word=''.join(seg) print('%sBefore:%s,After:%s'%(word,jieba.get_FREQ(word),jieba.suggest_freq(seg,True))) print('/'.join(jieba.cut(sent,HMM=False))) print("-"*40) 調整詞典： 使用add_word(word,freq=None,tag=None)和del_word(word)可在程式中動態修改詞典。

使用suggest_freq(segment,tune=True)可調節單個詞語的詞頻，使其能（或不能）被分出來。

注意：自動計算的詞頻在使用HMM新詞發現功能時可能無效。

程式碼示例： >>>print('/'.join(jieba.cut('如果放到post中將出錯。

',HMM=False))) 如果/放到/post/中將/出錯/。

>>>jieba.suggest_freq(('中','將'),True) 494 >>>print('/'.join(jieba.cut('如果放到post中將出錯。

',HMM=False))) 如果/放到/post/中/將/出錯/。

>>>print('/'.join(jieba.cut('「臺中」正確應該不會被切開',HMM=False))) 「/臺/中/」/正確/應該/不會/被/切開 >>>jieba.suggest_freq('臺中',True) 69 >>>print('/'.join(jieba.cut('「臺中」正確應該不會被切開',HMM=False))) 「/臺中/」/正確/應該/不會/被/切開 "通過使用者自定義詞典來增強歧義糾錯能力"---https://github.com/fxsjy/jieba/issues/14 （5） 關鍵詞提取 基於TF-IDF演算法的關鍵詞抽取：importjieba.analyse jieba.analyse.extract_tags(sentence,topK=20,withWeight=False,allowPOS=()) sentence為待提取的文字 topK為返回幾個TF/IDF權重最大的關鍵詞，預設值為20 withWeight為是否一併返回關鍵詞權重值，預設值為False allowPOS僅包括指定詞性的詞，預設值為空，即不篩選 jieba.analyse.TFIDF(idf_path=None)新建TFIDF例項，idf_path為IDF頻率檔案 程式碼示例（關鍵詞提取） https://github.com/fxsjy/jieba/blob/master/test/extract_tags.py importsys sys.path.append('../') importjieba importjieba.analyse fromoptparseimportOptionParser USAGE="usage:  pythonextract_tags.py[filename]-k[topk]" parser=OptionParser(USAGE) parser.add_option("-k",dest="topK") opt,args=parser.parse_args() iflen(args)<1: print(USAGE) sys.exit(1) file_name=args[0] ifopt.topKisNone: topK=10 else: topK=int(opt.topK) content=open(file_name,'rb').read() tags=jieba.analyse.extract_tags(content,topK=topK) print(",".join(tags)) 關鍵詞提取所使用逆向檔案頻率（IDF）文字語料庫可以切換成自定義語料庫的路徑 用法：jieba.analyse.set_idf_path(file_name)#file_name為自定義語料庫的路徑 自定義語料庫示例：https://github.com/fxsjy/jieba/blob/master/extra_dict/idf.txt.big 用法示例：https://github.com/fxsjy/jieba/blob/master/test/extract_tags_idfpath.py importsys sys.path.append('../') importjieba importjieba.analyse fromoptparseimportOptionParser USAGE="usage:  pythonextract_tags_idfpath.py[filename]-k[topk]" parser=OptionParser(USAGE) parser.add_option("-k",dest="topK") opt,args=parser.parse_args() iflen(args)<1: print(USAGE) sys.exit(1) file_name=args[0] ifopt.topKisNone: topK=10 else: topK=int(opt.topK) content=open(file_name,'rb').read() jieba.analyse.set_idf_path("../extra_dict/idf.txt.big"); tags=jieba.analyse.extract_tags(content,topK=topK) print(",".join(tags)) 關鍵詞提取所使用停止詞（StopWords）文字語料庫可以切換成自定義語料庫的路徑 用法：jieba.analyse.set_stop_words(file_name)#file_name為自定義語料庫的路徑 自定義語料庫示例：https://github.com/fxsjy/jieba/blob/master/extra_dict/stop_words.txt 用法示例：https://github.com/fxsjy/jieba/blob/master/test/extract_tags_stop_words.py importsys sys.path.append('../') importjieba importjieba.analyse fromoptparseimportOptionParser USAGE="usage:  pythonextract_tags_stop_words.py[filename]-k[topk]" parser=OptionParser(USAGE) parser.add_option("-k",dest="topK") opt,args=parser.parse_args() iflen(args)<1: print(USAGE) sys.exit(1) file_name=args[0] ifopt.topKisNone: topK=10 else: topK=int(opt.topK) content=open(file_name,'rb').read() jieba.analyse.set_stop_words("../extra_dict/stop_words.txt") jieba.analyse.set_idf_path("../extra_dict/idf.txt.big"); tags=jieba.analyse.extract_tags(content,topK=topK) print(",".join(tags)) 關鍵詞一併返回關鍵詞權重值示例 用法示例：https://github.com/fxsjy/jieba/blob/master/test/extract_tags_with_weight.py 基於TextRank演算法的關鍵詞抽取 jieba.analyse.textrank(sentence,topK=20,withWeight=False,allowPOS=('ns','n','vn','v'))直接使用，介面相同，注意預設過濾詞性。

jieba.analyse.TextRank()新建自定義TextRank例項 演算法論文：TextRank:BringingOrderintoTexts 基本思想: 將待抽取關鍵詞的文字進行分詞 以固定視窗大小(預設為5，通過span屬性調整)，詞之間的共現關係，構建圖 計算圖中節點的PageRank，注意是無向帶權圖 使用示例:見test/demo.py （6） 詞性標註 jieba.posseg.POSTokenizer(tokenizer=None)新建自定義分詞器，tokenizer引數可指定內部使用的jieba.Tokenizer分詞器。

jieba.posseg.dt為預設詞性標註分詞器。

標註句子分詞後每個詞的詞性，採用和ictclas相容的標記法。

用法示例 >>>importjieba.possegaspseg >>>words=pseg.cut("我愛北京天安門") >>>forword,flaginwords: ...  print('%s%s'%(word,flag)) ... 我r 愛v 北京ns 天安門ns （7） 並行分詞 原理 將目標文字按行分隔後，把各行文字分配到多個Python程序並行分詞，然後歸併結果，從而獲得分詞速度的可觀提升。

基於python自帶的multiprocessing模組，目前暫不支援Windows 用法 jieba.enable_parallel(4)#開啟並行分詞模式，引數為並行程序數 jieba.disable_parallel()#關閉並行分詞模式 例子：https://github.com/fxsjy/jieba/blob/master/test/parallel/test_file.py 實驗結果：在4核3.4GHzLinux機器上，對金庸全集進行精確分詞，獲得了1MB/s的速度，是單程序版的3.3倍。

注意：並行分詞僅支援預設分詞器jieba.dt和jieba.posseg.dt。

（8） Tokenize：返回詞語在原文的起止位置  注意，輸入引數只接受unicode 預設模式 result=jieba.tokenize(u'永和服裝飾品有限公司') fortkinresult: print("word%s\t\tstart:%d\t\tend:%d"%(tk[0],tk[1],tk[2])) word永和   start:0        end:2 word服裝   start:2        end:4 word飾品   start:4        end:6 word有限公司  start:6        end:10 搜尋模式 result=jieba.tokenize(u'永和服裝飾品有限公司',mode='search') fortkinresult: print("word%s\t\tstart:%d\t\tend:%d"%(tk[0],tk[1],tk[2])) word永和   start:0     end:2 word服裝   start:2     end:4 word飾品   start:4     end:6 word有限   start:6     end:8 word公司   start:8     end:10 word有限公司  start:6      end:10 （9） ChineseAnalyzerforWhoosh搜尋引擎 引用：fromjieba.analyseimportChineseAnalyzer 用法示例：https://github.com/fxsjy/jieba/blob/master/test/test_whoosh.py #-*-coding:UTF-8-*- from__future__importunicode_literals importsys,os sys.path.append("../") fromwhoosh.indeximportcreate_in,open_dir fromwhoosh.fieldsimport* fromwhoosh.qparserimportQueryParser fromjieba.analyseimportChineseAnalyzer analyzer=ChineseAnalyzer() schema=Schema(title=TEXT(stored=True),path=ID(stored=True),content=TEXT(stored=True,analyzer=analyzer)) ifnotos.path.exists("tmp"): os.mkdir("tmp") ix=create_in("tmp",schema)#forcreatenewindex #ix=open_dir("tmp")#forreadonly writer=ix.writer() writer.add_document( title="document1", path="/a", content="Thisisthefirstdocumentwe’veadded!" ) writer.add_document( title="document2", path="/b", content="Thesecondone你中文測試中文isevenmoreinteresting!吃水果" ) writer.add_document( title="document3", path="/c", content="買水果然後來世博園。

" ) writer.add_document( title="document4", path="/c", content="工信處女幹事每月經過下屬科室都要親**代24**換機等技術性器件的安裝工作" ) writer.add_document( title="document4", path="/c", content="咱倆交換一下吧。

" ) writer.commit() searcher=ix.searcher() parser=QueryParser("content",schema=ix.schema) forkeywordin("水果世博園","你","first","中文","交換機","交換"): print("resultof",keyword) q=parser.parse(keyword) results=searcher.search(q) forhitinresults: print(hit.highlights("content")) print("="*10) fortinanalyzer("我的好朋友是李明;我愛北京天安門;IBM和Microsoft;Ihaveadream.thisisintetestingandinterestedmealot"): print(t.text) （10） 命令列分詞 使用示例：python-mjiebanews.txt>cut_result.txt 命令列選項（翻譯） 使用:python-mjieba[options]filename結巴命令列介面。

固定引數:filename輸入檔案可選引數:-h,--help顯示此幫助資訊並退出-d[DELIM],--delimiter[DELIM]使用DELIM分隔詞語，而不是用預設的'/'。

若不指定DELIM，則使用一個空格分隔。

-p[DELIM],--pos[DELIM]啟用詞性標註；如果指定DELIM，詞語和詞性之間用它分隔，否則用_分隔-DDICT,--dictDICT使用DICT代替預設詞典-uUSER_DICT,--user-dictUSER_DICT使用USER_DICT作為附加詞典，與預設詞典或自定義詞典配合使用-a,--cut-all全模式分詞（不支援詞性標註）-n,--no-hmm不使用隱含馬爾可夫模型-q,--quiet不輸出載入資訊到STDERR-V,--version顯示版本資訊並退出如果沒有指定檔名，則使用標準輸入。

--help選項輸出 $>python-mjieba--helpJiebacommandlineinterface.positionalarguments:filenameinputfileoptionalarguments:-h,--helpshowthishelpmessageandexit-d[DELIM],--delimiter[DELIM]useDELIMinsteadof'/'forworddelimiter;oraspaceifitisusedwithoutDELIM-p[DELIM],--pos[DELIM]enablePOStagging;ifDELIMisspecified,useDELIMinsteadof'_'forPOSdelimiter-DDICT,--dictDICTuseDICTasdictionary-uUSER_DICT,--user-dictUSER_DICTuseUSER_DICTtogetherwiththedefaultdictionaryorDICT(ifspecified)-a,--cut-allfullpatterncutting(ignoredwithPOStagging)-n,--no-hmmdon'tusetheHiddenMarkovModel-q,--quietdon'tprintloadingmessagestostderr-V,--versionshowprogram'sversionnumberandexitIfnofilenamespecified,useSTDINinstead. 延遲載入機制 jieba採用延遲載入，importjieba和jieba.Tokenizer()不會立即觸發詞典的載入，一旦有必要才開始載入詞典構建字首字典。

如果你想手工初始jieba，也可以手動初始化。

importjiebajieba.initialize()#手動初始化（可選） 在0.28之前的版本是不能指定主詞典的路徑的，有了延遲載入機制後，你可以改變主詞典的路徑: jieba.set_dictionary('data/dict.txt.big') 例子：https://github.com/fxsjy/jieba/blob/master/test/test_change_dictpath.py 其他詞典 佔用記憶體較小的詞典檔案https://github.com/fxsjy/jieba/raw/master/extra_dict/dict.txt.small 支援繁體分詞更好的詞典檔案https://github.com/fxsjy/jieba/raw/master/extra_dict/dict.txt.big 下載你所需要的詞典，然後覆蓋jieba/dict.txt即可；或者用jieba.set_dictionary('data/dict.txt.big') 2 其他語言的結巴分詞實現 (1)結巴分詞Java版本 作者：piaolingxue地址：https://github.com/huaban/jieba-analysis (2)結巴分詞C++版本 作者：yanyiwu地址：https://github.com/yanyiwu/cppjieba (3)結巴分詞Node.js版本 作者：yanyiwu地址：https://github.com/yanyiwu/nodejieba (4)結巴分詞Erlang版本 作者：falood地址：https://github.com/falood/exjieba (5)結巴分詞R版本 作者：qinwf地址：https://github.com/qinwf/jiebaR (6)結巴分詞iOS版本 作者：yanyiwu地址：https://github.com/yanyiwu/iosjieba (7)結巴分詞PHP版本 作者：fukuball地址：https://github.com/fukuball/jieba-php (8)結巴分詞.NET(C#)版本 作者：anderscui地址：https://github.com/anderscui/jieba.NET/ (9)結巴分詞Go版本 作者:wangbin地址:https://github.com/wangbin/jiebago 作者:yanyiwu地址:https://github.com/yanyiwu/gojieba 3 系統整合 Solr: https://github.com/sing1ee/jieba-solr 分詞速度 1.5MB/SecondinFullMode 400KB/SecondinDefaultMode 測試環境:Intel(R)Core(TM)[email protected]；《圍城》.txt 4 常見問題 (1)模型的資料是如何生成的？ 詳見：https://github.com/fxsjy/jieba/issues/7 (2)“臺中”總是被切成“臺中”？（以及類似情況） P(臺中)＜P(臺)×P(中)，“臺中”詞頻不夠導致其成詞概率較低 解決方法：強制調高詞頻 jieba.add_word('臺中')或者jieba.suggest_freq('臺中',True) (3)“今天天氣不錯”應該被切成“今天天氣不錯”？（以及類似情況） 解決方法：強制調低詞頻 jieba.suggest_freq(('今天','天氣'),True) 或者直接刪除該詞jieba.del_word('今天天氣') (4) 切出了詞典中沒有的詞語，效果不理想？ 解決方法：關閉新詞發現 jieba.cut('豐田太省了',HMM=False)jieba.cut('我們中出了一個叛徒',HMM=False) 更多問題請點選：https://github.com/fxsjy/jieba/issues?sort=updated&state=closed 修訂歷史https://github.com/fxsjy/jieba/blob/master/Changelog 5 參考文獻 中文分詞之HMM模型詳解 HMM相關文章 結巴分詞GitHub原始碼 作者：白寧超，工學碩士，現工作於四川省計算機研究院，研究方向是自然語言處理和機器學習。

曾參與國家自然基金專案和四川省科技支撐計劃等多個省級專案。

著有《自然語言處理理論與實戰》一書。

作者部落格官網： https://bainingchao.github.io/ 作者公眾號，歡迎關注： 機器學習和自然語言處理 公眾號ID：datathinks 「其他文章」 基於NLP的6大打工人擇業靈魂問題及應答彙總 我有文章了，但也不想搞學術了 大廠“畢業季”，講一講研究所 北京可以選擇哪些國企、央企以及研究所 程序員延壽指南 克里斯多夫·曼寧-人類語言理解與推理 日久見人心：論建模使用者長期興趣的幾種姿勢 Google十年 入行時間序列預測必讀的4篇論文(附程式碼) 入門nlp必讀的10篇baseline論文 知識圖譜：從理論到實踐 這千層transformer讓我目瞪口呆 關於大模型的發展趨勢，我突然有個細思極恐的腦洞 KaggleGrandMaster抱團作弊？ 名校碩士苦攻5年AI無論文痛苦吐槽，導師放養怎麼辦？ 在外企工作爽嗎？ 後Prompt時代｜NLP統一正規化：預訓練大規模多工學習 虎年春節，擼了一個文言文白話文轉換器 SimCLUE：大規模中文語義理解資料集 初入NLP領域的一些小建議 「中文分詞」 ElasticSearch7.3學習(二十二)----Text欄位排序、Scroll分批查詢場景解析 架構治理調研：規則、表示式還有語言 SpringBootElasticsearch7.6實現簡單查詢及高亮分詞查詢 Elasticsearch基礎入門詳文 『開發技術』Python中文分詞工具SnowNLP教程 【搜尋系列】ES查詢常用例項演示 乾貨|Elasticsearch檢索型別選型指南 ElasticSearch設定某個欄位不分詞 十行Python程式碼能做出哪些酷炫的事情？ elasticsearch高亮之highlight原理