python 結巴分詞(jieba)詳解 - 程式人生

文章推薦指數: 80 %
投票人數:10人

“結巴”中文分詞:做最好的Python 中文分片語件 ... Chinese text segmentation: built to be the best Python Chinese word segmentation module. 程式人生>>python結巴分詞(jieba)詳解 python結巴分詞(jieba)詳解 阿新••發佈:2018-11-14 【轉自:https://www.cnblogs.com/jackchen-Net/p/8207009.html】 “結巴”中文分詞:做最好的Python中文分片語件 "Jieba"(Chinesefor"tostutter")Chinesetextsegmentation:builttobethebestPythonChinesewordsegmentationmodule. ScrolldownforEnglishdocumentation. 特點 支援三種分詞模式: 精確模式,試圖將句子最精確地切開,適合文字分析; 全模式,把句子中所有的可以成詞的詞語都掃描出來,速度非常快,但是不能解決歧義; 搜尋引擎模式,在精確模式的基礎上,對長詞再次切分,提高召回率,適合用於搜尋引擎分詞。

支援繁體分詞 支援自定義詞典 MIT授權協議   安裝說明 程式碼對Python2/3均相容 全自動安裝:easy_installjieba 或者 pipinstalljieba / pip3installjieba 半自動安裝:先下載 http://pypi.python.org/pypi/jieba/ ,解壓後執行 pythonsetup.pyinstall 手動安裝:將jieba目錄放置於當前目錄或者site-packages目錄 通過 importjieba 來引用 演算法 基於字首詞典實現高效的詞圖掃描,生成句子中漢字所有可能成詞情況所構成的有向無環圖(DAG) 採用了動態規劃查詢最大概率路徑,找出基於詞頻的最大切分組合 對於未登入詞,採用了基於漢字成詞能力的HMM模型,使用了Viterbi演算法 主要功能 1.分詞 jieba.cut 方法接受三個輸入引數:需要分詞的字串;cut_all引數用來控制是否採用全模式;HMM引數用來控制是否使用HMM模型 jieba.cut_for_search 方法接受兩個引數:需要分詞的字串;是否使用HMM模型。

該方法適合用於搜尋引擎構建倒排索引的分詞,粒度比較細 待分詞的字串可以是unicode或UTF-8字串、GBK字串。

注意:不建議直接輸入GBK字串,可能無法預料地錯誤解碼成UTF-8 jieba.cut 以及 jieba.cut_for_search 返回的結構都是一個可迭代的generator,可以使用for迴圈來獲得分詞後得到的每一個詞語(unicode),或者用 jieba.lcut 以及 jieba.lcut_for_search 直接返回list jieba.Tokenizer(dictionary=DEFAULT_DICT) 新建自定義分詞器,可用於同時使用不同詞典。

jieba.dt 為預設分詞器,所有全域性分詞相關函式都是該分詞器的對映。

程式碼示例 #encoding=utf-8 importjieba seg_list=jieba.cut("我來到北京清華大學",cut_all=True) print("FullMode:"+"/".join(seg_list))#全模式 seg_list=jieba.cut("我來到北京清華大學",cut_all=False) print("DefaultMode:"+"/".join(seg_list))#精確模式 seg_list=jieba.cut("他來到了網易杭研大廈")#預設是精確模式 print(",".join(seg_list)) seg_list=jieba.cut_for_search("小明碩士畢業於中國科學院計算所,後在日本京都大學深造")#搜尋引擎模式 print(",".join(seg_list)) 輸出: 【全模式】:我/來到/北京/清華/清華大學/華大/大學 【精確模式】:我/來到/北京/清華大學 【新詞識別】:他,來到,了,網易,杭研,大廈(此處,“杭研”並沒有在詞典中,但是也被Viterbi演算法識別出來了) 【搜尋引擎模式】:小明,碩士,畢業,於,中國,科學,學院,科學院,中國科學院,計算,計算所,後,在,日本,京都,大學,日本京都大學,深造 2.新增自定義詞典 回到導航 載入詞典 開發者可以指定自己自定義的詞典,以便包含jieba詞庫裡沒有的詞。

雖然jieba有新詞識別能力,但是自行新增新詞可以保證更高的正確率 用法:jieba.load_userdict(file_name)#file_name為檔案類物件或自定義詞典的路徑 詞典格式和 dict.txt 一樣,一個詞佔一行;每一行分三部分:詞語、詞頻(可省略)、詞性(可省略),用空格隔開,順序不可顛倒。

file_name 若為路徑或二進位制方式開啟的檔案,則檔案必須為UTF-8編碼。

詞頻省略時使用自動計算的能保證分出該詞的詞頻。

例如: 創新辦3i 雲端計算5 凱特琳nz 臺中 更改分詞器(預設為 jieba.dt)的 tmp_dir 和 cache_file 屬性,可分別指定快取檔案所在的資料夾及其檔名,用於受限的檔案系統。

範例: 自定義詞典:https://github.com/fxsjy/jieba/blob/master/test/userdict.txt 用法示例:https://github.com/fxsjy/jieba/blob/master/test/test_userdict.py 之前:李小福/是/創新/辦/主任/也/是/雲/計算/方面/的/專家/ 載入自定義詞庫後: 李小福/是/創新辦/主任/也/是/雲端計算/方面/的/專家/ 回到導航 調整詞典 使用 add_word(word,freq=None,tag=None) 和 del_word(word) 可在程式中動態修改詞典。

使用 suggest_freq(segment,tune=True) 可調節單個詞語的詞頻,使其能(或不能)被分出來。

注意:自動計算的詞頻在使用HMM新詞發現功能時可能無效。

程式碼示例: >>>print('/'.join(jieba.cut('如果放到post中將出錯。

',HMM=False))) 如果/放到/post/中將/出錯/。

>>>jieba.suggest_freq(('中','將'),True) 494 >>>print('/'.join(jieba.cut('如果放到post中將出錯。

',HMM=False))) 如果/放到/post/中/將/出錯/。

>>>print('/'.join(jieba.cut('「臺中」正確應該不會被切開',HMM=False))) 「/臺/中/」/正確/應該/不會/被/切開 >>>jieba.suggest_freq('臺中',True) 69 >>>print('/'.join(jieba.cut('「臺中」正確應該不會被切開',HMM=False))) 「/臺中/」/正確/應該/不會/被/切開 "通過使用者自定義詞典來增強歧義糾錯能力"--- https://github.com/fxsjy/jieba/issues/14 3.關鍵詞提取 回到導航 基於TF-IDF演算法的關鍵詞抽取 importjieba.analyse jieba.analyse.extract_tags(sentence,topK=20,withWeight=False,allowPOS=()) sentence為待提取的文字 topK為返回幾個TF/IDF權重最大的關鍵詞,預設值為20 withWeight為是否一併返回關鍵詞權重值,預設值為False allowPOS僅包括指定詞性的詞,預設值為空,即不篩選 jieba.analyse.TFIDF(idf_path=None)新建TFIDF例項,idf_path為IDF頻率檔案 程式碼示例(關鍵詞提取) https://github.com/fxsjy/jieba/blob/master/test/extract_tags.py 關鍵詞提取所使用逆向檔案頻率(IDF)文字語料庫可以切換成自定義語料庫的路徑 用法:jieba.analyse.set_idf_path(file_name)#file_name為自定義語料庫的路徑 自定義語料庫示例:https://github.com/fxsjy/jieba/blob/master/extra_dict/idf.txt.big 用法示例:https://github.com/fxsjy/jieba/blob/master/test/extract_tags_idfpath.py 關鍵詞提取所使用停止詞(StopWords)文字語料庫可以切換成自定義語料庫的路徑 用法:jieba.analyse.set_stop_words(file_name)#file_name為自定義語料庫的路徑 自定義語料庫示例:https://github.com/fxsjy/jieba/blob/master/extra_dict/stop_words.txt 用法示例:https://github.com/fxsjy/jieba/blob/master/test/extract_tags_stop_words.py 關鍵詞一併返回關鍵詞權重值示例 用法示例:https://github.com/fxsjy/jieba/blob/master/test/extract_tags_with_weight.py 回到導航 基於TextRank演算法的關鍵詞抽取 jieba.analyse.textrank(sentence,topK=20,withWeight=False,allowPOS=('ns','n','vn','v'))直接使用,介面相同,注意預設過濾詞性。

jieba.analyse.TextRank()新建自定義TextRank例項 演算法論文: TextRank:BringingOrderintoTexts 基本思想: 將待抽取關鍵詞的文字進行分詞 以固定視窗大小(預設為5,通過span屬性調整),詞之間的共現關係,構建圖 計算圖中節點的PageRank,注意是無向帶權圖 使用示例: 見 test/demo.py 4.詞性標註 jieba.posseg.POSTokenizer(tokenizer=None) 新建自定義分詞器,tokenizer 引數可指定內部使用的 jieba.Tokenizer 分詞器。

jieba.posseg.dt 為預設詞性標註分詞器。

標註句子分詞後每個詞的詞性,採用和ictclas相容的標記法。

用法示例 >>>importjieba.possegaspseg >>>words=pseg.cut("我愛北京天安門") >>>forword,flaginwords: ...print('%s%s'%(word,flag)) ... 我r 愛v 北京ns 天安門ns 5.並行分詞 原理:將目標文字按行分隔後,把各行文字分配到多個Python程序並行分詞,然後歸併結果,從而獲得分詞速度的可觀提升 基於python自帶的multiprocessing模組,目前暫不支援Windows 用法: jieba.enable_parallel(4) #開啟並行分詞模式,引數為並行程序數 jieba.disable_parallel() #關閉並行分詞模式 例子:https://github.com/fxsjy/jieba/blob/master/test/parallel/test_file.py 實驗結果:在4核3.4GHzLinux機器上,對金庸全集進行精確分詞,獲得了1MB/s的速度,是單程序版的3.3倍。

注意:並行分詞僅支援預設分詞器 jieba.dt 和 jieba.posseg.dt。

6.Tokenize:返回詞語在原文的起止位置 注意,輸入引數只接受unicode 預設模式 result=jieba.tokenize(u'永和服裝飾品有限公司') fortkinresult: print("word%s\t\tstart:%d\t\tend:%d"%(tk[0],tk[1],tk[2])) word永和start:0end:2 word服裝start:2end:4 word飾品start:4end:6 word有限公司start:6end:10 搜尋模式 result=jieba.tokenize(u'永和服裝飾品有限公司',mode='search') fortkinresult: print("word%s\t\tstart:%d\t\tend:%d"%(tk[0],tk[1],tk[2])) word永和start:0end:2 word服裝start:2end:4 word飾品start:4end:6 word有限start:6end:8 word公司start:8end:10 word有限公司start:6end:10 7.ChineseAnalyzerforWhoosh搜尋引擎 引用: fromjieba.analyseimportChineseAnalyzer 用法示例:https://github.com/fxsjy/jieba/blob/master/test/test_whoosh.py 8.命令列分詞 使用示例:python-mjiebanews.txt>cut_result.txt 命令列選項(翻譯): 使用:python-mjieba[options]filename 結巴命令列介面。

固定引數: filename輸入檔案 可選引數: -h,--help顯示此幫助資訊並退出 -d[DELIM],--delimiter[DELIM] 使用DELIM分隔詞語,而不是用預設的'/'。

若不指定DELIM,則使用一個空格分隔。

-p[DELIM],--pos[DELIM] 啟用詞性標註;如果指定DELIM,詞語和詞性之間 用它分隔,否則用_分隔 -DDICT,--dictDICT使用DICT代替預設詞典 -uUSER_DICT,--user-dictUSER_DICT 使用USER_DICT作為附加詞典,與預設詞典或自定義詞典配合使用 -a,--cut-all全模式分詞(不支援詞性標註) -n,--no-hmm不使用隱含馬爾可夫模型 -q,--quiet不輸出載入資訊到STDERR -V,--version顯示版本資訊並退出 如果沒有指定檔名,則使用標準輸入。

--help 選項輸出: $>python-mjieba--help Jiebacommandlineinterface. positionalarguments: filenameinputfile optionalarguments: -h,--helpshowthishelpmessageandexit -d[DELIM],--delimiter[DELIM] useDELIMinsteadof'/'forworddelimiter;ora spaceifitisusedwithoutDELIM -p[DELIM],--pos[DELIM] enablePOStagging;ifDELIMisspecified,useDELIM insteadof'_'forPOSdelimiter -DDICT,--dictDICTuseDICTasdictionary -uUSER_DICT,--user-dictUSER_DICT useUSER_DICTtogetherwiththedefaultdictionaryor DICT(ifspecified) -a,--cut-allfullpatterncutting(ignoredwithPOStagging) -n,--no-hmmdon'tusetheHiddenMarkovModel -q,--quietdon'tprintloadingmessagestostderr -V,--versionshowprogram'sversionnumberandexit Ifnofilenamespecified,useSTDINinstead. 延遲載入機制 jieba採用延遲載入,importjieba 和 jieba.Tokenizer() 不會立即觸發詞典的載入,一旦有必要才開始載入詞典構建字首字典。

如果你想手工初始jieba,也可以手動初始化。

importjieba jieba.initialize()#手動初始化(可選) 在0.28之前的版本是不能指定主詞典的路徑的,有了延遲載入機制後,你可以改變主詞典的路徑: jieba.set_dictionary('data/dict.txt.big') 例子: https://github.com/fxsjy/jieba/blob/master/test/test_change_dictpath.py 原始碼:    原始碼下載的地址:https://github.com/fxsjy/jieba 演示地址:http://jiebademo.ap01.aws.af.cm/ 隱馬爾科夫模型(HiddenMarkovModel,HMM) «上一篇 textarea實現輸入賬號回車新增;刪除時選中整個賬號的效果下一篇» 相關推薦 python結巴分詞(jieba)詳解 【轉自:https://www.cnblogs.com/jackchen-Net/p/8207009.html】 “結巴”中文分詞:做最好的Py... python結巴分詞(jieba)學習 原始碼下載的地址:https://github.com/fxsjy/jieba 演示地址:http://jiebadem... 使用結巴分詞(jieba)對自然語言進行特徵預處理(Python、Java實現) 一、前言 之前使用基於Python語言的Spa... python中文分詞工具:結巴分詞jieba 結巴分詞jieba特點   支援三種分詞模式:       精確模式,試圖將句子最精確地切開,適合文字分析;       ... python—結巴分詞的原理理解,Hmm中的轉移概率矩陣和混淆矩陣。

結巴分詞的準備工作 開發者首先根據大量的人民日... Python結巴分詞關鍵詞抽取分析 等於範圍分類問題urnpostbre依然信息檢索有意 關鍵詞抽取就是從文本裏面把跟這篇文檔意義最相關的一些... python結巴分詞學習 結巴分詞(自然語言處理之中文分詞器)   jieba分詞演算法使用了基於字首詞典實現高效的詞圖掃描,生成句子中漢字所有可能生成詞情況所構成的有向無... Python---結巴分詞介紹 結巴分詞介紹 現在開源的中文分詞工具,有IK、MMseg4j、THULAC、Ansj、Jieba、HanLP等,其中最近還在更新並維護的,也是目前分詞效果比較... python結巴分詞器的使用說明 特點 1,支援三種分詞模式:    a,精確模式,試圖將句子最精確地切開,適合文字分析;     b,全模式,把句... pythonjieba分詞(結巴分詞)、提取詞,載入詞,修改詞頻,定義詞庫 轉載請註明出處 歡迎加入Python快速進階QQ群:867300100 “結巴”中文分詞:做最好的Pytho... 搜尋 基礎教學 Mysql入門 Sql入門 Android入門 Docker入門 Go語言入門 Ruby程式入門 Python入門 Python進階 Django入門 Python爬蟲入門 最近訪問 python+結巴分詞(jieba)詳解 java實現排列組合實現 異步IO實戰之四:異步IO的單個處理和批量處理 在高德地圖使用:+amap+is+not+defined Java——實現氣泡排序,選擇排序,快速排序和二分查詢 筆記—《程序員自我修養》 機器學習之線性迴歸(機器學習基石) CentOS分析解決docker.service:+Unit+not+found問題 團隊績效 CStringArray



請為這篇文章評分?