python jieba分詞(結巴分詞)、提取詞，載入詞，修改詞頻

轉載請註明出處"結巴"中文分詞：做最好的Python 中文分片語件,分詞模組jieba，它是python比較好用的分詞模組, 支援中文簡體，繁體分詞，還支援自定義 ... 程式語言前端開發IOS開發Android開發雲端運算人工智慧伺服器搜尋資料庫軟體開發工具pythonjieba分詞(結巴分詞)、提取詞，載入詞，修改詞頻，定義詞庫2018.06.03程式語言HOME程式語言pythonjieba分詞(結巴分詞)、提取詞，載入詞，修改詞頻，定義詞庫Advertisement轉載請註明出處“結巴”中文分詞：做最好的Python中文分片語件,分詞模組jieba，它是python比較好用的分詞模組,支援中文簡體，繁體分詞，還支援自定義詞庫。

jieba的分詞，提取關鍵詞，自定義詞語。

結巴分詞的原理這裡寫連結內容目錄1.一、基於結巴分詞進行分詞與關鍵詞提取1.1.1、jieba.cut分詞三種模式1.2.2、關鍵詞提取、關鍵詞提取**1.3.3、加自定義詞與載入自定義詞庫**1.3.1.新增自定義詞1.3.2.載入自定義詞庫1.4.4、基於TF-IDF演算法的關鍵詞抽取1.5.5、基於TextRank演算法的關鍵詞提取2.二、常用NLP擴充知識點(python2.7)2.1.Part1.詞頻統計、降序排序2.2.Part2.人工去停用詞2.3.Part3.合併同義詞2.4.Part4.詞語提及率2.5.Part5.按詞性提取一、基於結巴分詞進行分詞與關鍵詞提取1、jieba.cut分詞三種模式jieba.cut方法接受三個輸入引數:需要分詞的字串；cut_all引數用來控制是否採用全模式；HMM引數用來控制是否使用HMM模型jieba.cut_for_search方法接受兩個引數：需要分詞的字串；是否使用HMM模型。

該方法適合用於搜尋引擎構建倒排索引的分詞，粒度比較細待分詞的字串可以是unicode或UTF-8字串、GBK字串。

注意：不建議直接輸入GBK字串，可能無法預料地錯誤解碼成UTF-8jieba.cut以及jieba.cut_for_search返回的結構都是一個可迭代的generator，可以使用for迴圈來獲得分詞後得到的每一個詞語(unicode)，或者用jieba.lcut以及jieba.lcut_for_search直接返回listjieba.Tokenizer(dictionary=DEFAULT_DICT)新建自定義分詞器，可用於同時使用不同詞典。

jieba.dt為預設分詞器，所有全域性分詞相關函式都是該分詞器的對映。

#coding=utf-8 importjieba,math importjieba.analyse ''' jieba.cut主要有三種模式 #隨便對一個動物園的評論進行分析 str_text="真是好久好久沒來哈皮娜拉野生動物園了，記憶裡還是小時候三四年級學校組織春遊去的銀河系" #全模式cut_all=True str_quan1=jieba.cut(str_text,cut_all=True) print('全模式分詞：{%d}'%len(list(str_quan1))) str_quan2=jieba.cut(str_text,cut_all=True) print("/".join(str_quan2)) #print(str(str_1))#為一個generator用for迴圈可以得到分詞的結果 #str_1_len=len(list(str_1))#為什麼？這裡執行後後面.join就不執行，求告知 #精準模式cut_all=False，預設即是 str_jing1=jieba.cut(str_text,cut_all=False) print('精準模式分詞：{%d}'%len(list(str_jing1))) str_jing2=jieba.cut(str_text,cut_all=False) print("/".join(str_jing2)) #搜尋引擎模式cut_for_search str_soso1=jieba.cut_for_search(str_text) print('搜尋引擎分詞：{%d}'%len(list(str_soso1))) str_soso2=jieba.cut_for_search(str_text) print("/".join(str_soso))結果全模式分詞：{32}Prefixdicthasbeenbuiltsuccesfully.真是/TMD/好久/好久好久/好久/好久沒/沒來/哈/皮/娜拉/野生/野生動物/生動/動物/動物園/了///記憶/記憶裡/還是/小時/小時候/時候/學校/組織/春遊/游去/的/銀河/銀河系/河系精準模式分詞：{19}真是/TMD/好久好久/沒來/哈皮/娜拉/野生/動物園/了/，/記憶裡/還是/小時候/學校/組織/春遊/去/的/銀河系搜尋引擎分詞：{27}真是/TMD/好久/好久/好久好久/沒來/哈皮/娜拉/野生/動物/動物園/了/，/記憶/記憶裡/還是/小時/時候/小時候/學校/組織/春遊/去/的/銀河/河系/銀河系、2、關鍵詞提取、關鍵詞提取**importjieba.analyse ’analyse.extract.tags‘ ''' keywords1=jieba.analyse.extract_tags(str_text) print('關鍵詞提取'"/".join(keywords1)) keywords_top=jieba.analyse.extract_tags(str_text,topK=3) print('關鍵詞topk'"/".join(keywords_to#有時不確定提取多少關鍵詞，可利用總詞的百分比 print('總詞數{}'.format(len(list(jieba.cut(str_text))))) total=len(list(jieba.cut(str_text))) get_cnt=math.ceil(total*0.1)#向上取整 print('從%d中取出%d個詞'%(total,get_cnt)) keywords_top1=jieba.analyse.extract_tags(str_text,topK=get_cnt) print('關鍵詞topk'"/".join(keywords_top1))''結果：**關鍵詞提取**TMD/哈皮/春遊/好久好久/記憶裡/娜拉/銀河系/沒來/動物園/小時候/野生/學校/真是/組織/還是**關鍵詞topk**TMD/哈皮/春遊總詞數19從19中取出2個詞topkTMD/哈皮、3、加自定義詞與載入自定義詞庫**新增自定義詞================#處理時，jieba.add_word #add_word(word,freq=None,tag=None)和del_word可在程式中動態修改詞典 #suggest_freq(segment,tune=Ture)可調節單詞詞頻，時期能或不能顯示 #注：自動計算的詞頻在使用HMM新詞發現功能時可能無效 #''' #str_jing2=jieba.cut(str_text,cut_all=False) #print('add_word前:'"/".join(str_jing2)) ##新增自定義詞 #jieba.add_word('哈皮娜拉') #str_jing3=jieba.cut(str_text,cut_all=False) #print('add_word後:'"/".join(str_jing3)) ##修正詞頻 #jieba.suggest_freq('野生動物園',tune=True) #str_jing4=jieba.cut(str_text,cut_all=False) #print('suggest_freq後:'"/".join(str_jing4)) #結果：add_word前:真是/TMD/好久好久/沒來/哈皮/娜拉/野生/動物園/了/，/記憶裡/還是/小時候/學校/組織/春遊/去/的/銀河系add_word後:真是/TMD/好久好久/沒/來/哈皮娜拉/野生/動物園/了/，/記憶裡/還是/小時候/學校/組織/春遊/去/的/銀河系suggest_freq後:真是/TMD/好久好久/沒/來/哈皮娜拉/野生動物園/了/，/記憶裡/還是/小時候/學校/組織/春遊/去/的/銀河系載入自定義詞庫jieba.load_userdict(filename)#filename為檔案路徑 詞典格式和dict.txt一樣，一詞一行，每行分三個部分（用空格隔開），詞語詞頻（可省）詞性（可省） 順序不可顛倒，若filename為路徑或二進位制方式開啟，則需為UTF-8 ''' #定義：三四年級在檔案內 jieba.load_userdict('C:\\Users\\lenovo\\Desktop\\自定義詞庫.txt') str_load=jieba.cut(str_text,cut_all=False) print('load_userdict後:'"/".join(str_load)) ''' 注jieba.load_userdict載入自定義詞庫和jieba初始化詞庫一同使用， 但是，預設的初始詞庫放在安裝目錄ixia，如果確定長期載入詞庫，就替換他 使用詞庫的切換功能set_dictionary() 可將jieba預設詞庫copy到自己的目錄下，在新增，或者找到更全的詞庫 ''' #一般在python都為site-packages\jieba\dict.txt #模擬演示 jieba.set_dictionary('filename') #之後進行分詞，如果我們切換了詞庫，此時程式就會初始化 我們制定的詞庫，而不載入預設路徑詞庫使用：-安裝或者將jieba目錄放在當前目錄或者site-packages目錄演算法：-基於字首詞典實現高效的詞圖掃描，生成句子中漢字所有可能成詞情況所構成的有向無環圖（DAG）-採用動態規劃查詢最大概率路徑，找出基於詞頻的最大切分組合-對於未登入詞，採用了基於漢字成詞能力的HMM模型，使用了Viterbi演算法新增自定義詞典-開發者可以指定自己自定義的詞典，以便包含jieba詞庫裡沒有的詞。

雖然jieba有新詞識別能力，但是自行新增新詞可以保證更高的正確率-用法：jieba.load_userdict(file_name)#file_name為檔案類物件或自定義詞典的路徑-詞典格式：一個詞一行:詞語，詞頻（可省略），詞性（可省略），用空格隔開，順序不可顛倒。

UTF-8編碼。

關鍵詞提取：4、基於TF-IDF演算法的關鍵詞抽取importjieba.analysejieba.analyse.extract_tags(sentence,topK=20,withWeight=False,allowPOS=()) –sentence為待提取的文字 –topK為返回幾個TF/IDF權重最大的關鍵詞，預設值為20 –withWeight為是否一併返回關鍵詞權重值，預設值為False –allowPOS僅包括指定詞性的詞，預設值為空，即不篩選 jieba.analyse.TFIDF(idf_path=None)新建TFIDF例項，idf_path為IDF頻率檔案 關鍵詞提取所使用逆向檔案頻率（IDF）文字語料庫可以切換成自定義語料庫的路徑用法:jieba.analyse.set_idf_path(file_name)#file_name為自定義語料庫的路徑 關鍵詞提取所使用停止詞（StopWords）文字語料庫可以切換成自定義語料庫的路徑用法：jieba.analyse.set_stop_words(file_name)#file_name為自定義語料庫的路徑 5、基於TextRank演算法的關鍵詞提取jieba.analyse.textrank(sentence,topK=20,withWeight=False,allowPOS=(‘ns’,‘n’,‘vn’,‘v’))直接使用，介面相同，注意預設過濾詞性。

jieba.analyse.TextRank()新建自定義TextRank例項 –基本思想： 1，將待抽取關鍵詞的文字進行分詞 2，以固定視窗大小(預設為5，通過span屬性調整)，詞之間的共現關係，構建圖 3，計算圖中節點的PageRank，注意是無向帶權圖 對於itemgetter()用法參照連線二、常用NLP擴充知識點(python2.7)Part1.詞頻統計、降序排序article=open("C:\\Users\\LuoChen\\Desktop\\demo_long.txt","r").read() words=jieba.cut(article,cut_all=False) word_freq={} forwordinwords: ifwordinword_freq: word_freq[word]=1 else: word_freq[word]=1 freq_word=[] forword,freqinword_freq.items(): freq_word.append((word,freq)) freq_word.sort(key=lambdax:x[1],reverse=True) max_number=int(raw_input(u"需要前多少位高頻詞？")) forword,freqinfreq_word[:max_number]: printword,freqPart2.人工去停用詞標點符號、虛詞、連詞不在統計範圍內。

stopwords=[] forwordinopen("C:\\Users\\LuoChen\\Desktop\\stop_words.txt","r"): stopwords.append(word.strip()) article=open("C:\\Users\\LuoChen\\Desktop\\demo_long.txt","r").read() words=jieba.cut(article,cut_all=False) stayed_line="" forwordinwords: ifword.encode("utf-8")notinstopwords: stayed_line=word"" printstayed_linePart3.合併同義詞將同義詞列舉出來，按下Tab鍵分隔，把第一個詞作為需要顯示的詞語，後面的詞語作為要替代的同義詞，一系列同義詞放在一行。

這裡，“北京”、“首都”、“京城”、“北平城”、“故都”為同義詞。

combine_dict={} forlineinopen("C:\\Users\\LuoChen\\Desktop\\tongyici.txt","r"): seperate_word=line.strip().split("\t") num=len(seperate_word) foriinrange(1,num): combine_dict[seperate_word[i]]=seperate_word[0] jieba.suggest_freq("北平城",tune=True) seg_list=jieba.cut("北京是中國的首都，京城的景色非常優美，就像當年的北平城，我愛這故都的一草一木。

",cut_all=False) f=",".join(seg_list) result=open("C:\\Users\\LuoChen\\Desktop\\output.txt","w") result.write(f.encode("utf-8")) result.close() forlineinopen("C:\\Users\\LuoChen\\Desktop\\output.txt","r"): line_1=line.split(",") final_sentence="" forwordinline_1: ifwordincombine_dict: word=combine_dict[word] final_sentence=word else: final_sentence=word printfinal_sentencePart4.詞語提及率主要步驟：分詞——過濾停用詞（略）——替代同義詞——計算詞語在文字中出現的概率。

origin=open("C:\\Users\\LuoChen\\Desktop\\tijilv.txt","r").read() jieba.suggest_freq("晨媽媽",tune=True) jieba.suggest_freq("大黑牛",tune=True) jieba.suggest_freq("能力者",tune=True) seg_list=jieba.cut(origin,cut_all=False) f=",".join(seg_list) output_1=open("C:\\Users\\LuoChen\\Desktop\\output_1.txt","w") output_1.write(f.encode("utf-8")) output_1.close() combine_dict={} forwinopen("C:\\Users\\LuoChen\\Desktop\\tongyici.txt","r"): w_1=w.strip().split("\t") num=len(w_1) foriinrange(0,num): combine_dict[w_1[i]]=w_1[0] seg_list_2="" foriinopen("C:\\Users\\LuoChen\\Desktop\\output_1.txt","r"): i_1=i.split(",") forwordini_1: ifwordincombine_dict: word=combine_dict[word] seg_list_2=word else: seg_list_2=word printseg_list_2freq_word={} seg_list_3=jieba.cut(seg_list_2,cut_all=False) forwordinseg_list_3: ifwordinfreq_word: freq_word[word]=1 else: freq_word[word]=1 freq_word_1=[] forword,freqinfreq_word.items(): freq_word_1.append((word,freq)) freq_word_1.sort(key=lambdax:x[1],reverse=True) forword,freqinfreq_word_1: printword,freq total_freq=0 foriinfreq_word_1: total_freq=i[1] forword,freqinfreq_word.items(): freq=float(freq)/float(total_freq) printword,freqPart5.按詞性提取importjieba.possegaspseg word=pseg.cut("李晨好帥，又能力超強，是“大黑牛”，也是一個能力者，還是隊裡貼心的晨媽媽。

") forwinword: ifw.flagin["n","v","x"]: printw.word,w.flag以下內容來源於網路收集3.關鍵詞提取基於TF-IDF演算法的關鍵詞抽取importjieba.analysejieba.analyse.extract_tags(sentence,topK=20,withWeight=False,allowPOS=()) sentence為待提取的文字 topK為返回幾個TF/IDF權重最大的關鍵詞，預設值為20 withWeight為是否一併返回關鍵詞權重值，預設值為False allowPOS僅包括指定詞性的詞，預設值為空，即不篩選 分詞詞性可參見部落格：[詞性參考](http://blog.csdn.net/HHTNAN/article/details/77650128) jieba.analyse.TFIDF(idf_path=None)新建TFIDF例項，idf_path為IDF頻率檔案 程式碼示例（關鍵詞提取）https://github.com/fxsjy/jieba/blob/master/test/extract_tags.py關鍵詞提取所使用逆向檔案頻率（IDF）文字語料庫可以切換成自定義語料庫的路徑用法：jieba.analyse.set_idf_path(file_name)#file_name為自定義語料庫的路徑 自定義語料庫示例：https://github.com/fxsjy/jieba/blob/master/extra_dict/idf.txt.big 用法示例：https://github.com/fxsjy/jieba/blob/master/test/extract_tags_idfpath.py 關鍵詞提取所使用停止詞（StopWords）文字語料庫可以切換成自定義語料庫的路徑用法：jieba.analyse.set_stop_words(file_name)#file_name為自定義語料庫的路徑 自定義語料庫示例：https://github.com/fxsjy/jieba/blob/master/extra_dict/stop_words.txt 用法示例：https://github.com/fxsjy/jieba/blob/master/test/extract_tags_stop_words.py 關鍵詞一併返回關鍵詞權重值示例用法示例：https://github.com/fxsjy/jieba/blob/master/test/extract_tags_with_weight.py 基於TextRank演算法的關鍵詞抽取jieba.analyse.textrank(sentence,topK=20,withWeight=False,allowPOS=('ns','n','vn','v'))直接使用，介面相同，注意預設過濾詞性。

jieba.analyse.TextRank()新建自定義TextRank例項 演算法論文：TextRank:BringingOrderintoTexts基本思想:將待抽取關鍵詞的文字進行分詞 以固定視窗大小(預設為5，通過span屬性調整)，詞之間的共現關係，構建圖 計算圖中節點的PageRank，注意是無向帶權圖 使用示例:見test/demo.py4.詞性標註jieba.posseg.POSTokenizer(tokenizer=None)新建自定義分詞器，tokenizer引數可指定內部使用的jieba.Tokenizer分詞器。

jieba.posseg.dt為預設詞性標註分詞器。

標註句子分詞後每個詞的詞性，採用和ictclas相容的標記法。

用法示例 importjieba.possegaspsegwords=pseg.cut(“我愛北京天安門”)forword,flaginwords:…print(‘%s%s’%(word,flag))…我r愛v北京ns天安門ns並行分詞原理：將目標文字按行分隔後，把各行文字分配到多個Python程序並行分詞，然後歸併結果，從而獲得分詞速度的可觀提升基於python自帶的multiprocessing模組，目前暫不支援Windows用法：jieba.enable_parallel(4)#開啟並行分詞模式，引數為並行程序數jieba.disable_parallel()#關閉並行分詞模式例子：https://github.com/fxsjy/jieba/blob/master/test/parallel/test_file.py實驗結果：在4核3.4GHzLinux機器上，對金庸全集進行精確分詞，獲得了1MB/s的速度，是單程序版的3.3倍。

注意：並行分詞僅支援預設分詞器jieba.dt和jieba.posseg.dt。

Tokenize：返回詞語在原文的起止位置注意，輸入引數只接受unicode預設模式result=jieba.tokenize(u’永和服裝飾品有限公司’)fortkinresult:print(“word%s\t\tstart:%d\t\tend:%d”%(tk[0],tk[1],tk[2]))word永和start:0end:2word服裝start:2end:4word飾品start:4end:6word有限公司start:6end:10搜尋模式 result=jieba.tokenize(u’永和服裝飾品有限公司’,mode=’search’)fortkinresult:print(“word%s\t\tstart:%d\t\tend:%d”%(tk[0],tk[1],tk[2]))word永和start:0end:2word服裝start:2end:4word飾品start:4end:6word有限start:6end:8word公司start:8end:10word有限公司start:6end:10ChineseAnalyzerforWhoosh搜尋引擎引用：fromjieba.analyseimportChineseAnalyzer用法示例：https://github.com/fxsjy/jieba/blob/master/test/test_whoosh.py命令列分詞使用示例：python-mjiebanews.txt>cut_result.txt命令列選項（翻譯）：使用:python-mjieba[options]filename結巴命令列介面。

固定引數:filename輸入檔案可選引數:-h,–help顯示此幫助資訊並退出-d[DELIM],–delimiter[DELIM]使用DELIM分隔詞語，而不是用預設的’/‘。

若不指定DELIM，則使用一個空格分隔。

-p[DELIM],–pos[DELIM]啟用詞性標註；如果指定DELIM，詞語和詞性之間用它分隔，否則用_分隔-DDICT,–dictDICT使用DICT代替預設詞典-uUSER_DICT,–user-dictUSER_DICT使用USER_DICT作為附加詞典，與預設詞典或自定義詞典配合使用-a,–cut-all全模式分詞（不支援詞性標註）-n,–no-hmm不使用隱含馬爾可夫模型-q,–quiet不輸出載入資訊到STDERR-V,–version顯示版本資訊並退出如果沒有指定檔名，則使用標準輸入。

–help選項輸出：$>python-mjieba–helpJiebacommandlineinterface.positionalarguments:filenameinputfileoptionalarguments:-h,–helpshowthishelpmessageandexit-d[DELIM],–delimiter[DELIM]useDELIMinsteadof’/’forworddelimiter;oraspaceifitisusedwithoutDELIM-p[DELIM],–pos[DELIM]enablePOStagging;ifDELIMisspecified,useDELIMinsteadof‘_’forPOSdelimiter-DDICT,–dictDICTuseDICTasdictionary-uUSER_DICT,–user-dictUSER_DICTuseUSER_DICTtogetherwiththedefaultdictionaryorDICT(ifspecified)-a,–cut-allfullpatterncutting(ignoredwithPOStagging)-n,–no-hmmdon’tusetheHiddenMarkovModel-q,–quietdon’tprintloadingmessagestostderr-V,–versionshowprogram’sversionnumberandexitIfnofilenamespecified,useSTDINinstead.延遲載入機制jieba採用延遲載入，importjieba和jieba.Tokenizer()不會立即觸發詞典的載入，一旦有必要才開始載入詞典構建字首字典。

如果你想手工初始jieba，也可以手動初始化。

importjiebajieba.initialize()#手動初始化（可選）在0.28之前的版本是不能指定主詞典的路徑的，有了延遲載入機制後，你可以改變主詞典的路徑:jieba.set_dictionary(‘data/dict.txt.big’)例子：https://github.com/fxsjy/jieba/blob/master/test/test_change_dictpath.py原理參考：https://blog.csdn.net/u012558945/article/details/79918771參考文獻：http://blog.csdn.net/xiaoxiangzi222/article/details/53483931Advertisement写评论取消回覆很抱歉，必須登入網站才能發佈留言。

近期文章Spark入門（一）用SparkShell初嘗Spark滋味2019.12.08Spark入門（二）如何用Idea運行我們的Spark項目2019.12.08Spark入門（三）Spark經典的單詞統計2019.12.08Spark入門（四）Spark的map、flatMap、mapToPair2019.12.08Spark入門（五）Spark的reduce和reduceByKey2019.12.08Spark入門（六）Spark的combineByKey、sortBykey2019.12.08Spark入門（七）Spark的intersection、subtract、union和distinct2019.12.08Spark實戰尋找5億次訪問中，訪問次數最多的人2019.12.08Spark實戰搭建我們的Spark分佈式架構2019.12.08【機器學習】深度學習開發環境搭建2019.12.08AdvertisementAdvertisement