jieba——分詞、添加詞典、詞性標註、Tokenize - 台部落

jieba——分詞、添加詞典、詞性標註、Tokenize 1.分詞jieba.cut 方法接受三個輸入參數: 需要分詞的字符串；cut_all 參數用來控制是否採用全模式；HMM ... 請輸入正確的登錄賬號或密碼 註冊 忘記密碼 首頁 未分類 正文 jieba——分詞、添加詞典、詞性標註、Tokenize 原創 Atishoo_13 2019-01-1720:01 jieba——分詞、添加詞典、詞性標註、Tokenize 1.分詞 jieba.cut方法接受三個輸入參數:需要分詞的字符串；cut_all參數用來控制是否採用全模式；HMM參數用來控制是否使用HMM模型 jieba.cut_for_search方法接受兩個參數：需要分詞的字符串；是否使用HMM模型。

該方法適合用於搜索引擎構建倒排索引的分詞，粒度比較細 待分詞的字符串可以是unicode或UTF-8字符串、GBK字符串。

注意：不建議直接輸入GBK字符串，可能無法預料地錯誤解碼成UTF-8 jieba.cut以及jieba.cut_for_search返回的結構都是一個可迭代的generator，可以使用for循環來獲得分詞後得到的每一個詞語(unicode)，或者用 jieba.lcut以及jieba.lcut_for_search直接返回list jieba.Tokenizer(dictionary=DEFAULT_DICT)新建自定義分詞器，可用於同時使用不同詞典。

jieba.dt爲默認分詞器，所有全局分詞相關函數都是該分詞器的映射。

測試代碼示例： #encoding=utf-8 importjieba seg_list=jieba.cut("杭州的西湖像一顆光彩奪目的明珠。

",cut_all=True) print("FullMode:"+"/".join(seg_list))#全模式 seg_list=jieba.cut("猛獸總是獨行，牛羊才成羣結隊。

",cut_all=False) print("DefaultMode:"+"/".join(seg_list))#精確模式 seg_list=jieba.cut("知我者謂我心憂，不知我者謂我何求！")#默認是精確模式 print("Newwordrecognition:"+"/".join(seg_list)) seg_list=jieba.cut_for_search("輕輕的我走了，正如我輕輕的來；我輕輕的招手，作別西天的雲彩。

")#搜索引擎模式 print("Searchenginemode:"+"/".join(seg_list)) 結果示意圖： 2.添加自定義詞典 載入詞典 開發者可以指定自己自定義的詞典，以便包含jieba詞庫裏沒有的詞。

雖然jieba有新詞識別能力，但是自行添加新詞可以保證更高的正確率 用法：jieba.load_userdict(file_name)#file_name爲文件類對象或自定義詞典的路徑 詞典格式和dict.txt一樣，一個詞佔一行；每一行分三部分：詞語、詞頻（可省略）、詞性（可省略），用空格隔開，順序不可顛倒。

file_name若爲路徑或二進制方式打開的文件，則文件必須爲UTF-8編碼。

注意：在保存userdict.txt文件時應使用UTF-8的編碼格式： 詞頻省略時使用自動計算的能保證分出該詞的詞頻。

詞典內容如下： 雲計算5 李小福2nr 創新辦3i easy_install3eng 好用300 韓玉賞鑑3nz 八一雙鹿3nz 臺中 凱特琳nz EduTrust認證2000 調整詞典 使用add_word(word,freq=None,tag=None)和del_word(word)可在程序中動態修改詞典。

使用suggest_freq(segment,tune=True)可調節單個詞語的詞頻，使其能（或不能）被分出來。

注意：自動計算的詞頻在使用HMM新詞發現功能時可能無效。

對字典進行調整示例： 3.詞性標註 jieba.posseg.POSTokenizer(tokenizer=None)新建自定義分詞器，tokenizer參數可指定內部使用的jieba.Tokenizer分詞器。

jieba.posseg.dt爲默認詞性標註分詞器。

標註句子分詞後每個詞的詞性，採用和ictclas兼容的標記法。

用法示例 4.Tokenize 返回詞語在原文的起止位置 此功能輸入參數只接受unicode 默認模式 搜索模式 代碼： #encoding=utf-8 from__future__importunicode_literals#將模塊中顯式出現的所有字符串轉爲unicode類型 importjieba result=jieba.tokenize('永和服裝飾品有限公司')#默認模式進行分詞，Tokenize:返回詞語在原文的起止位置 print("默認模式爲：") fortkinresult: print("word%s\t\tstart:%d\t\tend:%d"%(tk[0],tk[1],tk[2])) result=jieba.tokenize(u'永和服裝飾品有限公司',mode='search') print("搜索模式爲：") fortk1inresult: print("word%s\t\tstart:%d\t\tend:%d"%(tk1[0],tk1[1],tk1[2])) 運行後所得結果爲： 5.實現代碼 上述功能代碼示例： #encoding=utf-8 from__future__importprint_function,unicode_literals importsys sys.path.append("../") importjieba jieba.load_userdict("userdict.txt") importjieba.possegaspseg jieba.add_word('石墨烯') jieba.add_word('凱特琳') jieba.del_word('自定義詞') test_sent=( "李小福是創新辦主任也是雲計算方面的專家;什麼是八一雙鹿\n" "例如我輸入一個帶“韓玉賞鑑”的標題，在自定義詞庫中也增加了此詞爲N類\n" "「臺中」正確應該不會被切開。

mac上可分出「石墨烯」；此時又可以分出來凱特琳了。

" ) words=jieba.cut(test_sent) print('/'.join(words)) print("="*40) result=pseg.cut(test_sent) forwinresult: print(w.word,"/",w.flag,",",end='') print("\n"+"="*40) terms=jieba.cut('easy_installisgreat') print('/'.join(terms)) terms=jieba.cut('python的正則表達式是好用的') print('/'.join(terms)) print("="*40) #testfrequencytune testlist=[ ('今天天氣不錯',('今天','天氣')), ('如果放到post中將出錯。

',('中','將')), ('我們中出了一個叛徒',('中','出')), ] forsent,segintestlist: print('/'.join(jieba.cut(sent,HMM=False))) word=''.join(seg) print('%sBefore:%s,After:%s'%(word,jieba.get_FREQ(word),jieba.suggest_freq(seg,True))) print('/'.join(jieba.cut(sent,HMM=False))) print("-"*40) 使用字典前： 使用字典後所得結果爲： 6.命令行分詞 在命令窗口中輸入如下語句對《西遊記》進行分詞處理： python-mjiebaxiyouji.txt>xiyouji_cutcopy.txt 實現分詞原文件： 運行後可得下圖： 所得分詞文件如下圖： 7.常見問題 “臺中”總是被切成“臺中”？（以及類似情況） P(臺中)＜P(臺)×P(中) P(臺中)＜P(臺)×P(中) P(臺中)＜P(臺)×P(中) “臺中”詞頻不夠導致其成詞概率較低 解決方法：強制調高詞頻 jieba.add_word('臺中')`或者`jieba.suggest_freq('臺中',True) “今天天氣/不錯”應該被切成“今天/天氣/不錯”？（以及類似情況） 解決方法：強制調低詞頻 jieba.suggest_freq(('今天','天氣'),True) 或者直接刪除該詞jieba.del_word('今天天氣') 切出了詞典中沒有的詞語，效果不理想？ 解決方法：關閉新詞發現 jieba.cut('豐田太省了',HMM=False)``jieba.cut('我們中出了一個叛徒',HMM=False) 發表評論 登录 所有評論 還沒有人評論，想成為第一個評論的人麼?請在上方評論欄輸入並且點擊發布. 相關文章 CF356B-XeniaandHamming題解 題目鏈接：https://codeforces.com/problemset/problem/356/B 題目大意： 字符串\(a\)是字符串\(x\)循環\(n\)次（\(a=\sum\limits_{n}x\)）， 字 quanjun 2022-06-0614:38:45 全局對象和全局函數 在web瀏覽器當中，window對象就是global對象 所有在全局作用域當中定義的函數和對象都是window對象的屬性。

全局函數可以直接調用 isNaN,isFinite, eval,把字符串解析成JavaScript來執行，並返回執 T1amo 2022-06-0614:37:25 JavaScript異步編程的方法 異步編程： 在瀏覽器端，異步編程非常重要，耗時很長的操作都應該異步執行，避免瀏覽器失去響應。

最常見的例子就是通過AJAX向服務器發送異步請求。

異步編程有很多種方法 1、回調函數 比如有兩個函數f1();f2();//f2依賴於f1的執行狀 T1amo 2022-06-0614:37:25 《劍指offer》—JavaScript（2）替換空格 題目描述 　　請實現一個函數，將一個字符串中的空格替換成“%20”。

例如，當字符串爲WeAreHappy.則經過替換之後的字符串爲We%20Are%20Happy。

實現代碼 functionreplaceSpace(str) { T1amo 2022-06-0614:37:15 《劍指offer》—JavaScript（1）二維數組中的查找 題目描述 　　在一個二維數組中，每一行都按照從左到右遞增的順序排序，每一列都按照從上到下遞增的順序排序。

請完成一個函數，輸入這樣的一個二維數組和一個整數，判斷數組中是否含有該整數。

實現代碼 functionFind(target, T1amo 2022-06-0614:37:15 《劍指offer》—JavaScript（3）從尾到頭打印鏈表 從尾到頭打印鏈表 題目描述 　　輸入一個鏈表，從尾到頭打印鏈表每個節點的值。

實現代碼 /*functionListNode(x){ this.val=x; this.next=null; }*/ functi T1amo 2022-06-0614:37:15 testofCMSoft 題型： 選擇（45分鐘） 多選題20道 關於數據結構（進棧出棧），狀態碼，面向對象編程的原則，TCP/IP在哪一層，排序算法大於ologn的是，前序遍歷後序遍歷中序遍歷，其他的忘記了，反正基本不會 前端的單選5道，多選10道 關於HTML, T1amo 2022-06-0614:37:15 dislpay:flex佈局 1、兩欄佈局：左側定寬右側自適應 T1amo 2022-06-0614:37:15 20220606Java工具類，去重10億手機號碼 參考資料 還有一個這麼香的Java工具類，去重10億手機號碼-B站 問題描述 11位手機號碼 如何對10億手機號碼去重？ 思路分析 11位手機號碼，首位都是1，所以可以以10位的形式來處理 保存方法 如果以字符存入內 流星