Python第三方庫jieba（中文分詞）入門與進階（官方文檔）

Tags the POS of each word after segmentation, using labels compatible with ictclas. Example: >>> import jieba.posseg as pseg >>> words = pseg. 請輸入正確的登錄賬號或密碼 註冊 忘記密碼 首頁 未分類 正文 Python第三方庫jieba（中文分詞）入門與進階（官方文檔） 原創 渴望飞的鱼 2019-02-2721:16 轉自：https://blog.csdn.net/qq_34337272/article/details/79554772 git:https://github.com/fxsjy/jieba 新聞關鍵字提取和新聞推薦參考：https://blog.csdn.net/mawenqi0729/article/details/80703164   jieba “結巴”中文分詞：做最好的Python中文分詞組件 "Jieba"(Chinesefor"tostutter")Chinesetextsegmentation:builttobethebestPythonChinesewordsegmentationmodule. ScrolldownforEnglishdocumentation. 特點 支持三種分詞模式： 精確模式，試圖將句子最精確地切開，適合文本分析； 全模式，把句子中所有的可以成詞的詞語都掃描出來,速度非常快，但是不能解決歧義； 搜索引擎模式，在精確模式的基礎上，對長詞再次切分，提高召回率，適合用於搜索引擎分詞。

支持繁體分詞 支持自定義詞典 MIT授權協議 友情鏈接 https://github.com/baidu/lac 百度中文詞法分析（分詞+詞性+專名）系統 https://github.com/baidu/AnyQ 百度FAQ自動問答系統 https://github.com/baidu/Senta 百度情感識別系統 安裝說明 代碼對Python2/3均兼容 全自動安裝：easy_installjieba 或者 pipinstalljieba / pip3installjieba 半自動安裝：先下載 http://pypi.python.org/pypi/jieba/ ，解壓後運行 pythonsetup.pyinstall 手動安裝：將jieba目錄放置於當前目錄或者site-packages目錄 通過 importjieba 來引用 算法 基於前綴詞典實現高效的詞圖掃描，生成句子中漢字所有可能成詞情況所構成的有向無環圖(DAG) 採用了動態規劃查找最大概率路徑,找出基於詞頻的最大切分組合 對於未登錄詞，採用了基於漢字成詞能力的HMM模型，使用了Viterbi算法 主要功能 分詞 jieba.cut 方法接受三個輸入參數:需要分詞的字符串；cut_all參數用來控制是否採用全模式；HMM參數用來控制是否使用HMM模型 jieba.cut_for_search 方法接受兩個參數：需要分詞的字符串；是否使用HMM模型。

該方法適合用於搜索引擎構建倒排索引的分詞，粒度比較細 待分詞的字符串可以是unicode或UTF-8字符串、GBK字符串。

注意：不建議直接輸入GBK字符串，可能無法預料地錯誤解碼成UTF-8 jieba.cut 以及 jieba.cut_for_search 返回的結構都是一個可迭代的generator，可以使用for循環來獲得分詞後得到的每一個詞語(unicode)，或者用 jieba.lcut 以及 jieba.lcut_for_search 直接返回list jieba.Tokenizer(dictionary=DEFAULT_DICT) 新建自定義分詞器，可用於同時使用不同詞典。

jieba.dt 爲默認分詞器，所有全局分詞相關函數都是該分詞器的映射。

代碼示例 #encoding=utf-8 importjieba seg_list=jieba.cut("我來到北京清華大學",cut_all=True) print("FullMode:"+"/".join(seg_list))#全模式 seg_list=jieba.cut("我來到北京清華大學",cut_all=False) print("DefaultMode:"+"/".join(seg_list))#精確模式 seg_list=jieba.cut("他來到了網易杭研大廈")#默認是精確模式 print(",".join(seg_list)) seg_list=jieba.cut_for_search("小明碩士畢業於中國科學院計算所，後在日本京都大學深造")#搜索引擎模式 print(",".join(seg_list)) 輸出: 【全模式】:我/來到/北京/清華/清華大學/華大/大學 【精確模式】:我/來到/北京/清華大學 【新詞識別】：他,來到,了,網易,杭研,大廈(此處，“杭研”並沒有在詞典中，但是也被Viterbi算法識別出來了) 【搜索引擎模式】：小明,碩士,畢業,於,中國,科學,學院,科學院,中國科學院,計算,計算所,後,在,日本,京都,大學,日本京都大學,深造 添加自定義詞典 載入詞典 開發者可以指定自己自定義的詞典，以便包含jieba詞庫裏沒有的詞。

雖然jieba有新詞識別能力，但是自行添加新詞可以保證更高的正確率 用法：jieba.load_userdict(file_name)#file_name爲文件類對象或自定義詞典的路徑 詞典格式和 dict.txt 一樣，一個詞佔一行；每一行分三部分：詞語、詞頻（可省略）、詞性（可省略），用空格隔開，順序不可顛倒。

file_name 若爲路徑或二進制方式打開的文件，則文件必須爲UTF-8編碼。

詞頻省略時使用自動計算的能保證分出該詞的詞頻。

例如： 創新辦3i 雲計算5 凱特琳nz 臺中 更改分詞器（默認爲 jieba.dt）的 tmp_dir 和 cache_file 屬性，可分別指定緩存文件所在的文件夾及其文件名，用於受限的文件系統。

範例： 自定義詞典：https://github.com/fxsjy/jieba/blob/master/test/userdict.txt 用法示例：https://github.com/fxsjy/jieba/blob/master/test/test_userdict.py 之前：李小福/是/創新/辦/主任/也/是/雲/計算/方面/的/專家/ 加載自定義詞庫後：　李小福/是/創新辦/主任/也/是/雲計算/方面/的/專家/ 調整詞典 使用 add_word(word,freq=None,tag=None) 和 del_word(word) 可在程序中動態修改詞典。

使用 suggest_freq(segment,tune=True) 可調節單個詞語的詞頻，使其能（或不能）被分出來。

注意：自動計算的詞頻在使用HMM新詞發現功能時可能無效。

代碼示例： >>>print('/'.join(jieba.cut('如果放到post中將出錯。

',HMM=False))) 如果/放到/post/中將/出錯/。

>>>jieba.suggest_freq(('中','將'),True) 494 >>>print('/'.join(jieba.cut('如果放到post中將出錯。

',HMM=False))) 如果/放到/post/中/將/出錯/。

>>>print('/'.join(jieba.cut('「臺中」正確應該不會被切開',HMM=False))) 「/臺/中/」/正確/應該/不會/被/切開 >>>jieba.suggest_freq('臺中',True) 69 >>>print('/'.join(jieba.cut('「臺中」正確應該不會被切開',HMM=False))) 「/臺中/」/正確/應該/不會/被/切開 "通過用戶自定義詞典來增強歧義糾錯能力"--- https://github.com/fxsjy/jieba/issues/14 關鍵詞提取 基於TF-IDF算法的關鍵詞抽取 importjieba.analyse jieba.analyse.extract_tags(sentence,topK=20,withWeight=False,allowPOS=()) sentence爲待提取的文本 topK爲返回幾個TF/IDF權重最大的關鍵詞，默認值爲20 withWeight爲是否一併返回關鍵詞權重值，默認值爲False allowPOS僅包括指定詞性的詞，默認值爲空，即不篩選 jieba.analyse.TFIDF(idf_path=None)新建TFIDF實例，idf_path爲IDF頻率文件 代碼示例（關鍵詞提取） https://github.com/fxsjy/jieba/blob/master/test/extract_tags.py 關鍵詞提取所使用逆向文件頻率（IDF）文本語料庫可以切換成自定義語料庫的路徑 用法：jieba.analyse.set_idf_path(file_name)#file_name爲自定義語料庫的路徑 自定義語料庫示例：https://github.com/fxsjy/jieba/blob/master/extra_dict/idf.txt.big 用法示例：https://github.com/fxsjy/jieba/blob/master/test/extract_tags_idfpath.py 關鍵詞提取所使用停止詞（StopWords）文本語料庫可以切換成自定義語料庫的路徑 用法：jieba.analyse.set_stop_words(file_name)#file_name爲自定義語料庫的路徑 自定義語料庫示例：https://github.com/fxsjy/jieba/blob/master/extra_dict/stop_words.txt 用法示例：https://github.com/fxsjy/jieba/blob/master/test/extract_tags_stop_words.py 關鍵詞一併返回關鍵詞權重值示例 用法示例：https://github.com/fxsjy/jieba/blob/master/test/extract_tags_with_weight.py 基於TextRank算法的關鍵詞抽取 jieba.analyse.textrank(sentence,topK=20,withWeight=False,allowPOS=('ns','n','vn','v'))直接使用，接口相同，注意默認過濾詞性。

jieba.analyse.TextRank()新建自定義TextRank實例 算法論文： TextRank:BringingOrderintoTexts 基本思想: 將待抽取關鍵詞的文本進行分詞 以固定窗口大小(默認爲5，通過span屬性調整)，詞之間的共現關係，構建圖 計算圖中節點的PageRank，注意是無向帶權圖 使用示例: 見 test/demo.py 詞性標註 jieba.posseg.POSTokenizer(tokenizer=None) 新建自定義分詞器，tokenizer 參數可指定內部使用的 jieba.Tokenizer 分詞器。

jieba.posseg.dt 爲默認詞性標註分詞器。

標註句子分詞後每個詞的詞性，採用和ictclas兼容的標記法。

用法示例 >>>importjieba.possegaspseg >>>words=pseg.cut("我愛北京天安門") >>>forword,flaginwords: ...print('%s%s'%(word,flag)) ... 我r 愛v 北京ns 天安門ns 並行分詞 原理：將目標文本按行分隔後，把各行文本分配到多個Python進程並行分詞，然後歸併結果，從而獲得分詞速度的可觀提升 基於python自帶的multiprocessing模塊，目前暫不支持Windows 用法： jieba.enable_parallel(4) #開啓並行分詞模式，參數爲並行進程數 jieba.disable_parallel() #關閉並行分詞模式 例子：https://github.com/fxsjy/jieba/blob/master/test/parallel/test_file.py 實驗結果：在4核3.4GHzLinux機器上，對金庸全集進行精確分詞，獲得了1MB/s的速度，是單進程版的3.3倍。

注意：並行分詞僅支持默認分詞器 jieba.dt 和 jieba.posseg.dt。

Tokenize：返回詞語在原文的起止位置 注意，輸入參數只接受unicode 默認模式 result=jieba.tokenize(u'永和服裝飾品有限公司') fortkinresult: print("word%s\t\tstart:%d\t\tend:%d"%(tk[0],tk[1],tk[2])) word永和start:0end:2 word服裝start:2end:4 word飾品start:4end:6 word有限公司start:6end:10 搜索模式 result=jieba.tokenize(u'永和服裝飾品有限公司',mode='search') fortkinresult: print("word%s\t\tstart:%d\t\tend:%d"%(tk[0],tk[1],tk[2])) word永和start:0end:2 word服裝start:2end:4 word飾品start:4end:6 word有限start:6end:8 word公司start:8end:10 word有限公司start:6end:10 ChineseAnalyzerforWhoosh搜索引擎 引用： fromjieba.analyseimportChineseAnalyzer 用法示例：https://github.com/fxsjy/jieba/blob/master/test/test_whoosh.py 命令行分詞 使用示例：python-mjiebanews.txt>cut_result.txt 命令行選項（翻譯）： 使用:python-mjieba[options]filename 結巴命令行界面。

固定參數: filename輸入文件 可選參數: -h,--help顯示此幫助信息並退出 -d[DELIM],--delimiter[DELIM] 使用DELIM分隔詞語，而不是用默認的'/'。

若不指定DELIM，則使用一個空格分隔。

-p[DELIM],--pos[DELIM] 啓用詞性標註；如果指定DELIM，詞語和詞性之間 用它分隔，否則用_分隔 -DDICT,--dictDICT使用DICT代替默認詞典 -uUSER_DICT,--user-dictUSER_DICT 使用USER_DICT作爲附加詞典，與默認詞典或自定義詞典配合使用 -a,--cut-all全模式分詞（不支持詞性標註） -n,--no-hmm不使用隱含馬爾可夫模型 -q,--quiet不輸出載入信息到STDERR -V,--version顯示版本信息並退出 如果沒有指定文件名，則使用標準輸入。

--help 選項輸出： $>python-mjieba--help Jiebacommandlineinterface. positionalarguments: filenameinputfile optionalarguments: -h,--helpshowthishelpmessageandexit -d[DELIM],--delimiter[DELIM] useDELIMinsteadof'/'forworddelimiter;ora spaceifitisusedwithoutDELIM -p[DELIM],--pos[DELIM] enablePOStagging;ifDELIMisspecified,useDELIM insteadof'_'forPOSdelimiter -DDICT,--dictDICTuseDICTasdictionary -uUSER_DICT,--user-dictUSER_DICT useUSER_DICTtogetherwiththedefaultdictionaryor DICT(ifspecified) -a,--cut-allfullpatterncutting(ignoredwithPOStagging) -n,--no-hmmdon'tusetheHiddenMarkovModel -q,--quietdon'tprintloadingmessagestostderr -V,--versionshowprogram'sversionnumberandexit Ifnofilenamespecified,useSTDINinstead. 延遲加載機制 jieba採用延遲加載，importjieba 和 jieba.Tokenizer() 不會立即觸發詞典的加載，一旦有必要纔開始加載詞典構建前綴字典。

如果你想手工初始jieba，也可以手動初始化。

importjieba jieba.initialize()#手動初始化（可選） 在0.28之前的版本是不能指定主詞典的路徑的，有了延遲加載機制後，你可以改變主詞典的路徑: jieba.set_dictionary('data/dict.txt.big') 例子： https://github.com/fxsjy/jieba/blob/master/test/test_change_dictpath.py 其他詞典 佔用內存較小的詞典文件 https://github.com/fxsjy/jieba/raw/master/extra_dict/dict.txt.small 支持繁體分詞更好的詞典文件 https://github.com/fxsjy/jieba/raw/master/extra_dict/dict.txt.big 下載你所需要的詞典，然後覆蓋jieba/dict.txt即可；或者用 jieba.set_dictionary('data/dict.txt.big') 其他語言實現 結巴分詞Java版本 作者：piaolingxue地址：https://github.com/huaban/jieba-analysis 結巴分詞C++版本 作者：yanyiwu地址：https://github.com/yanyiwu/cppjieba 結巴分詞Node.js版本 作者：yanyiwu地址：https://github.com/yanyiwu/nodejieba 結巴分詞Erlang版本 作者：falood地址：https://github.com/falood/exjieba 結巴分詞R版本 作者：qinwf地址：https://github.com/qinwf/jiebaR 結巴分詞iOS版本 作者：yanyiwu地址：https://github.com/yanyiwu/iosjieba 結巴分詞PHP版本 作者：fukuball地址：https://github.com/fukuball/jieba-php 結巴分詞.NET(C#)版本 作者：anderscui地址：https://github.com/anderscui/jieba.NET/ 結巴分詞Go版本 作者:wangbin地址: https://github.com/wangbin/jiebago 作者:yanyiwu地址: https://github.com/yanyiwu/gojieba 結巴分詞Android版本 作者Dongliang.W地址：https://github.com/452896915/jieba-android 系統集成 Solr: https://github.com/sing1ee/jieba-solr 分詞速度 1.5MB/SecondinFullMode 400KB/SecondinDefaultMode 測試環境:Intel(R)Core(TM)[email protected]；《圍城》.txt 常見問題 1.模型的數據是如何生成的？ 詳見： https://github.com/fxsjy/jieba/issues/7 2.“臺中”總是被切成“臺中”？（以及類似情況） P(臺中)＜P(臺)×P(中)，“臺中”詞頻不夠導致其成詞概率較低 解決方法：強制調高詞頻 jieba.add_word('臺中') 或者 jieba.suggest_freq('臺中',True) 3.“今天天氣不錯”應該被切成“今天天氣不錯”？（以及類似情況） 解決方法：強制調低詞頻 jieba.suggest_freq(('今天','天氣'),True) 或者直接刪除該詞 jieba.del_word('今天天氣') 4.切出了詞典中沒有的詞語，效果不理想？ 解決方法：關閉新詞發現 jieba.cut('豐田太省了',HMM=False) jieba.cut('我們中出了一個叛徒',HMM=False) 更多問題請點擊：https://github.com/fxsjy/jieba/issues?sort=updated&state=closed 修訂歷史 https://github.com/fxsjy/jieba/blob/master/Changelog jieba "Jieba"(Chinesefor"tostutter")Chinesetextsegmentation:builttobethebestPythonChinesewordsegmentationmodule. Features Supportthreetypesofsegmentationmode: AccurateModeattemptstocutthesentenceintothemostaccuratesegmentations,whichissuitablefortextanalysis. FullModegetsallthepossiblewordsfromthesentence.Fastbutnotaccurate. SearchEngineMode,basedontheAccurateMode,attemptstocutlongwordsintoseveralshortwords,whichcanraisetherecallrate.Suitableforsearchengines. SupportsTraditionalChinese Supportscustomizeddictionaries MITLicense Onlinedemo http://jiebademo.ap01.aws.af.cm/ (PoweredbyAppfog) Usage Fullyautomaticinstallation: easy_installjieba or pipinstalljieba Semi-automaticinstallation:Download http://pypi.python.org/pypi/jieba/ ,run pythonsetup.pyinstall afterextracting. Manualinstallation:placethe jieba directoryinthecurrentdirectoryorpython site-packages directory. importjieba. Algorithm Basedonaprefixdictionarystructuretoachieveefficientwordgraphscanning.Buildadirectedacyclicgraph(DAG)forallpossiblewordcombinations. Usedynamicprogrammingtofindthemostprobablecombinationbasedonthewordfrequency. Forunknownwords,aHMM-basedmodelisusedwiththeViterbialgorithm. MainFunctions Cut The jieba.cut functionacceptsthreeinputparameters:thefirstparameteristhestringtobecut;thesecondparameteris cut_all,controllingthecutmode;thethirdparameteristocontrolwhethertousetheHiddenMarkovModel. jieba.cut_for_search acceptstwoparameter:thestringtobecut;whethertousetheHiddenMarkovModel.Thiswillcutthesentenceintoshortwordssuitableforsearchengines. Theinputstringcanbeanunicode/strobject,orastr/bytesobjectwhichisencodedinUTF-8orGBK.NotethatusingGBKencodingisnotrecommendedbecauseitmaybeunexpectlydecodedasUTF-8. jieba.cut and jieba.cut_for_search returnsangenerator,fromwhichyoucanusea for looptogetthesegmentationresult(inunicode). jieba.lcut and jieba.lcut_for_search returnsalist. jieba.Tokenizer(dictionary=DEFAULT_DICT) createsanewcustomizedTokenizer,whichenablesyoutousedifferentdictionariesatthesametime. jieba.dt isthedefaultTokenizer,towhichalmostallglobalfunctionsaremapped. Codeexample:segmentation #encoding=utf-8 importjieba seg_list=jieba.cut("我來到北京清華大學",cut_all=True) print("FullMode:"+"/".join(seg_list))#全模式 seg_list=jieba.cut("我來到北京清華大學",cut_all=False) print("DefaultMode:"+"/".join(seg_list))#默認模式 seg_list=jieba.cut("他來到了網易杭研大廈") print(",".join(seg_list)) seg_list=jieba.cut_for_search("小明碩士畢業於中國科學院計算所，後在日本京都大學深造")#搜索引擎模式 print(",".join(seg_list)) Output: [FullMode]:我/來到/北京/清華/清華大學/華大/大學 [AccurateMode]:我/來到/北京/清華大學 [UnknownWordsRecognize]他,來到,了,網易,杭研,大廈(Inthiscase,"杭研"isnotinthedictionary,butisidentifiedbytheViterbialgorithm) [SearchEngineMode]：小明,碩士,畢業,於,中國,科學,學院,科學院,中國科學院,計算,計算所,後,在,日本,京都,大學,日本京都大學,深造 Addacustomdictionary Loaddictionary Developerscanspecifytheirowncustomdictionarytobeincludedinthejiebadefaultdictionary.Jiebaisabletoidentifynewwords,butyoucanaddyourownnewwordscanensureahigheraccuracy. Usage： jieba.load_userdict(file_name) #file_nameisafile-likeobjectorthepathofthecustomdictionary Thedictionaryformatisthesameasthatof dict.txt:onewordperline;eachlineisdividedintothreepartsseparatedbyaspace:word,wordfrequency,POStag.If file_name isapathorafileopenedinbinarymode,thedictionarymustbeUTF-8encoded. ThewordfrequencyandPOStagcanbeomittedrespectively.Thewordfrequencywillbefilledwithasuitablevalueifomitted. Forexample: 創新辦3i 雲計算5 凱特琳nz 臺中 ChangeaTokenizer's tmp_dir and cache_file tospecifythepathofthecachefile,forusingonarestrictedfilesystem. Example: 雲計算5 李小福2 創新辦3 [Before]：李小福/是/創新/辦/主任/也/是/雲/計算/方面/的/專家/ [After]：　李小福/是/創新辦/主任/也/是/雲計算/方面/的/專家/ Modifydictionary Use add_word(word,freq=None,tag=None) and del_word(word) tomodifythedictionarydynamicallyinprograms. Use suggest_freq(segment,tune=True) toadjustthefrequencyofasinglewordsothatitcan(orcannot)besegmented. NotethatHMMmayaffectthefinalresult. Example: >>>print('/'.join(jieba.cut('如果放到post中將出錯。

',HMM=False))) 如果/放到/post/中將/出錯/。

>>>jieba.suggest_freq(('中','將'),True) 494 >>>print('/'.join(jieba.cut('如果放到post中將出錯。

',HMM=False))) 如果/放到/post/中/將/出錯/。

>>>print('/'.join(jieba.cut('「臺中」正確應該不會被切開',HMM=False))) 「/臺/中/」/正確/應該/不會/被/切開 >>>jieba.suggest_freq('臺中',True) 69 >>>print('/'.join(jieba.cut('「臺中」正確應該不會被切開',HMM=False))) 「/臺中/」/正確/應該/不會/被/切開 KeywordExtraction importjieba.analyse jieba.analyse.extract_tags(sentence,topK=20,withWeight=False,allowPOS=()) sentence:thetexttobeextracted topK:returnhowmanykeywordswiththehighestTF/IDFweights.Thedefaultvalueis20 withWeight:whetherreturnTF/IDFweightswiththekeywords.ThedefaultvalueisFalse allowPOS:filterwordswithwhichPOSsareincluded.Emptyfornofiltering. jieba.analyse.TFIDF(idf_path=None) createsanewTFIDFinstance, idf_path specifiesIDFfilepath. Example(keywordextraction) https://github.com/fxsjy/jieba/blob/master/test/extract_tags.py DeveloperscanspecifytheirowncustomIDFcorpusinjiebakeywordextraction Usage： jieba.analyse.set_idf_path(file_name)#file_nameisthepathforthecustomcorpus CustomCorpusSample：https://github.com/fxsjy/jieba/blob/master/extra_dict/idf.txt.big SampleCode：https://github.com/fxsjy/jieba/blob/master/test/extract_tags_idfpath.py Developerscanspecifytheirowncustomstopwordscorpusinjiebakeywordextraction Usage： jieba.analyse.set_stop_words(file_name)#file_nameisthepathforthecustomcorpus CustomCorpusSample：https://github.com/fxsjy/jieba/blob/master/extra_dict/stop_words.txt SampleCode：https://github.com/fxsjy/jieba/blob/master/test/extract_tags_stop_words.py There'salsoa TextRank implementationavailable. Use: jieba.analyse.textrank(sentence,topK=20,withWeight=False,allowPOS=('ns','n','vn','v')) NotethatitfiltersPOSbydefault. jieba.analyse.TextRank() createsanewTextRankinstance. PartofSpeechTagging jieba.posseg.POSTokenizer(tokenizer=None) createsanewcustomizedTokenizer. tokenizer specifiesthejieba.Tokenizertointernallyuse. jieba.posseg.dt isthedefaultPOSTokenizer. TagsthePOSofeachwordaftersegmentation,usinglabelscompatiblewithictclas. Example: >>>importjieba.possegaspseg >>>words=pseg.cut("我愛北京天安門") >>>forwinwords: ...print('%s%s'%(w.word,w.flag)) ... 我r 愛v 北京ns 天安門ns ParallelProcessing Principle:Splittargettextbyline,assignthelinesintomultiplePythonprocesses,andthenmergetheresults,whichisconsiderablyfaster. BasedonthemultiprocessingmoduleofPython. Usage: jieba.enable_parallel(4) #Enableparallelprocessing.Theparameteristhenumberofprocesses. jieba.disable_parallel() #Disableparallelprocessing. Example: https://github.com/fxsjy/jieba/blob/master/test/parallel/test_file.py Result:Onafour-core3.4GHzLinuxmachine,doaccuratewordsegmentationonCompleteWorksofJinYong,andthespeedreaches1MB/s,whichis3.3timesfasterthanthesingle-processversion. Note thatparallelprocessingsupportsonlydefaulttokenizers, jieba.dt and jieba.posseg.dt. Tokenize:returnwordswithposition Theinputmustbeunicode Defaultmode result=jieba.tokenize(u'永和服裝飾品有限公司') fortkinresult: print("word%s\t\tstart:%d\t\tend:%d"%(tk[0],tk[1],tk[2])) word永和start:0end:2 word服裝start:2end:4 word飾品start:4end:6 word有限公司start:6end:10 Searchmode result=jieba.tokenize(u'永和服裝飾品有限公司',mode='search') fortkinresult: print("word%s\t\tstart:%d\t\tend:%d"%(tk[0],tk[1],tk[2])) word永和start:0end:2 word服裝start:2end:4 word飾品start:4end:6 word有限start:6end:8 word公司start:8end:10 word有限公司start:6end:10 ChineseAnalyzerforWhoosh fromjieba.analyseimportChineseAnalyzer Example: https://github.com/fxsjy/jieba/blob/master/test/test_whoosh.py CommandLineInterface $>python-mjieba--help Jiebacommandlineinterface. positionalarguments: filenameinputfile optionalarguments: -h,--helpshowthishelpmessageandexit -d[DELIM],--delimiter[DELIM] useDELIMinsteadof'/'forworddelimiter;ora spaceifitisusedwithoutDELIM -p[DELIM],--pos[DELIM] enablePOStagging;ifDELIMisspecified,useDELIM insteadof'_'forPOSdelimiter -DDICT,--dictDICTuseDICTasdictionary -uUSER_DICT,--user-dictUSER_DICT useUSER_DICTtogetherwiththedefaultdictionaryor DICT(ifspecified) -a,--cut-allfullpatterncutting(ignoredwithPOStagging) -n,--no-hmmdon'tusetheHiddenMarkovModel -q,--quietdon'tprintloadingmessagestostderr -V,--versionshowprogram'sversionnumberandexit Ifnofilenamespecified,useSTDINinstead. Initialization Bydefault,Jiebadon'tbuildtheprefixdictionaryunlessit'snecessary.Thistakes1-3seconds,afterwhichitisnotinitializedagain.IfyouwanttoinitializeJiebamanually,youcancall: importjieba jieba.initialize()#(optional) Youcanalsospecifythedictionary(notsupportedbeforeversion0.28): jieba.set_dictionary('data/dict.txt.big') UsingOtherDictionaries ItispossibletouseyourowndictionarywithJieba,andtherearealsotwodictionariesreadyfordownload: Asmallerdictionaryforasmallermemoryfootprint: https://github.com/fxsjy/jieba/raw/master/extra_dict/dict.txt.small ThereisalsoabiggerdictionarythathasbettersupportfortraditionalChinese(繁體):https://github.com/fxsjy/jieba/raw/master/extra_dict/dict.txt.big Bydefault,anin-betweendictionaryisused,called dict.txt andincludedinthedistribution. Ineithercase,downloadthefileyouwant,andthencall jieba.set_dictionary('data/dict.txt.big') orjustreplacetheexisting dict.txt. Segmentationspeed 1.5MB/SecondinFullMode 400KB/SecondinDefaultMode TestEnv:Intel(R)Core(TM)[email protected]；《圍城》.txt 發表評論 登录 所有評論 還沒有人評論，想成為第一個評論的人麼?請在上方評論欄輸入並且點擊發布. 相關文章 CF356B-XeniaandHamming題解 題目鏈接：https://codeforces.com/problemset/problem/356/B 題目大意： 字符串\(a\)是字符串\(x\)循環\(n\)次（\(a=\sum\limits_{n}x\)）， 字 quanjun 2022-06-0614:38:45 全局對象和全局函數 在web瀏覽器當中，window對象就是global對象 所有在全局作用域當中定義的函數和對象都是window對象的屬性。

全局函數可以直接調用 isNaN,isFinite, eval,把字符串解析成JavaScript來執行，並返回執 T1amo 2022-06-0614:37:25 JavaScript異步編程的方法 異步編程： 在瀏覽器端，異步編程非常重要，耗時很長的操作都應該異步執行，避免瀏覽器失去響應。

最常見的例子就是通過AJAX向服務器發送異步請求。

異步編程有很多種方法 1、回調函數 比如有兩個函數f1();f2();//f2依賴於f1的執行狀 T1amo 2022-06-0614:37:25 《劍指offer》—JavaScript（2）替換空格 題目描述 　　請實現一個函數，將一個字符串中的空格替換成“%20”。

例如，當字符串爲WeAreHappy.則經過替換之後的字符串爲We%20Are%20Happy。

實現代碼 functionreplaceSpace(str) { T1amo 2022-06-0614:37:15 《劍指offer》—JavaScript（1）二維數組中的查找 題目描述 　　在一個二維數組中，每一行都按照從左到右遞增的順序排序，每一列都按照從上到下遞增的順序排序。

請完成一個函數，輸入這樣的一個二維數組和一個整數，判斷數組中是否含有該整數。

實現代碼 functionFind(target, T1amo 2022-06-0614:37:15 《劍指offer》—JavaScript（3）從尾到頭打印鏈表 從尾到頭打印鏈表 題目描述 　　輸入一個鏈表，從尾到頭打印鏈表每個節點的值。

實現代碼 /*functionListNode(x){ this.val=x; this.next=null; }*/ functi T1amo 2022-06-0614:37:15 testofCMSoft 題型： 選擇（45分鐘） 多選題20道 關於數據結構（進棧出棧），狀態碼，面向對象編程的原則，TCP/IP在哪一層，排序算法大於ologn的是，前序遍歷後序遍歷中序遍歷，其他的忘記了，反正基本不會 前端的單選5道，多選10道 關於HTML, T1amo 2022-06-0614:37:15 dislpay:flex佈局 1、兩欄佈局：左側定寬右側自適應 T1amo 2022-06-0614:37:15 20220606Java工具類，去重10億手機號碼 參考資料 還有一個這麼香的Java工具類，去重10億手機號碼-B站 問題描述 11位手機號碼 如何對10億手機號碼去重？ 思路分析 11位手機號碼，首位都是1，所以可以以10位的形式來處理 保存方法 如果以字符存入內 流星