jieba 詳細介紹 - 程式庫

jieba. "結巴"中文分詞：做最好的Python中文分片語件"Jieba" ... 佔用記憶體較小的詞典檔案 https://github.com/fxsjy/jieba/raw/master/extra_dict/dict.txt.small. 首頁 Python程式庫趨勢 Python程式庫 Python技術部落格 jieba詳細介紹 自然語言處理 機器學習 分詞 原文：https://github.com/fxsjy/jieba jieba "結巴"中文分詞：做最好的Python中文分片語件"Jieba"  Feature 支援三種分詞模式：  精確模式，試圖將句子最精確地切開，適合文字分析； 全模式，把句子中所有的可以成詞的詞語都掃描出來,速度非常快，但是不能解決歧義； 搜尋引擎模式，在精確模式的基礎上，對長詞再次切分，提高召回率，適合用於搜尋引擎分詞。

 支援繁體分詞 支援自定義詞典  Python2.x下的安裝 全自動安裝：easy_installjieba 或者 pipinstalljieba 半自動安裝：先下載http://pypi.python.org/pypi/jieba/ ，解壓後執行pythonsetup.pyinstall 手動安裝：將jieba目錄放置於當前目錄或者site-packages目錄 透過importjieba來引用（第一次import時需要構建Trie樹，需要幾秒時間）  Python3.x下的安裝 目前master分支是隻支援Python2.x的 Python3.x版本的分支也已經基本可用： https://github.com/fxsjy/jieba/tree/jieba3kgit clone https://github.com/fxsjy/jieba.git git checkout jieba3k python setup.py install Algorithm 基於Trie樹結構實現高效的詞圖掃描，生成句子中漢字所有可能成詞情況所構成的有向無環圖（DAG) 採用了動態規劃查詢最大機率路徑,找出基於詞頻的最大切分組合 對於未登入詞，採用了基於漢字成詞能力的HMM模型，使用了Viterbi演算法  功能1)：分詞 jieba.cut方法接受兩個輸入引數:1)第一個引數為需要分詞的字串2）cut_all引數用來控制是否採用全模式 jieba.cut_for_search方法接受一個引數：需要分詞的字串,該方法適合用於搜尋引擎構建倒排索引的分詞，粒度比較細 注意：待分詞的字串可以是gbk字串、utf-8字串或者unicode jieba.cut以及jieba.cut_for_search返回的結構都是一個可迭代的generator，可以使用for迴圈來獲得分詞後得到的每一個詞語(unicode)，也可以用list(jieba.cut(...))轉化為list  程式碼示例(分詞) #encoding=utf-8 import jieba seg_list = jieba.cut("我來到北京清華大學",cut_all=True) print "Full Mode:", "/ ".join(seg_list) #全模式 seg_list = jieba.cut("我來到北京清華大學",cut_all=False) print "Default Mode:", "/ ".join(seg_list) #精確模式 seg_list = jieba.cut("他來到了網易杭研大廈") #預設是精確模式 print ", ".join(seg_list) seg_list = jieba.cut_for_search("小明碩士畢業於中國科學院計算所，後在日本京都大學深造") #搜尋引擎模式 print ", ".join(seg_list) Output: 【全模式】: 我/ 來到/ 北京/ 清華/ 清華大學/ 華大/ 大學 【精確模式】: 我/ 來到/ 北京/ 清華大學 【新詞識別】：他, 來到, 了, 網易, 杭研, 大廈    (此處，“杭研”並沒有在詞典中，但是也被Viterbi演算法識別出來了) 【搜尋引擎模式】： 小明, 碩士, 畢業, 於, 中國, 科學, 學院, 科學院, 中國科學院, 計算, 計算所, 後, 在, 日本, 京都, 大學, 日本京都大學, 深造 功能2)：新增自定義詞典 開發者可以指定自己自定義的詞典，以便包含jieba詞庫裡沒有的詞。

雖然jieba有新詞識別能力，但是自行新增新詞可以保證更高的正確率 用法：jieba.load_userdict(file_name)#file_name為自定義詞典的路徑 詞典格式和dict.txt一樣，一個詞佔一行；每一行分三部分，一部分為詞語，另一部分為詞頻，最後為詞性（可省略），用空格隔開 範例：  之前：李小福/是/創新/辦/主任/也/是/雲/計算/方面/的/專家/ 載入自定義詞庫後：　李小福/是/創新辦/主任/也/是/雲計算/方面/的/專家/ 自定義詞典：https://github.com/fxsjy/jieba/blob/master/test/userdict.txt用法示例：https://github.com/fxsjy/jieba/blob/master/test/test_userdict.py"透過使用者自定義詞典來增強歧義糾錯能力"--- https://github.com/fxsjy/jieba/issues/14 功能3)：關鍵詞提取 jieba.analyse.extract_tags(sentence,topK)#需要先importjieba.analyse setence為待提取的文字 topK為返回幾個TF/IDF權重最大的關鍵詞，預設值為20  程式碼示例（關鍵詞提取） https://github.com/fxsjy/jieba/blob/master/test/extract_tags.py 功能4):詞性標註 標註句子分詞後每個詞的詞性，採用和ictclas相容的標記法 用法示例 >>> import jieba.posseg as pseg >>> words =pseg.cut("我愛北京天安門") >>> for w in words: ...    print w.word,w.flag ... 我 r 愛 v 北京 ns 天安門 ns 功能5):並行分詞 原理：將目標文字按行分隔後，把各行文字分配到多個python程序並行分詞，然後歸併結果，從而獲得分詞速度的可觀提升 基於python自帶的multiprocessing模組，目前暫不支援windows 用法：  jieba.enable_parallel(4) #開啟並行分詞模式，引數為並行程序數 jieba.disable_parallel() #關閉並行分詞模式 例子： https://github.com/fxsjy/jieba/blob/master/test/parallel/test_file.py實驗結果：在4核3.4GHzLinux機器上，對金庸全集進行精確分詞，獲得了1MB/s的速度，是單程序版的3.3倍。

    功能6):Tokenize：返回詞語在原文的起始位置 注意，輸入引數只接受unicode 預設模式  result = jieba.tokenize(u'永和服裝飾品有限公司') for tk in result:     print "word %s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2]) word 永和                start: 0                end:2 word 服裝                start: 2                end:4 word 飾品                start: 4                end:6 word 有限公司            start: 6                end:10 搜尋模式  result = jieba.tokenize(u'永和服裝飾品有限公司',mode='search') for tk in result:     print "word %s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2]) word 永和                start: 0                end:2 word 服裝                start: 2                end:4 word 飾品                start: 4                end:6 word 有限                start: 6                end:8 word 公司                start: 8                end:10 word 有限公司            start: 6                end:10 功能7):ChineseAnalyzerforWhoosh搜尋引擎 引用： fromjieba.analyseimportChineseAnalyzer 用法示例：https://github.com/fxsjy/jieba/blob/master/test/test_whoosh.py 其他詞典 佔用記憶體較小的詞典檔案 https://github.com/fxsjy/jieba/raw/master/extra_dict/dict.txt.small支援繁體分詞更好的詞典檔案 https://github.com/fxsjy/jieba/raw/master/extra_dict/dict.txt.big 下載你所需要的詞典，然後覆蓋jieba/dict.txt即可或者用jieba.set_dictionary('data/dict.txt.big') 模組初始化機制的改變:lazyload（從0.28版本開始） jieba採用延遲載入，"importjieba"不會立即觸發詞典的載入，一旦有必要才開始載入詞典構建trie。

如果你想手工初始jieba，也可以手動初始化。

import jieba jieba.initialize() #手動初始化（可選） 在0.28之前的版本是不能指定主詞典的路徑的，有了延遲載入機制後，你可以改變主詞典的路徑: jieba.set_dictionary('data/dict.txt.big') 例子： https://github.com/fxsjy/jieba/blob/master/test/test_change_dictpath.py 分詞速度 1.5MB/SecondinFullMode 400KB/SecondinDefaultMode TestEnv:Intel(R)Core(TM)[email protected]；《圍城》.txt  常見問題 1）模型的資料是如何生成的？https://github.com/fxsjy/jieba/issues/7 2）這個庫的授權是? https://github.com/fxsjy/jieba/issues/2 更多問題請點選：https://github.com/fxsjy/jieba/issues?sort=updated&state=closed 更多相關推薦 jieba分詞太慢，怎麼辦？找jieba... 自然語言處理 機器學習 分詞 原文連結：https://www.rtnzero.com/archives/272.html有時候感覺處理一個幾十M的文字，要一分... 繼續閱讀 Pythonjieba分詞知識整合 自然語言處理 機器學習 分詞 Pythonjieba分詞知識整合文章目錄Pythonjieba分詞知識整合文章目錄說明Jieba安裝說明Jieba分詞... 繼續閱讀 中文自然語言處理--jieba中文分... 自然語言處理 機器學習 分詞 jieba的分詞演算法主要有以下三步：1.基於統計詞典，構造字首詞典，基於字首詞典對句子進行切分... 繼續閱讀 jieba分詞原始碼解讀三 自然語言處理 機器學習 分詞 前面兩篇文章說到了根據語料庫和頻度打分機制生成一個初步的分詞結果。

但是我們的分詞結果僅僅... 繼續閱讀 jieba分詞原始碼解讀四 自然語言處理 機器學習 分詞 在上一節中我們考察了結巴分詞對於未登入詞的分詞方法，它使用了HMM模型和用來解碼HMM的維特比... 繼續閱讀 《自然語言處理》-Jieba分詞器... 自然語言處理 機器學習 分詞 1.jieba中文分詞處理jieba.lcut以及jieba.lcut_for_search直接返回list作用和cut與cut_for_sea... 繼續閱讀 python:jieba庫的使用大全 自然語言處理 機器學習 分詞 安裝jieba是一個第三方庫，所有需要我們在本地進行安裝。

Windows下使用命令安裝：在聯網狀態下... 繼續閱讀 中文分詞原理及jieba分詞 自然語言處理 機器學習 分詞 本文首先介紹下中文分詞的基本原理，然後介紹下國內比較流行的中文分詞工具，如jieba、SnowNLP... 繼續閱讀 【轉】jieba分詞詳解 自然語言處理 機器學習 分詞 特點支援三種分詞模式：精確模式，試圖將句子最精確地切開，適合文字分析；全模式，把句子中所... 繼續閱讀 jieba中文分詞原始碼分析（一） 自然語言處理 機器學習 分詞 一、緣由接觸自然語言處理(NLP)有段時間，理論知識有些瞭解，挺想動手寫些東西，想想開源界關... 繼續閱讀 隨機推薦 flask系列之模板繼承 PrincipleofComputing(Python)學習筆記(8)Fifteen... 打造屬於自己的量化投資系統5——利用backtrader建立平... 第一篇-python入門 python之testcenter操作 將tf.Tensor與np.array相互轉換---(已解決) Opencv用image.at＜T＞(rows,cols)讀取畫素以及畫素值... python問題