12.24 jieba，宇宙最強Python分詞工具使用指南

結巴分詞是Python語言中最流行的一個分詞工具，在自然語言處理等場景被廣泛使用。

因為GitHub寫的文檔太囉嗦，所以整理了一個簡版的入門使用指南，看完可直接上手

安裝

<code>pip install jieba
/<code>

簡單分詞

<code>import jieba

result = jieba.cut("我愛中國北京大學")
for word in result:
    print(word)
/<code>

輸出

<code>我
愛
中國
北京大學
/<code>

句子切分成了5個詞組。

全模式分詞

<code>result = jieba.cut("我愛中國北京大學", cut_all=True)
for word in result:
    print(word)
/<code>

輸出

<code>我
愛 

中國
北京
北京大學
大學
/<code>

全模式分出來的詞覆蓋面更廣。

提取關鍵詞

從一個句子或者一個段落中提取前k個關鍵詞

<code>import jieba.analyse

result = jieba.analyse.extract_tags("機器學習，需要一定的數學基礎，需要掌握的數學基礎知識特別多，"
                                    "如果從頭到尾開始學，估計大部分人來不及，我建議先學習最基礎的數學知識",
                                    topK=5,
                                    withWeight=False)
import pprint

pprint.pprint(result)
/<code>

輸出

<code>['數學', '學習', '數學知識', '基礎知識', '從頭到尾']
/<code>

• topK 為返回前topk個權重最大的關鍵詞
• withWeight 返回每個關鍵字的權重值

去掉停止詞私信小編01領取完整項目代碼

停止詞是指在句子中無關緊要的詞語，例如標點符號、指示代詞等等，做分詞前要先將這些詞去掉。分詞方法cut不支持直接過濾停止詞，需要手動處理。提取關鍵字的方法 extract_tags 支持停止詞過濾

<code># 先過濾停止詞
jieba.analyse.set_stop_words(file_name)
result = jieba.analyse.extract_tags(content, tokK)
/<code>

file_name 的文件格式是文本文件，每行一個詞語

閱讀更多 有趣的程序媛 的文章

關鍵字: 數學 自然語言處理 宇宙