Python文本數(shù)據(jù)分析：NLTK與jieba概述

　　NLTK全稱為Natural Language Toolkit，它是一套基于Python的自然語言處理工具包，可以方便地完成自然語言處理的任務，包括分詞、詞性標注、命名實體識別(NER)及句法分析等。

　　NLTK是一個免費的、開源的、社區(qū)驅(qū)動的項目，它為超過50個語料庫和詞匯資源(如WordNet)提供了易于使用的接口，以及一套用于分類、標記化、詞干化、解析和語義推理的文本處理庫。接下來，通過一張表來列舉NLTK中用于語言處理任務的一些常用模塊，具體如表8-1所示。

　　表8-1 NLTK中的常用模塊

　　GitHub上有一段描述Jieba的句子：

　　“jieba”(Chinese for “to stutter”)Chinese text segmentation：built to be the best Python Chinese word segmentation module.

　　翻譯：“Jieba”中文分詞：最好的Python中文分詞組件。

　　由此可見，jieba最適合做中文分詞，這離不開它擁有的一些特點：

　　(1)支持三種分詞模式：

　　◆精確模式：視圖將句子最精確地切開，適合文本分析。

　　◆全模式：把句子中所有的可以成詞的詞語都掃描出來，速度非常快，但是不能解決歧義。

　　◆搜索引擎模式：在精確模式的基礎上，對長詞再次切分，提高召回率，適合用于搜索引擎分詞。

　　(2)支持繁體分詞。

　　(3)支持自定義詞典。

　　(4)MIT授權協(xié)議。

　　jieba庫中主要的功能包括分詞、添加自定義詞典、關鍵詞提取、詞性標注、并行分詞等，大家可以參考https://github.com/fxsjy/jieba網(wǎng)址進行全面學習。后期在使用到jieba庫的某些功能時，會再另行單獨介紹。