文本處理

　　用于解析和操作簡單文本的庫。

　　通用

　　difflib – (Python標準庫)幫助進行差異化比較。

　　Levenshtein – 快速計算Levenshtein距離和字符串相似度。

　　fuzzywuzzy – 模糊字符串匹配。

　　esmre – 正則表達式加速器。

　　ftfy – 自動整理Unicode文本，減少碎片化。

　　自然語言處理

　　處理人類語言問題的庫。

　　NLTK -編寫Python程序來處理人類語言數據的最好平臺。

　　Pattern – Python的網絡挖掘模塊。他有自然語言處理工具，機器學習以及其它。

　　TextBlob – 為深入自然語言處理任務提供了一致的API。是基于NLTK以及Pattern的巨人之肩上發展的。

　　jieba – 中文分詞工具。

　　SnowNLP – 中文文本處理庫。

　　loso – 另一個中文分詞庫。

　　瀏覽器自動化與仿真

　　selenium – 自動化真正的瀏覽器(Chrome瀏覽器，火狐瀏覽器，Opera瀏覽器，IE瀏覽器)。

　　Ghost.py – 對PyQt的webkit的封裝(需要PyQT)。

　　Spynner – 對PyQt的webkit的封裝(需要PyQT)。

　　Splinter – 通用API瀏覽器模擬器(selenium web驅動，Django客戶端，Zope)。

　　多重處理

　　threading – Python標準庫的線程運行。對于I/O密集型任務很有效。對于CPU綁定的任務沒用，因為python GIL。

　　multiprocessing – 標準的Python庫運行多進程。

　　celery – 基于分布式消息傳遞的異步任務隊列/作業隊列。

　　concurrent-futures – concurrent-futures 模塊為調用異步執行提供了一個高層次的接口。

　　異步

　　異步網絡編程庫

　　asyncio – (在Python 3.4 +版本以上的 Python標準庫)異步I/O，時間循環，協同程序和任務。

　　Twisted – 基于事件驅動的網絡引擎框架。

　　Tornado – 一個網絡框架和異步網絡庫。

　　pulsar – Python事件驅動的并發框架。

　　diesel – Python的基于綠色事件的I/O框架。

　　gevent – 一個使用greenlet 的基于協程的Python網絡庫。

　　eventlet – 有WSGI支持的異步框架。

　　Tomorrow – 異步代碼的奇妙的修飾語法。

　　隊列

　　celery – 基于分布式消息傳遞的異步任務隊列/作業隊列。

　　huey – 小型多線程任務隊列。

　　mrq – Mr. Queue – 使用redis & Gevent 的Python分布式工作任務隊列。

　　RQ – 基于Redis的輕量級任務隊列管理器。

　　simpleq – 一個簡單的，可無限擴展，基于Amazon SQS的隊列。

　　python-gearman – Gearman的Python API。

　　云計算

　　picloud – 云端執行Python代碼。

　　http://dominoup.com – 云端執行R，Python和matlab代碼

　　網頁內容提取

　　提取網頁內容的庫。

　　HTML頁面的文本和元數據

　　newspaper – 用Python進行新聞提取、文章提取和內容策展。

　　html2text – 將HTML轉為Markdown格式文本。

　　python-goose – HTML內容/文章提取器。

　　lassie – 人性化的網頁內容檢索工具

　　WebSocket

　　用于WebSocket的庫。

　　Crossbar – 開源的應用消息傳遞路由器(Python實現的用于Autobahn的WebSocket和WAMP)。

　　AutobahnPython – 提供了WebSocket協議和WAMP協議的Python實現并且開源。

　　WebSocket-for-Python – Python 2和3以及PyPy的WebSocket客戶端和服務器庫。

　　DNS解析

　　dnsyo – 在全球超過1500個的DNS服務器上檢查你的DNS。

　　pycares – c-ares的接口。c-ares是進行DNS請求和異步名稱決議的C語言庫。

　　計算機視覺

　　OpenCV – 開源計算機視覺庫。

　　SimpleCV – 用于照相機、圖像處理、特征提取、格式轉換的簡介，可讀性強的接口(基于OpenCV)。

　　mahotas – 快速計算機圖像處理算法(完全使用 C++ 實現)，完全基于 numpy 的數組作為它的數據類型。

　　代理服務器

　　shadowsocks – 一個快速隧道代理，可幫你穿透防火墻(支持TCP和UDP，TFO，多用戶和平滑重啟，目的IP黑名單)。

　　tproxy – tproxy是一個簡單的TCP路由代理(第7層)，基于Gevent，用Python進行配置。

聲明：本站稿件版權均屬千鋒教育所有，未經許可不得擅自轉載。