22 個最常用的Python包

優質文章，第一時間送達！

作者 | Erik-Jan van Baaren

策劃 | 萬佳

出處 | 架構頭條

全球各地的程序員都是怎樣使用 Python？

我們從最常用的 Python 包入手，去解答上述這個問題。最初，我列出過去一年在 PyPI 上下載次數最多的 Python 包。接下來，深入研究其用途、它們之間的關係和它們備受歡迎的原因。

1 Urllib3

下載次數：8.93 億

Urllib3是一個 Python 的 HTTP 客戶端，它擁有 Python 標準庫中缺少的許多功能：

• 線程安全
• 連接池
• 客戶端 SSL/TLS 驗證
• 使用分段編碼上傳文件
• 用來重試請求和處理 HTTP 重定向的助手
• 支持 gzip 和 deflate 編碼
• HTTP 和 SOCKS 的代理支持

不要被名字所誤導，Urllib3並不是urllib2的後繼者，而後者是 Python 核心的一部分。如果你想使用盡可能多的 Python 核心功能，或者你能安裝什麼東西是受限，那麼請查看 urlllib.request。

https://docs.python.org/3/library/urllib.request.html#module-urllib.request

對最終用戶來說，我強烈建議使用 requests 包（參閱列表中的 #6）。這個包之所以會排名第一，是因為有差不多 1200 個包依賴 urllib3，其中許多包在這個列表中的排名也很高。

https://libraries.io/pypi/urllib3/dependents

2 Six

下載次數：7.32 億

six 是一個是 Python 2 和 3 的兼容性庫。這個項目旨在支持可同時運行在 Python 2 和 3 上的代碼庫。

它提供了許多可簡化 Python 2 和 3 之間語法差異的函數。一個容易理解的例子是six.print_。在 Python 3 中，打印是通過print函數完成的，而在 Python 2 中，print後面沒有括號。因此，有了six.print_後，你就可以使用一個語句來同時支持兩種語言。

一些事實：

• 它的名字叫six，是因為二乘以三等於六。
• 同類庫還可以看看future包。
• 如果你要將代碼轉換為 Python3（並停止支持 2），請查看 2to3。

雖然我理解它為什麼這麼受歡迎，但我希望人們能完全放棄 Python 2，因為要知道從 2020 年 1 月 1 日起 Python 2 的官方支持就已停止。

PyPI 頁面

https://pypi.org/project/six/

文檔

https://six.readthedocs.io/

3 botocore、boto3、s3transfer、awscli

這裡，我把相關的幾個項目列在一起：

botocore（#3，6.6 億次下載）

s3transfer（#7，5.84 億次下載）

awscli（#17，3.94 億次下載）

boto3（#22，3.29 億次下載）

Botocore是 AWS 的底層接口。Botocore是 Boto3 庫（#22）的基礎，後者讓你可以使用 Amazon S3 和 Amazon EC2 一類的服務。Botocore 還是 AWS-CLI 的基礎，後者為 AWS 提供統一的命令行界面。

S3transfer（#7）是用於管理 Amazon S3 傳輸的 Python 庫。它正在積極開發中，其介紹頁面不推薦人們現在使用，或者至少等版本固定下來再用，因為其 API 可能發生變化，在次要版本之間都可能更改。Boto3、AWS-CLI和其他許多項目都依賴s3transfer。

令人驚訝的是，這些針對 AWS 庫的排名竟如此之高——這充分說明了 AWS 有多厲害。

4 Pip

下載次數：6.27 億

我想，你們大多數人都知道並且很喜歡 pip，它是 Python 的包安裝器。你可以用 pip 輕鬆地從 Python 包索引和其他索引（例如本地鏡像或帶有私有軟件的自定義索引）來安裝軟件包。

有關 pip 的一些有趣事實：

• pip是“Pip Installs Packages”的首字母遞歸縮寫。
• pip很容易使用。要安裝一個包只需pip install <package>即可，而刪除包只需pip uninstall <package>即可。/<package>/<package>
• 最大優點之一是它可以獲取包列表，通常以requirements.txt文件的形式獲取。該文件能選擇包含所需版本的詳細規範。大多數 Python 項目都包含這樣的文件。
• 如果結合使用pip與virtualenv（列表中的 #57），就可以創建可預測的隔離環境，同時不會干擾底層系統，反之亦然。要了解更多細節，請查看這篇文章：

https://medium.com/better-programming/stop-installing-python-packages-globally-use-virtual-environments-a31dee9fb2de

5 Python-dateutil

下載次數：6.17 億

python-dateutil模塊提供了對標準datetime模塊的強大擴展。我的經驗是，常規的Python datetime缺少哪些功能，python-dateutil就能補足那一塊。

你可以用這個庫做很多很棒的事情。其中，我發現的一個特別有用的功能就是：模糊解析日誌文件中的日期，例如：

from dateutil.parser import parse
logline = 'INFO 2020-01-01T00:00:01 Happy new year, human.'timestamp = parse(log_line, fuzzy=True)print(timestamp)# 2020-01-01 00:00:01

6 Requests

下載次數：6.11 億

Requests建立在我們的 #1 庫——urllib3基礎上。它讓 Web 請求變得非常簡單。相比urllib3來說，很多人更喜歡這個包。而且使用它的最終用戶可能也比urllib3更多。後者更偏底層，並且考慮到它對內部的控制級別，它一般是作為其他項目的依賴項。

下面這個例子說明 requests 用起來有多簡單：

import requests
r = requests.get('https://api.github.com/user', auth=('user', 'pass'))r.status_code# 200r.headers['content-type']# 'application/json; charset=utf8'r.encoding# 'utf-8'r.text# u'{"type":"User"...'r.json# {u'disk_usage': 368627, u'private_gists': 484, ...}

PyPI 頁面

https://pypi.org/project/requests

文檔

https://2.python-requests.org/en/master/

7 S3transfer

這裡把 #3、#7、#17 和 #22 放在一起介紹，因為它們的關係非常密切。

8 Certifi

下載次數：5.52 億

近年來，幾乎所有網站都轉向 SSL，你可以通過地址欄中的小鎖符號來識別它。加了小鎖意味著與該站點的通信是安全和加密的，能防止竊聽行為。

小鎖告訴我們此網站已使用 SSL 保護

加密過程是基於 SSL 證書的，並且這些 SSL 證書由受信任的公司或非營利組織（如 LetsEncrypt）創建。這些組織使用他們的（中間）證書對這些證書進行數字簽名。

你的瀏覽器使用這些證書的公開可用部分來驗證這些簽名，這樣就能確保你正查看的是真實內容，並且沒有人能窺探到通信數據。Python 軟件也能做同樣事情。這就是 certifi 的用途所在。它與 Chrome、Firefox 和 Edge 等網絡瀏覽器隨附的根證書集合沒有太大區別。

Certifi是根證書的一個精選集合，有了它，你的 Python 代碼就能驗證 SSL 證書的可信度。

如此處所示，許多項目信任並依賴 certifi。這也是該項目排名如此之高的原因所在。

https://libraries.io/pypi/certifi/dependents

certifi PyPI 頁面

https://pypi.org/project/certifi/

文檔

https://certifiio.readthedocs.io/en/latest/

9 Idna

下載次數：5.27 億

根據其 PyPI 頁面，idna提供了“對 RFC5891 中指定的應用程序中國際化域名（IDNA）協議的支持。”

可能你像我一樣也是一頭霧水，不知道Idna是什麼，有什麼用！據悉，應用程序中的國際化域名（IDNA）是一種用來處理包含非 ASCII 字符的域名機制。但是，原始域名系統已經提供對基於非 ASCII 字符的域名支持。所以，哪有問題？

問題在於應用程序（例如電子郵件客戶端和 Web 瀏覽器）不支持非 ASCII 字符。更具體地說，電子郵件和 HTTP 用的協議不支持這些字符。對許多國家來說，這沒什麼問題，但是像中國、俄羅斯、德國、希臘和印度尼西亞等國家，這是個問題。最後，來自這些地方的一群聰明人想到 IDNA。

IDNA的核心是兩個函數：ToASCII和ToUnicode。ToASCII會將國際 Unicode 域轉換為 ASCII 字符串。ToUnicode則逆轉該過程。在IDNA包中，這些函數稱為idna.encode和idna.decode，如以下代碼片段所示：

import idnaidna.encode('ドメイン.テスト')# b'xn--eckwd4c7c.xn--zckzah'print(idna.decode('xn--eckwd4c7c.xn--zckzah'))# ドメイン.テスト

如果你是受虐狂，則可以閱讀 RFC-3490 瞭解這一編碼的詳細信息。

PyPI 頁面

https://pypi.org/project/idna/

GitHub 頁面

https://github.com/kjd/idna

10 PyYAML

下載次數：5.25 億

YAML是一種數據序列化格式。它的設計宗旨是讓人類和計算機都能很容易地閱讀代碼——人類很容易讀寫它的內容，計算機也可以解析它。

PyYAML是 Python 的YAML解析器和發射器，這意味著它可以讀寫YAML。它會把任何 Python 對象寫成YAML：列表、字典，甚至是類實例都包括在內。

Python 提供了自己的配置解析器，但是與 Python 的ConfigParser的基本.ini文件結構相比，YAML 提供更多功能。

https://docs.python.org/3/library/configparser.html

例如，YAML可以存儲任何數據類型：布爾值、列表、浮點數等等。ConfigParser會將所有內容存儲為內部字符串。如果要使用ConfigParser加載整數，則你需要指定自己要顯式獲取一個int：

config.getint(“section”, “my_int”)

pyyaml能自動識別類型，所以這將使用PyYAML返回你的int：

config[“section”][“my_int”]

YAML還允許任意的 deep trees，雖然不是每個項目都需要這種東西，但是需要時，它就可以派上用場。你可能有自己的偏好，但是許多項目都使用YAML作為配置文件，所以這個項目是很受歡迎的。

PyPI 頁面

https://pypi.org/project/PyYAML/

文檔

https://pyyaml.org/

11 Pyasn1

下載次數：5.12 億

像上面的IDNA一樣，這個項目也非常有用：

ASN.1 類型和 DER/BER/CER 編碼（X.208）的純 Python 實現

所幸這個已有數十年曆史的標準有很多信息可用。ASN.1是 Abstract Syntax Notation One 的縮寫，它就像是數據序列化的教父。它來自電信行業。也許你知道協議緩衝區或 Apache Thrift？這就是它們的 1984 年版本。

ASN.1 描述了系統之間的跨平臺接口，以及可以通過該接口發送的數據結構。

還記得 Certifi（請參閱 #8）嗎？ASN.1 用於定義 HTTPS 協議和其他許多加密系統中使用的證書格式。它也用在了 SNMP、LDAP、Kerberos、UMTS、LTE 和 VOIP 協議中。

這是一個非常複雜的規範，並且某些實現已被證明滿是漏洞。你可能還會喜歡關於 ASN.1 的這個有趣的 Reddit 帖子。

https://www.reddit.com/r/programming/comments/1hf7ds/useful_old_technologies_asn1/

一個建議，除非你真的需要，否則還是敬而遠之吧。但由於它用在很多地方，因此許多包都依賴這個包。

12 Docutils

下載次數：5.08 億

Docutils是一個模塊化系統，用來將純文本文檔處理為很多有用的格式，例如 HTML、XML 和 LaTeX 等。Docutils能讀取reStructuredText格式的純文本文檔，這種格式是類似於 MarkDown 的易讀標記語法。

你可能聽說過，甚至讀過 PEP 文檔。

https://www.python.org/dev/peps/pep-0012/

那麼什麼是 PEP 文檔？最早的 PEP 文檔，PEP-1 為我們提供很好的解釋：

PEP 的意思是 Python 增強提案。一個 PEP 就是一個設計文檔，用來向 Python 社區提供信息，或描述 Python 或其過程或環境的新功能。PEP 應該提供該功能的簡明技術規範以及功能的原理。

PEP 文檔使用固定的reStructuredText模板編寫，並使用docutils轉換為格式正確的文檔。

Docutils 也是Sphinx的核心。Sphinx用於創建文檔項目。如果Docutils是一臺機器，則Sphinx就是工廠。它最初是為了構建 Python 文檔而創建的，但其他許多項目也使用它為代碼提供文檔。你可能已經讀過 readthedocs.org 上的文檔，那裡的大多數文檔都是由Sphinx和docutils創建的。

13Chardet

下載次數：5.01 億

你可以用chardet模塊來檢測文件或數據流的字符集。比如說，需要分析大量隨機文本時，這會很有用。但你也可以在處理遠程下載的數據，但不知道用的是什麼字符集時使用它。

安裝chardet後，你還有一個名為chardetect的命令行工具，用法如下：

chardetect somefile.txtsomefile.txt: ascii with confidence 1.0

你還能通過編程方式使用這個庫，具體參閱文檔。Chardet是requests等許多包的需求。我覺得沒有多少人會單獨使用chardet，所以它這麼流行肯定是因為這些依賴項。

https://chardet.readthedocs.io/en/latest/usage.html

14 RSA

下載次數：4.92 億

rsa包是一個純 Python 的 RSA 實現。它支持：

• 加密和解密
• 簽名和驗證簽名
• 根據 PKCS#1 1.5 版生成密鑰

它既可以用作 Python 庫，也能在命令行中使用。

一些事實：

• RSA 是 RonRivest、Adi Shamir 和 Leonard Adleman 三人姓的首字母。他們在 1977 年發明該算法。
• RSA 是最早的公鑰密碼系統之一，被廣泛用於安全數據傳輸。在這樣的密碼系統中，有兩個密鑰：公共部分和私有部分。你用公鑰加密數據，只能用私鑰解密數據。
• RSA 是一種 slow algorithm。它很少用於直接加密用戶數據。通常，RSA 用於安全傳遞對稱密鑰加密的共享密鑰，這樣加密和解密大量數據時會快得多。

以下代碼段展示瞭如何在一個非常簡單的用例中使用 RSA：

import rsa
# Bob creates a key pair:(bob_pub, bob_priv) = rsa.newkeys(512)
# Alice ecnrypts a message for Bob# with his public keycrypto = rsa.encrypt('hello Bob!', bob_pub)
# When Bob gets the message, he# decrypts it with his private key:message = rsa.decrypt(crypto, bob_priv)print(message.decode('utf8'))# hello Bob!

假設 Bob 保留自己的私鑰 private，那麼 Alice 可以確定他是唯一可以閱讀該消息的人。但是，Bob 不能確定是 Alice 發送了該消息，因為任何人都可以獲取並使用他的公鑰。為證明是她，Alice 可以用她的私鑰在郵件上簽名。Bob 可以用她的公鑰驗證此簽名，確保消息的確是她發送的。

諸如google-auth（#37）、oauthlib（#54）、awscli（#17）之類的包都依賴rsa包。很少有人會將這個工具獨立使用，因為有更快、更原生的替代方法。

15 Jmespath

下載次數：4.73 億

在 Python 中用 JSON 非常容易，因為它在 Python 字典上的映射非常好。對我來說，這是它最好的特性之一。

實話實說——儘管我已經用 JSON 做過很多工作，但我從未聽說過這個包。我只是用 json.loads 並從字典中手動獲取數據，也許再搞個循環什麼的。

JMESPath，發音為“James path”，使 Python 中的 JSON 更容易使用。它允許你聲明性地指定如何從 JSON 文檔中提取元素。以下是一些基本示例：

import jmespath
# Get a specific elementd = {"foo": {"bar": "baz"}}print(jmespath.search('foo.bar', d))# baz
# Using a wildcard to get all namesd = {"foo": {"bar": [{"name": "one"}, {"name": "two"}]}}print(jmespath.search('foo.bar[*].name', d))# [“one”, “two”]

PyPI 頁面

https://pypi.org/project/jmespath/

文檔

http://jmespath.org/

16 Setuptools

下載次數：4.01 億

它是用於創建 Python 包的工具。不過，其文檔很糟糕。它沒有清晰描述它的用途，並且文檔中包含無效鏈接。最好的信息源是這個站點，特別是這個創建 Python 包的指南。

https://packaging.python.org/

https://packaging.python.org/tutorials/packaging-projects/

17 Awscli

這裡把 #3、#7、#17 和 #22 放在一起介紹，因為它們的關係非常密切。

18 Pytz

下載次數：3.94 億次

像dateutils（#5）一樣，這個庫可幫助你處理日期和時間。有時候，時區處理起來可能很麻煩。幸好有這樣的包，可以讓事情變得簡單些。

我自己關於計算機上處理時間的經驗總結來說是：始終在內部使用 UTC。僅當生成供人類讀取的輸出時，才轉換為本地時間。

這是pytz用法的示例：

from datetime import datetimefrom pytz import timezone
amsterdam = timezone('Europe/Amsterdam')
ams_time = amsterdam.localize(datetime(2002, 10, 27, 6, 0, 0))print(ams_time)# 2002-10-27 06:00:00+01:00
# It will also know when it's Summer Time# in Amsterdam (similar to Daylight Savings Time):ams_time = amsterdam.localize(datetime(2002, 6, 27, 6, 0, 0))print(ams_time)# 2002-06-27 06:00:00+02:00

19 Futures

下載次數：3.89 億

從 Python 3.2 開始，python 提供current.futures模塊，可幫助你實現異步執行。futures 包是該庫適用於 Python 2 的 backport。它不適用於 Python3 用戶，因為 Python 3 原生提供了該模塊。

正如我之前提到的，從 2020 年 1 月 1 日起，Python 2 的官方支持停止。希望我明年重新再來看的時候，這個包不會再出現在前 22 名中吧。

下面是 futures 的基本示例：

from concurrent.futures import ThreadPoolExecutorfrom time import sleep
def return_after_5_secs(message): sleep(5) return message
pool = ThreadPoolExecutor(3)
future = pool.submit(return_after_5_secs, ("Hello world"))
print(future.done)# Falsesleep(5)print(future.done)# Trueprint(future.result)# Hello World

如你所見，你可以創建一個線程池並提交一個要由這些線程之一執行的函數。同時，你的程序將繼續在主線程中運行。這是並行執行程序的簡便方法。

20 Colorama

下載次數：3.7 億

使用 Colorama，你可以為終端添加一些顏色：

https://pypi.org/project/colorama/

這樣做起來非常容易，具體請查看以下示例代碼：

from colorama import Fore, Back, Style
print(Fore.RED + 'some red text')print(Back.GREEN + 'and with a green background')print(Style.DIM + 'and in dim text')print(Style.RESET_ALL)print('back to normal now')

21 Simplejson

下載次數：3.41 億

原生的json模塊有什麼問題，才需要這種高級替代方案呢？並沒有！實際上，Python 的json就是simplejson。但是simplejson也有一些優點：

• 它適用於更多的 Python 版本。
• 它比 Python 更新的頻率更頻繁。
• 它有用 C 編寫的（可選）部分，因此速度非常快。

你經常會在支持 JSON 的腳本中看到以下內容：

try: import simplejson as jsonexcept ImportError: import json

除非你需要標準庫中所沒有的內容，否則我只會使用json。Simplejson可以比json快很多，因為它有一些用 C 實現的部分。除非你正在處理成千上萬個 JSON 文件，否則這種優勢對你來說不是什麼大事。還可以看看 UltraJSON，它應該更快一些，因為它幾乎所有的代碼都是用 C 編寫的。

22 Boto3

這裡把 #3、#7、#17 和 #22 放在一起介紹，因為它們的關係非常密切。

23 小結

僅僅介紹這 22 個包恐怕不夠，因為排在後面的許多包都是像我們這樣最終用戶感興趣的。

通過製作這份列表，我瞭解到一些新東西：

1. 許多排名靠前的 package（包）都提供某種核心功能，例如處理時間、配置文件、加密和標準化等。它們往往是其他項目的依賴項。
2. 一個常見的主題是連接性。這些包大多允許你連接到服務器和服務，或支持其他包這樣做。
3. 剩下的那些是對 Python 的擴展。創建 Python 包的工具、幫助創建文檔的工具、創建版本之間兼容性的庫等。

延展閱讀：

https://medium.com/better-programming/the-22-most-used-python-packages-in-the-world-7020a904b2e

回覆下方「關鍵詞」，獲取優質資源
回覆關鍵詞「 pybook03」，立即獲取主頁君與小夥伴一起翻譯的《Think Python 2e》電子版
回覆關鍵詞「入門資料」，立即獲取主頁君整理的 10 本 Python 入門書的電子版
回覆關鍵詞「m」，立即獲取Python精選優質文章合集
回覆關鍵詞「」，將數字替換成 0 及以上數字，有驚喜好禮哦~
題圖：pexels，CC0 授權。

好文章，我在看❤️ 

閱讀更多 編程派 的文章

關鍵字: Amazon Python EC2