python學習筆記之手把手講解如何使用原生的 urllib 發送網絡請求

2020-01-18 14:13:32 雪之夢技術驛站

urllib.urlopen(url[,data[,proxies]]) : https://docs.python.org/2/library/urllib.html

python 中默認自帶的網絡請求的庫就是 urlllib 系列了,包括 urllib urllib2 以及 urllib3 ,大多數情況下三者都是互相配合一起合作.

當然也有不少優秀的第三方庫發送網絡請求,最為大眾熟知的應該包括 requests 庫,不過本文打算從最基礎的 urllib 開始講起如何發送網絡請求,下面請讀者跟著https://snowdreams1006.github.io/learn-python/的思路一起動手實踐吧!

Github 源碼地址: https://github.com/snowdreams1006/learn-python/edit/master/docs/url/urllib/teaching.md
Github 在線地址: https://snowdreams1006.github.io/learn-python/url/urllib/teaching.html

「雪之夢技術驛站」提醒您: 由於文章具有一定的時效性,很有可能讀者正在閱讀時,部分鏈接已失效,請按照文章相關說明親自實踐驗證,盡信書不如無書,不要直接複製粘貼代碼,一定要自己動手親自敲一遍!

文章目錄

環境搭建

本文使用的 python 環境是基於 virtualenv 實現的虛擬環境,只是為了方便隔離不同環境,更好模擬真實用戶環境.

實際開發中,可以跟著本文一步一步操作練習搭建開發環境,也可以直接使用系統默認環境.

環境演示

演示環境相關信息如下:

<code>(.env)$ python --version
Python 2.7.16
(.env) $ pip --version
pip 19.3.1 from ~/python/src/url/urllib/.env/lib/python2.7/site-packages/pip (python 2.7)/<code>

以下代碼在該環境運行正常,但是並不保證其他環境與演示結果一致,所以一切還是以實際運行結果為準.

環境搭建

如果不需要虛擬環境的話,可以忽略環境安裝這一部分內容,直接使用默認環境即可,只需要保證測試時使用的 python 版本是 python2 而非 python3!

步驟1. 安裝虛擬環境 virtualenv

<code>sudo pip install virtualenv/<code>

安裝虛擬環境方便隔離不同 python 環境,也可以使用系統默認環境,所以這一步是可選的,同理下面的步驟也都是可選的.

<code>virtualenv .env/<code>

虛擬環境目錄設置成隱藏目錄的目的是防止誤操作,當然也可以設置成普通目錄那樣顯示出來.

步驟3. 激活虛擬環境 .env

<code>source .env/bin/activate/<code>

一旦準備好虛擬環境目錄後就需要激活該虛擬環境,這一步可以重複操作,不會報錯!

步驟4. 查看當前正在使用的 python 與 pip 版本

<code>(.env) $ which python
~/python/src/url/urllib/.env/bin/python
(.env) snowdreams1006s-MacBook-Pro:urllib snowdreams1006$ which pip
~/python/src/url/urllib/.env/bin/pip/<code>

激活虛擬環境後會自動下載相關的 python 依賴,因此 python 和 pip 文件位置正是當前目錄 .env 而不是系統默認環境,如果未開啟虛擬環境則顯示的是系統目錄.

網絡請求 urllib 庫

如果讀者親測運行時發現網絡無法正常請求,可以將 http://httpbin.snowdreams1006.cn/ 替換成 http://httpbin.org/ 或者自行搭建本地測試環境.

下面提供兩種搭建本地測試環境的安裝方式,當然也可以訪問 http://httpbin.snowdreams1006.cn/ 或者 http://httpbin.org/ 等在線環境.

docker 安裝方式

<code>docker run -p 8000:80 kennethreitz/httpbin/<code>

首次運行會先將鏡像下載到本地再啟動容器,非首次運行會直接啟動容器,訪問地址: http://127.0.0.1:8000/

python 安裝方式

<code>pip install gunicorn httpbin && gunicorn httpbin:app/<code>

默認監聽端口是 8000,如果遇到端口衝突提示已被佔用,可運行 gunicorn httpbin:app -b :9898 指定端口.

怎麼發送最簡單的網絡請求

urllib2.urlopen(url) : 發送最簡單的網絡請求,直接返回響應體文本數據.

新建 python 文件名為 urllib_demo.py,核心代碼包括先導入 urllib2 包,然後使用 urllib2.urlopen() 即可發送最簡單的 GET 請求,最後利用 response.read() 可一次性讀取響應體內容.

代碼內容如下:

<code># -*- coding: utf-8 -*-
import urllib
import urllib2

def use_simple_urllib2():
    '''
    獲取請求方信息
    '''
    response = urllib2.urlopen('http://httpbin.snowdreams1006.cn/get')
    print response.read()

if __name__ == '__main__':
    print '>>>Use simple urllib2:'
    use_simple_urllib2()/<code>

假如該文件名為 urllib_demo.py ,則在終端命令行內運行 python urllib_demo.py 即可查看輸出結果.

怎麼知道有哪些屬性和方法

print type(response) : 獲取對象類型,配合基本類型可大致猜測出有哪些方法和屬性可供外部調用.

print dir(response) : 獲取對象方法和屬性枚舉值,無文檔猜測方法和屬性.

通過 urllib2.urlopen(url) 已經可以發送最簡單的網絡請求了, 無論是 GET 請求還是 POST 請求,獲取請求後的響應體無疑是非常重要的,但實際開發中同樣不可忽略的是還有其他方法和屬性.

因此,除了掌握 response.read() 一次性全部讀取響應體內容之外,還需要知道 response 有哪些屬性和方法.

通過 type(response) 獲取對象類型再配合 dir(response) 獲取屬性枚舉值即可無文檔大致猜測對象有哪些可供調用的屬性和方法.

<code># -*- coding: utf-8 -*-
import urllib2

def use_simple_urllib2():
    '''
    獲取請求方信息
    ''' 

    response = urllib2.urlopen('http://httpbin.snowdreams1006.cn/get')
    print type(response)
    print dir(response)

if __name__ == '__main__':
    print '>>>Use simple urllib2:'
    use_simple_urllib2()/<code>

下面是 print type(response) 和 print dir(response) 的輸出內容,接下來將挑選出常用的屬性和方法慢慢講解.

<code># print type(response)
<type>

# print dir(response)
['__doc__', '__init__', '__iter__', '__module__', '__repr__', 'close', 'code', 'fileno', 'fp', 'getcode', 'geturl', 'headers', 'info', 'msg', 'next', 'read', 'readline', 'readlines', 'url']/<type>/<code>

響應對象的狀態碼(屬性)

response.code : 獲取響應對象的狀態碼,正常情況下是 200 表示請求成功,而 500 是典型的系統錯誤.

通過 dir(response) 獲取屬性枚舉值,結合 type(response) 不難發現 response.code 是用來獲取響應狀態碼的,具體調用方式是 response.code 還是 response.code() 可運行 print type(response.code) 大致推斷.

<code># -*- coding: utf-8 -*-
import urllib2

def use_simple_urllib2():
    '''
    獲取請求方信息
    '''
    response = urllib2.urlopen('http://httpbin.snowdreams1006.cn/get')
    print type(response.read)
    print type(response.code)

if __name__ == '__main__': 

    print '>>>Use simple urllib2:'
    use_simple_urllib2()/<code>

這裡不妨結合 print type(response.read) 是方法來驗證輸出結果到底是屬性還是方法,可以看出 response.read 是方法類型,而 response.code 是基本類型,因此 response.code 是屬性調用方式.

type(response.code) 的輸出結果是並不是 ,因此獲取狀態碼的方式是屬性調用.

詳細代碼如下:

<code># -*- coding: utf-8 -*-
import urllib2

def use_simple_urllib2():
    '''
    獲取請求方信息
    '''
    response = urllib2.urlopen('http://httpbin.snowdreams1006.cn/get')
    print response.code

if __name__ == '__main__':
    print '>>>Use simple urllib2:'
    use_simple_urllib2()/<code>

響應對象的狀態碼(方法)

response.getcode() : 獲取響應對象的狀態碼,正常情況下是 200 表示請求成功,而 500 是典型的系統錯誤.

同樣地,從 print dir(response) 可知 getcode 字段可供調用,但不知道是屬性調用還是方法調用?再次使用 `print type(response.getcode) 得到 ` 因而判定為方法調用形式.

詳情代碼如下:

<code># -*- coding: utf-8 -*-
import urllib2

def use_simple_urllib2():
    '''
    獲取請求方信息
    '''
    response = urllib2.urlopen('http://httpbin.snowdreams1006.cn/get')
    print response.getcode()

if __name__ == '__main__':
    print '>>>Use simple urllib2:'
    use_simple_urllib2()/<code>

響應對象的狀態碼信息(屬性)

response.msg : 獲取響應對象的狀態描述信息,例如狀態碼 200 對於 OK,而 500 對於 INTERNAL SERVER ERROR.

<code># -*- coding: utf-8 -*-
import urllib2

def use_simple_urllib2():
    '''
    獲取響應狀態碼
    '''
    response = urllib2.urlopen('http://httpbin.snowdreams1006.cn/status/200')
    print response.code
    print response.msg

    response = urllib2.urlopen('http://httpbin.snowdreams1006.cn/status/500')
    print response.code
    print response.msg

if __name__ == '__main__':
    print '>>>Use simple urllib2:'
    use_simple_urllib2()/<code>

正常請求狀態是 200 OK,而請求發生異常很可能是 500 INTERNAL SERVER ERROR ,一旦出現異常如若異常處理則會報錯,程序終止運行.

響應對象的訪問鏈接(屬性)

response.url : 獲取請求鏈接.

<code># -*- coding: utf-8 -*-
import urllib2

def use_simple_urllib2():
    '''
    獲取請求方信息
    '''
    response = urllib2.urlopen('http://httpbin.snowdreams1006.cn/get')
    print response.url

if __name__ == '__main__':
    print '>>>Use simple urllib2:'
    use_simple_urllib2()/<code>

響應對象的訪問鏈接(方法)

response.geturl() : 獲取請求鏈接.

<code># -*- coding: utf-8 -*-
import urllib2

def use_simple_urllib2():
    '''
    獲取請求方信息
    '''
    response = urllib2.urlopen('http://httpbin.snowdreams1006.cn/get') 

    print response.geturl()

if __name__ == '__main__':
    print '>>>Use simple urllib2:'
    use_simple_urllib2()/<code>

響應對象的訪問鏈接(屬性)

response.headers.dict : 獲取請求頭信息並以字典形式顯示.

在某些情況下發送請求時必須攜帶特定的請求頭方可成功,因此需要清楚默認不設置請求頭時服務端接收到的請求頭是什麼樣子的,同樣地,可使用 print type(response.headers) 結合 print dir(response.headers) 自行探索可供調用的屬性和方法.

<code># -*- coding: utf-8 -*-
import urllib2

def use_simple_urllib2():
    '''
    獲取請求方信息
    '''
    response = urllib2.urlopen('http://httpbin.snowdreams1006.cn/get')
    print response.headers.dict

if __name__ == '__main__':
    print '>>>Use simple urllib2:'
    use_simple_urllib2()/<code>

響應對象的請求頭信息(方法)

response.info() : 獲取請求頭信息並以逐行顯示

和上一個 response.headers.dict 獲取請求頭信息類似,只不過 response.info() 適合肉眼顯示而非程序使用.

<code># -*- coding: utf-8 -*-
import urllib2

def use_simple_urllib2():
    '''
    獲取請求方信息
    '''
    response = urllib2.urlopen('http://httpbin.snowdreams1006.cn/get')
    print response.info()

if __name__ == '__main__':
    print '>>>Use simple urllib2:'
    use_simple_urllib2()/<code>

響應對象的響應體(方法)

response.read() : 一次性讀取響應體,適合響應體數據量比較小的情況,一次性全部讀取到內存方便操作.

<code># -*- coding: utf-8 -*-
import urllib2

def use_simple_urllib2():
    '''
    獲取響應體信息
    '''
    response = urllib2.urlopen('http://httpbin.snowdreams1006.cn/get')
    print response.read()

if __name__ == '__main__':
    print '>>>Use simple urllib2:'
    use_simple_urllib2()/<code>

response.read() 返回的是字符串,因此可以很方便用變量接收作後續處理,例如 result = response.read() :

<code># -*- coding: utf-8 -*-
import urllib2

def use_simple_urllib2():
    '''
    獲取響應體信息
    '''
    response = urllib2.urlopen('http://httpbin.snowdreams1006.cn/get')
    result = response.read()
    print result

if __name__ == '__main__':
    print '>>>Use simple urllib2:'
    use_simple_urllib2()/<code>

響應對象的響應體(方法)

response.readline() : 逐行讀取響應體,適用於數據體比較大的情況,循環讀取直到最終無數據可讀取為止.

<code># -*- coding: utf-8 -*-
import urllib2

def use_simple_urllib2():
    '''
    獲取響應體信息
    '''
    response = urllib2.urlopen('http://httpbin.snowdreams1006.cn/get')
    line = response.readline()
    while line:
        print line
        line = response.readline()

if __name__ == '__main__':
    print '>>>Use simple urllib2:' 

    use_simple_urllib2()/<code>

response.readline() 只能逐行讀取,因此想要獲取完成的響應體需要進行手動拼接,例如:

<code># -*- coding: utf-8 -*-
import urllib2

def use_simple_urllib2():
    '''
    獲取響應體信息
    '''
    response = urllib2.urlopen('http://httpbin.snowdreams1006.cn/get')
    result = ''
    line = response.readline()
    result = result + str(line)
    while line:
        line = response.readline()
        result = result + str(line)
    print result

if __name__ == '__main__':
    print '>>>Use simple urllib2:'
    use_simple_urllib2()/<code>

str(line) 是為了保證響應體字符串一定是字符串類型,其實應該不必如此,response.readline() 本身已經是字符串類型了.

響應對象的響應體(方法)

response.readlines() : 遍歷讀取響應體,循環讀取且保存到列表對象中,適合需要逐行處理情況.

<code># -*- coding: utf-8 -*-
import urllib2

def use_simple_urllib2(): 

    '''
    獲取響應體信息
    '''
    response = urllib2.urlopen('http://httpbin.snowdreams1006.cn/get')
    for line in response.readlines():
        print line

if __name__ == '__main__':
    print '>>>Use simple urllib2:'
    use_simple_urllib2()/<code>

同樣地,如果需要針對 response.readlines() 方式獲取完整響應體結果,可以如下進行拼接,示例如下:

<code># -*- coding: utf-8 -*-
import urllib2

def use_simple_urllib2():
    '''
    獲取響應體信息
    '''
    response = urllib2.urlopen('http://httpbin.snowdreams1006.cn/get')
    result = ''
    for line in response.readlines():
        result = result + str(line)
    print result

if __name__ == '__main__':
    print '>>>Use simple urllib2:'
    use_simple_urllib2()/<code>

上述多行代碼還可以進一步轉換成一行代碼: result = ''.join([line for line in response.readlines()])

如何發送普通 GET 請求

無參數直接發送

urllib2.urlopen(url) : 只需要一個目標 URL 即可發送 GET 請求.

最簡單的請求方式也就是 GET 方式,不設置其他參數的情況下,只需要填寫 URL 即可發送請求,例如 urllib2.urlopen('http://httpbin.snowdreams1006.cn/get'),示例代碼如下:

<code># -*- coding: utf-8 -*-
import urllib
import urllib2

def use_simple_urllib2():
    '''
    獲取響應頭和響應體信息
    '''
    response = urllib2.urlopen('http://httpbin.snowdreams1006.cn/get')
    print('>>>Response Headers:')
    print(response.info())
    print('>>>Response Body:')
    print(response.read())

if __name__ == '__main__':
    print '>>>Use simple urllib2<<    use_simple_urllib2()/<code>

假如上述代碼文件名為 urllib_demo.py,在終端命令行內運行 python urllib_demo.py 文件,輸出結果如下所示:

<code>(.env) $ python urllib_demo.py 
>>>Use simple urllib2<<<
>>>Response Headers:
Server: nginx/1.17.6
Date: Thu, 16 Jan 2020 13:38:27 GMT
Content-Type: application/json
Content-Length: 263
Connection: close
Access-Control-Allow-Origin: *
Access-Control-Allow-Credentials: true

>>>Response Body:
{
  "args": {}, 
  "headers": {
    "Accept-Encoding": "identity",  

    "Connection": "close", 
    "Host": "httpbin.snowdreams1006.cn", 
    "User-Agent": "Python-urllib/2.7"
  }, 
  "origin": "218.205.55.192", 
  "url": "http://httpbin.snowdreams1006.cn/get"
}/<code>

其中響應頭 Connection: close 表明連接是自動關閉的,而響應體 args 是空字典表明沒有查詢參數.

有參數轉碼發送

實際開發過程中,很少有 GET 請求不需要攜帶參數的,對於有參數查詢的 GET 請求,原生 urllib 也是支持的,最簡單的做法是將查詢參數拼接到目標 URL 上得到帶有查詢參數的 URL.

<code># -*- coding: utf-8 -*-
import urllib
import urllib2

def use_params_urllib2():
    '''
    獲取響應頭和響應體信息
    '''
    response = urllib2.urlopen('http://httpbin.snowdreams1006.cn/get?param1=hello¶m2=world')
    print('>>>Response Headers:')
    print(response.info())
    print('>>>Response Body:')
    print(response.read())

if __name__ == '__main__':
    print '>>>Use params urllib2<<    use_params_urllib2()/<code>

同樣地,假如上述代碼文件名為 urllib_demo.py,在終端命令行內運行 python urllib_demo.py 文件,輸出結果如下所示:

<code>(.env) $ python urllib_demo.py  

>>>Use params urllib2<<<
>>>Response Headers:
Server: nginx/1.17.6
Date: Thu, 16 Jan 2020 13:59:23 GMT
Content-Type: application/json
Content-Length: 338
Connection: close
Access-Control-Allow-Origin: *
Access-Control-Allow-Credentials: true

>>>Response Body:
{
  "args": {
    "param1": "hello", 
    "param2": "world"
  }, 
  "headers": {
    "Accept-Encoding": "identity", 
    "Connection": "close", 
    "Host": "httpbin.snowdreams1006.cn", 
    "User-Agent": "Python-urllib/2.7"
  }, 
  "origin": "218.205.55.192", 
  "url": "http://httpbin.snowdreams1006.cn/get?param1=hello¶m2=world"
}/<code>

其中響應頭 Connection: close 表明連接是自動關閉的,而響應體 args 不再是空字典而是剛才傳遞的查詢參數表明服務端確實接收到發送的查詢參數了,所以這種方式也是可行的.

如果查詢參數非常多,直接在請求鏈接 URL 基礎上拼接形成新的 URL 將會顯示非常繁瑣,而且必須遵守 ?param1=hello¶m2=world 這種格式,所以這種繁瑣的拼接工作就交給程序去完成吧!

<code># -*- coding: utf-8 -*-
import urllib
import urllib2

def use_params_urllib2():
    '''
    獲取響應頭和響應體信息 

    '''
    response = urllib2.urlopen('http://httpbin.snowdreams1006.cn/get?param1=hello¶m2=world&author=snowdreams1006&website=http://blog.snowdreams1006.cn&url=snowdreams1006.github.io/learn-python/url/urllib/teaching.html&wechat=snowdreams1006&[email protected]&github=https://github.com/snowdreams1006/')
    print('>>>Response Headers:')
    print(response.info())
    print('>>>Response Body:')
    print(response.read())

if __name__ == '__main__':
    print '>>>Use params urllib2<<    use_params_urllib2()/<code>

上述繁瑣不僅體現在拼接成新的 URL 時長度過長容器出錯,還會遇到動態查詢參數替換的問題,所以自動拼接查詢參數功能真的是及時雨!

<code>params = urllib.urlencode({
    'param1': 'hello', 
    'param2': 'world',
    'author':'snowdreams1006',
    'website':'http://blog.snowdreams1006.cn',
    'url':'https://snowdreams1006.github.io/learn-python/url/urllib/teaching.html',
    'wechat':'snowdreams1006',
    'email':'[email protected]',
    'github':'https://github.com/snowdreams1006/'
})
print params/<code>

urllib.urlencode() 可以將字典類型的查詢參數轉碼拼接成 & 連接的查詢參數,之後再手動拼接到請求 URL?params 即可得到帶參數的 URL.

<code># -*- coding: utf-8 -*-
import urllib
import urllib2

def use_params_urllib2():
    params = urllib.urlencode({
        'param1': 'hello', 
        'param2': 'world',
        'author':'snowdreams1006',
        'website':'http://blog.snowdreams1006.cn',
        'url':'https://snowdreams1006.github.io/learn-python/url/urllib/teaching.html',
        'wechat':'snowdreams1006',
        'email':'[email protected]',
        'github':'https://github.com/snowdreams1006/'
    }) 

    response = urllib2.urlopen('http://httpbin.snowdreams1006.cn/get?%s' % params)
    print('>>>Response Headers:')
    print(response.info())
    print('>>>Response Body:')
    print(response.read())

if __name__ == '__main__':
    print '>>>Use params urllib2<<    use_params_urllib2()/<code>

假如上述代碼文件名為 urllib_demo.py,在終端命令行內運行 python urllib_demo.py 文件,輸出結果如下所示:

<code>$ python urllib_demo.py 
>>>Use params urllib2<<<
>>>Response Headers:
Server: nginx/1.17.6
Date: Thu, 16 Jan 2020 14:27:21 GMT
Content-Type: application/json
Content-Length: 892
Connection: close
Access-Control-Allow-Origin: *
Access-Control-Allow-Credentials: true

>>>Response Body:
{
  "args": {
    "author": "snowdreams1006", 
    "email": "[email protected]", 
    "github": "https://github.com/snowdreams1006/", 
    "param1": "hello", 
    "param2": "world", 
    "url": "https://snowdreams1006.github.io/learn-python/url/urllib/teaching.html",
    "website": "http://blog.snowdreams1006.cn", 
    "wechat": "snowdreams1006"
  }, 
  "headers": {
    "Accept-Encoding": "identity", 
    "Connection": "close", 
    "Host": "httpbin.snowdreams1006.cn", 
    "User-Agent": "Python-urllib/2.7"
  }, 
  "origin": "218.205.55.192", 
  "url": "http://httpbin.snowdreams1006.cn/get?website=http%3A%2F%2Fblog.snowdreams1006.cn&github=https%3A%2F%2Fgithub.com%2Fsnowdreams1006%2F&wechat=snowdreams1006¶m2=world¶m1=hello&author=snowdreams1006&url=https%3A%2F%2Fsnowdreams1006.github.io%2Flearn-python%2Furl%2Furllib%2Fteaching.html&email=snowdreams1006%40163.com"
}/<code>

由此可見,不論是直接手動拼接查詢參數還是使用 urllib.urlencode(query) 半手動拼接查詢參數,本質上都是一樣的,依然是使用 urllib2.urlopen(url) 發送 GET 請求.

如何發送普通 POST 請求

如果請求鏈接 URL 僅僅支持 POST 請求,這時上述拼接地址實現的 GET 請求就不再滿足要求,有意思的是,竟然只需要一步就可以將 GET 請求轉換成 POST 請求.

如果是 GET 請求,發送請求時是這樣: urllib2.urlopen('http://httpbin.snowdreams1006.cn/post?%s' % params);

如果是 POST 請求,發送請求時是這樣: urllib2.urlopen('http://httpbin.snowdreams1006.cn/post',params);

<code>def post_params_urllib2():
    '''
    獲取響應頭和響應體信息
    '''
    params = urllib.urlencode({
        'param1': 'hello', 
        'param2': 'world',
        'author':'snowdreams1006',
        'website':'http://blog.snowdreams1006.cn',
        'url':'https://snowdreams1006.github.io/learn-python/url/urllib/teaching.html',
        'wechat':'snowdreams1006',
        'email':'[email protected]',
        'github':'https://github.com/snowdreams1006/'
    })
    response = urllib2.urlopen('http://httpbin.snowdreams1006.cn/post',params)
    print('>>>Response Headers:')
    print(response.info())
    print('>>>Response Body:')
    print(response.read())

if __name__ == '__main__':
    print '>>>Post params urllib2<<    post_params_urllib2()/<code>

由於 GET 請求和 POST 請求方式實在太像了,因此需要留意發送請求時 urllib2.urlopen(url) 中鏈接 URL 到底是怎麼拼接的?

不過更加直觀的方法就是發送請求直接驗證,示例如下:

<code>(.env) $ python urllib_demo.py 
>>>Post params urllib2<<<
>>>Response Headers:
Server: nginx/1.17.6
Date: Thu, 16 Jan 2020 14:45:43 GMT
Content-Type: application/json
Content-Length: 758
Connection: close
Access-Control-Allow-Origin: *
Access-Control-Allow-Credentials: true

>>>Response Body:
{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "author": "snowdreams1006", 
    "email": "[email protected]", 
    "github": "https://github.com/snowdreams1006/", 
    "param1": "hello", 
    "param2": "world", 
    "url": "https://snowdreams1006.github.io/learn-python/url/urllib/teaching.html",
    "website": "http://blog.snowdreams1006.cn", 
    "wechat": "snowdreams1006"
  }, 
  "headers": {
    "Accept-Encoding": "identity", 
    "Connection": "close", 
    "Content-Length": "285", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.snowdreams1006.cn", 
    "User-Agent": "Python-urllib/2.7"
  }, 
  "json": null, 
  "origin": "218.205.55.192", 
  "url": "http://httpbin.snowdreams1006.cn/post"
}/<code>

值得注意的是,上述 POST 請求提交的參數存放在 form 屬性而不是 GET 請求時的 args 屬性.

如何設置代理進行網絡請求

環境搭建

如果 http://proxyip.snowdreams1006.cn/ 無法訪問,可以訪問https://github.com/jhao104/proxy_pool項目自行構建代理池.

<code>{
  "delete?proxy=127.0.0.1:8080": "delete an unable proxy", 
  "get": "get an useful proxy", 
  "get_all": "get all proxy from proxy pool", 
  "get_status": "proxy number"
}/<code>

單機勿壓,惡意訪問會關小黑屋喲,推薦大家自行搭建本地環境,謝謝支持.

本代理池是基於 https://github.com/jhao104/proxy_pool項目提供兩種安裝方式,分為 docker 安裝方式和源碼安裝方式.

docker 方式安裝

<code>docker run --env db_type=REDIS --env db_host=127.0.0.1 --env db_port=6379 --env db_password='' -p 5010:5010 jhao104/proxy_pool/<code>

當然也可以提前下載鏡像: docker pull jhao104/proxy_pool,然後再運行上述命令啟動容器.

源碼方式安裝

步驟 1 : 下載源碼

<code>git clone https://github.com/jhao104/proxy_pool.git/<code>

也可以直接下載安裝包: https://github.com/jhao104/proxy_pool/releases

步驟 2 : 安裝依賴

<code>pip install -r requirements.txt/<code>

安裝項目依賴時需要切換到項目根目錄,例如 cd proxy_pool,然後會自動從默認安裝源進行下載,也可以是使用 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt 加速安裝.

步驟 3 : 配置 Config/setting.py

<code># Config/setting.py 為項目配置文件

# 配置DB     
DATABASES = {
    "default": {
        "TYPE": "REDIS",        # 目前支持SSDB或REDIS數據庫
        "HOST": "127.0.0.1",   # db host
        "PORT": 6379,          # db port，例如SSDB通常使用8888，REDIS通常默認使用6379
        "NAME": "proxy",       # 默認配置
        "PASSWORD": ""         # db password
    }
}

# 配置 API服務 

SERVER_API = {
    "HOST": "0.0.0.0",  # 監聽ip, 0.0.0.0 監聽所有IP
    "PORT": 5010        # 監聽端口
}
       
# 上面配置啟動後，代理池訪問地址為 http://127.0.0.1:5010/<code>

步驟 5 : 啟動項目

<code># 如果你的依賴已經安裝完成並且具備運行條件,可以在cli目錄下通過ProxyPool.py啟動.
# 程序分為: schedule 調度程序 和 webserver Api服務

# 首先啟動調度程序
python proxyPool.py schedule

# 然後啟動webApi服務
python proxyPool.py webserver/<code>

該命令要求當前環境處於 cli 目錄,如果是其他目錄請自行調整 proxyPool.py 的路徑(cd cli 即可切換到 cli 目錄)

如果以上步驟均正常,項目啟動會後自動抓取互聯網免費代理 ip,可以通過訪問 http://127.0.0.1:5010 查看.

代理請求

建議首先利用瀏覽器直接訪問http://proxyip.snowdreams1006.cn/get/查看是否能獲取隨機代理 ip,然後再利用 python 程序獲取,保證代碼運行正確,方便後續開發測試.

<code>{
    "proxy": "183.91.33.41:8086", 
    "fail_count": 0, 
    "region": "", 
    "type": "", 
    "source": "freeProxy09", 
    "check_count": 59, 
    "last_status": 1, 
    "last_time": "2020-01-18 13:14:32"
}/<code>

上述是請求 /get/ 獲取的隨機 ip 示例,完整請求地址: http://proxyip.snowdreams1006.cn/get/

獲取隨機代理 ip

<code># -*- coding: utf-8 -*-
import urllib2
import json

def get_proxy():
    '''
    獲取隨機代理
    '''
    response = urllib2.urlopen('http://proxyip.snowdreams1006.cn/get/')
    result = response.read()
    return json.loads(result)

if __name__ == '__main__':
    print '>>>Get proxy urllib<<    get_proxy_urllib()/<code>

如果有瀏覽器環境,可以直接訪問http://proxyip.snowdreams1006.cn/get/驗證是否能獲取隨機代理 ip,或者在終端命令行運行 curl http://proxyip.snowdreams1006.cn/get/ 命令查看結果.

設置代理ip訪問

urllib.FancyURLopener(proxy) : 設置代理 ip 信息實現間接訪問

通過 urllib.FancyURLopener(proxy) 可設置代理,用於向服務端隱藏客戶端的真實信息,但是服務端到底能否區分代理請求和普通請求是和代理 ip 有關的.

如果是高匿代理的話,是最為理想的一種情況,能夠達到真正代理的作用.

相反,如果是透明代理的話,是最沒用的代理,服務端不僅知道你正在使用代理還知道你真實 ip,有一種掩耳盜鈴的錯覺.

如何驗證設置的代理 ip 是否能被服務端識別,可以訪問http://httpbin.snowdreams1006.cn/ip獲取服務端讀取到的客戶端 ip.

<code>$ curl http://httpbin.snowdreams1006.cn/ip
{
  "origin": "115.217.104.191"
}/<code>

如果終端命令行沒 curl 命令,可以百度一下自行安裝或者直接打開瀏覽器訪問http://httpbin.snowdreams1006.cn/ip

如果服務器讀取到的請求 ip 和設置的代理 ip 一致,恭喜你,設置代理成功而且是高匿代理,否則的話,那就是掩耳盜鈴

罷了.

<code># -*- coding: utf-8 -*-
import urllib
import urllib2
import json

def get_proxy():
    '''
    獲取隨機代理
    '''
    response = urllib2.urlopen('http://proxyip.snowdreams1006.cn/get/')
    result = response.read()
    return json.loads(result)

def get_proxy_urllib():
    '''
    通過代理發送請求
    '''
    # 隨機代理 ip
    ip = get_proxy().get('proxy')
    print('>>>Get Proxy:')
    print(ip)
    proxy = {
        'http': 'http://{}'.format(ip),
        'https': 'https://{}'.format(ip)
    }
    opener = urllib.FancyURLopener(proxy)
    response = opener.open()
    print('>>>Response Headers:')
    print(response.info())
    print('>>>Response Body:')
    print(response.read())

if __name__ == '__main__':
    print '>>>Get proxy urllib<<    get_proxy_urllib()/<code>

上述示例只是演示如何設置代理 ip 發送請求,並沒有驗證代理 ip 是否設置成功,即服務端讀取到請求 ip 和剛剛設置的代理 ip是否相同,並且也沒有考慮代理 ip 不可用或者連接超時等

異常情況.

下面提供一個簡單示例判斷代理 ip 是否設置成功:

<code>{
    "proxy": "121.225.199.78:3128", 
    "fail_count": 0, 
    "region": "", 
    "type": "", "source": 
    "freeProxy09", 
    "check_count": 15, 
    "last_status": 1, 
    "last_time": "2020-01-17 12:03:29"
}/<code>

獲取隨機代理 ip 的一般格式,提取出隨機 ip 的一般值為 121.225.199.78:3128

針對隨機獲取代理ip 的一般格式是帶有端口號,而訪問 http://httpbin.snowdreams1006.cn/ip 獲取到來源 ip 並不包括端口號,因此最簡單的思路是去掉隨機 ip 的端口號,然後再和訪問結果作比較.

<code>'121.225.199.78:3128'.split(':')[0]/<code>

首先以 : 分割成兩部分,然後只取第一部分,即獲取不帶端口號的 ip 地址: 121.225.199.78

接下來由於 response.read() 獲取到的響應體數據是字符串類型,不方便提取出其中 origin 對應的值,而響應體數據明顯又是 json 格式,因此使用 json.loads(result) 可方便轉換成 python 的字典類型.

<code>result = response.read()
result = json.loads(result)
proxyip = result.get('origin')/<code>

針對字典類型的取值方式不僅僅可以 result.get('origin') 也可以 result['origin'] ,只不過當鍵名不存在時兩者的表現不一致,建議使用方法取值.

現在最簡單驗證代理 ip 是否設置成功的完整示例如下:

<code># -*- coding: utf-8 -*-
import urllib
import urllib2
import json

def get_proxy():
    '''
    獲取隨機代理
    '''
    response = urllib2.urlopen('http://proxyip.snowdreams1006.cn/get/')
    result = response.read()
    return json.loads(result)

def get_proxy_urllib():
    '''
    通過代理發送請求
    '''
    # 隨機代理 ip
    ip = get_proxy().get('proxy')
    print('>>>Get Proxy:')
    print(ip)
    proxy = {
        'http': 'http://{}'.format(ip),
        'https': 'https://{}'.format(ip)
    }
    opener = urllib.FancyURLopener(proxy)
    response = opener.open()
    result = response.read() 

    result = json.loads(result)
    response_ip = result.get('origin')
    proxy_ip = ip.split(':')[0]
    if proxy_ip == response_ip:
        print 'Proxy Success'
    else:
        print 'Proxy Fail'

if __name__ == '__main__':
    print '>>>Get proxy urllib<<    get_proxy_urllib()/<code>

如果隨機獲取的代理 ip 正常的話,一般不會拋出異常,要麼設置成功,要麼設置失敗.

<code>(.env) $ python urllib_demo.py 
>>>Get proxy urllib<<<
>>>Get Proxy:
52.80.58.248:3128
Proxy Fail

(.env) $ python urllib_demo.py 
>>>Get proxy urllib<<<
>>>Get Proxy:
117.88.176.152:3000
Proxy Success/<code>

免費代理 ip 質量一般般而已,因此也不要抱有太高的心理預期,實際開發過程中還是應該選擇付費代理 ip.

清除代理 ip 直連

urllib.FancyURLopener({}) : 清除代理 ip 信息實現直接訪問

設置代理 ip 時需要傳遞給 urllib.FancyURLopener(proxy) 一個代理字典,清除代理信息時只需要將原來的代理字典設置成

空對象即可.

主要代碼和設置代理 ip 相差無二,不再贅述,可參考以下代碼:

<code># -*- coding: utf-8 -*-
import urllib
import urllib2
import json

def clear_proxy_urllib():
    '''
    清除代理後發送請求
    '''
    # 隨機代理 ip
    ip = get_proxy().get('proxy')
    print('>>>Get Proxy:')
    print(ip)
    proxy = {
        'http': 'http://{}'.format(ip),
        'https': 'https://{}'.format(ip)
    }
    opener = urllib.FancyURLopener(proxy)
    response = opener.open("http://httpbin.snowdreams1006.cn/ip")
    print('>>>Response Headers:')
    print(response.info())
    print('>>>Response Body:')
    result = response.read()
    print(result)
    result = json.loads(result)
    response_ip = result.get('origin')
    proxy_ip = ip.split(':')[0]
    if proxy_ip == response_ip:
        print 'Set proxy success'
    else:
        print 'Set proxy fail'

    opener = urllib.FancyURLopener({})
    response = opener.open("http://httpbin.snowdreams1006.cn/ip")
    print('>>>Response Headers:')
    print(response.info())
    print('>>>Response Body:')
    result = response.read()
    print(result)
    result = json.loads(result)
    response_ip = result.get('origin') 

    proxy_ip = ip.split(':')[0]
    if proxy_ip == response_ip:
        print 'Clear proxy fail'
    else:
        print 'Clear proxy success'

if __name__ == '__main__':
    print '>>>Get proxy urllib<<    get_proxy_urllib()/<code>

除了上述方法使用 urllib.FancyURLopener() 設置或清除代理 ip,其實也可以使用 urllib.urlopen() 實現類似需求.

<code># Use http://www.someproxy.com:3128 for HTTP proxying
proxies = {'http': 'http://www.someproxy.com:3128'}
filehandle = urllib.urlopen(some_url, proxies=proxies)

# Don't use any proxies
filehandle = urllib.urlopen(some_url, proxies={})

# Use proxies from environment - both versions are equivalent
filehandle = urllib.urlopen(some_url, proxies=None)
filehandle = urllib.urlopen(some_url)/<code>

其中關於環境變量的設置示例,如下:

<code>% http_proxy="http://www.someproxy.com:3128"
% export http_proxy
% python
.../<code>

學習總結

本文主要介紹了 python 中原生的 urllib 如何發送網絡請求以及一些基本環境的搭建過程,其中附帶大量可直接操作的現成代碼,文檔和源碼均已

開源,感興趣的小夥伴可自行https://github.com/snowdreams1006/learn-python/tree/master/src/url/urllib.

現在簡要回顧一下本文主要涉及到的重要知識點,以供後來者學習時快速翻閱查詢.

虛擬環境 virtualenv

虛擬環境安裝並激活成功後,python 和 pip 的版本信息如下:

<code>(.env)$ python --version
Python 2.7.16
(.env) $ pip --version 

pip 19.3.1 from ~/python/src/url/urllib/.env/lib/python2.7/site-packages/pip (python 2.7)/<code>

如需自行搭建該虛擬環境,可參考以下幾步開啟虛擬環境:

步驟1. 安裝虛擬環境 virtualenv

<code>sudo pip install virtualenv/<code>

安裝虛擬環境方便隔離不同 python 環境,也可以使用系統默認環境,所以這一步是可選的,同理下面的步驟也都是可選的.

<code>virtualenv .env/<code>

虛擬環境目錄設置成隱藏目錄的目的是防止誤操作,當然也可以設置成普通目錄那樣顯示出來.

步驟3. 激活虛擬環境 .env

<code>source .env/bin/activate/<code>

激活虛擬環境後可以運行 pip --version 查看當前版本信息,由此驗證虛擬環境是否開啟成功.

服務端後臺 httpbin

默認本地訪問地址: http://127.0.0.1:8000/,線上訪問地址: http://httpbin.snowdreams1006.cn/ 或者 http://httpbin.org/

如果採用 docker 安裝 httpbin 運行成功後,訪問接口地址,實際預覽如下:

如果使用 python 啟動 httpbin 庫,運行成功後效果和 docker 方式有所不同,效果如下:

如需自行搭建本地服務,請讀者根據自身需要自行決定安裝方式,下面提供兩種方式開啟 httpbin 服務.

docker 安裝方式

<code>docker run -p 8000:80 kennethreitz/httpbin/<code>

首次運行會先將鏡像下載到本地再啟動容器,非首次運行會直接啟動容器,訪問地址: http://127.0.0.1:8000/

python 安裝方式

<code>pip install gunicorn httpbin && gunicorn httpbin:app/<code>

默認監聽端口是 8000,如果遇到端口衝突提示已被佔用,可運行 gunicorn httpbin:app -b :9898 指定端口.

免費ip代理池 proxyip

默認本地訪問地址: http://127.0.0.1:5010/,線上訪問地址: http://proxyip.snowdreams1006.cn/ 或者 http://118.24.52.95/

<code>{
  "delete?proxy=127.0.0.1:8080": "delete an unable proxy", 
  "get": "get an useful proxy", 
  "get_all": "get all proxy from proxy pool", 
  "get_status": "proxy number"
}/<code>

如需自行搭建本地服務,請讀者根據自身需要自行決定安裝方式,下面提供兩種方式開啟 proxyip 服務.

docker 安裝方式

<code>docker run --env db_type=REDIS --env db_host=127.0.0.1 --env db_port=6379 --env db_password='' -p 5010:5010 jhao104/proxy_pool/<code>

當然也可以提前下載鏡像: docker pull jhao104/proxy_pool,然後再運行上述命令啟動容器.

源碼安裝方式

<code>    - 步驟 1 : 下載源碼/<code>

<code>    git clone https://github.com/jhao104/proxy_pool.git/<code>

<code>    > 當然也可以直接下載安裝包: [https://github.com/jhao104/proxy_pool/releases](https://github.com/jhao104/proxy_pool/releases) /<code>

<code>    - 步驟 2 : 安裝依賴/<code>

<code>    pip install -r requirements.txt/<code>

<code>    > 注意: 安裝項目依賴時需要提前切換到項目根目錄(`cd proxy_pool`),如果嫌棄下載速度慢可以使用清華大學鏡像 `pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt` 加速下載安裝過程./<code>

<code>    - 步驟 3 : 配置 `Config/setting.py`/<code>

<code>    # Config/setting.py 為項目配置文件

    # 配置DB     
    DATABASES = {
        "default": {
            "TYPE": "REDIS",        # 目前支持SSDB或REDIS數據庫
            "HOST": "127.0.0.1",   # db host
            "PORT": 6379,          # db port，例如SSDB通常使用8888，REDIS通常默認使用6379
            "NAME": "proxy",       # 默認配置 

            "PASSWORD": ""         # db password
        }
    }

    # 配置 API服務
    SERVER_API = {
        "HOST": "0.0.0.0",  # 監聽ip, 0.0.0.0 監聽所有IP
        "PORT": 5010        # 監聽端口
    }
           
    # 上面配置啟動後，代理池訪問地址為 http://127.0.0.1:5010/<code>

<code>    > 關於配置更多詳情,請直接參考項目官方介紹,以上配置信息基本夠用了./<code>

<code>    - 步驟 5 : 啟動項目/<code>

<code>    # 如果你的依賴已經安裝完成並且具備運行條件,可以在cli目錄下通過ProxyPool.py啟動.
    # 程序分為: schedule 調度程序 和 webserver Api服務

    # 首先啟動調度程序
    python proxyPool.py schedule

    # 然後啟動webApi服務
    python proxyPool.py webserver/<code>

<code>    > 該命令要求當前環境處於 `cli` 目錄,如果是其他目錄請自行調整 `proxyPool.py` 的路徑(`cd cli`)/<code>

原生網絡請求 urllib

urllib.urlopen(url[,data[,proxies]]) : https://docs.python.org/2/library/urllib.html

GET 請求

如果查詢參數比較簡單的話,可以直接構建請求 URL,同時可以配合 urllib.urlencode(dict) 序列化查詢參數字典.

當查詢參數不太複雜時,尤其是不需要查詢參數時,可以直接 urllib2.urlopen(url) 發送請求,如下:

<code># -*- coding: utf-8 -*-
import urllib
import urllib2

def use_simple_urllib2():
    '''
    獲取響應頭和響應體信息
    '''
    response = urllib2.urlopen('http://httpbin.snowdreams1006.cn/get')
    print('>>>Response Headers:')
    print(response.info())
    print('>>>Response Body:')
    print(response.read())

if __name__ == '__main__':
    print '>>>Use simple urllib2<<    use_simple_urllib2()/<code>

當查詢參數比較多或者需要動態拼接時,推薦使用 urllib.urlencode(dict) 序列化查詢參數,然後再拼接到請求 URL 後,最終形成完成的請求 URL.

<code># -*- coding: utf-8 -*-
import urllib
import urllib2

def use_params_urllib2():
    params = urllib.urlencode({ 

        'param1': 'hello', 
        'param2': 'world',
        'author':'snowdreams1006',
        'website':'http://blog.snowdreams1006.cn',
        'url':'https://snowdreams1006.github.io/learn-python/url/urllib/teaching.html',
        'wechat':'snowdreams1006',
        'email':'[email protected]',
        'github':'https://github.com/snowdreams1006/'
    })
    response = urllib2.urlopen('http://httpbin.snowdreams1006.cn/get?%s' % params)
    print('>>>Response Headers:')
    print(response.info())
    print('>>>Response Body:')
    print(response.read())

if __name__ == '__main__':
    print '>>>Use params urllib2<<    use_params_urllib2()/<code>

urllib2.urlopen('http://httpbin.snowdreams1006.cn/get')

POST 請求

相比於默認的 GET 請求方式,只需要將查詢參數不再拼接到請求鏈接 URL 而是作為可選參數傳遞給參數 data,形如 urllib.urlopen(url,data) 的請求方式是 POST 請求.

<code>def post_params_urllib2():
    '''
    獲取響應頭和響應體信息
    '''
    params = urllib.urlencode({
        'param1': 'hello', 
        'param2': 'world',
        'author':'snowdreams1006',
        'website':'http://blog.snowdreams1006.cn',
        'url':'https://snowdreams1006.github.io/learn-python/url/urllib/teaching.html',
        'wechat':'snowdreams1006',
        'email':'[email protected]',
        'github':'https://github.com/snowdreams1006/'
    })
    response = urllib2.urlopen('http://httpbin.snowdreams1006.cn/post',params) 

    print('>>>Response Headers:')
    print(response.info())
    print('>>>Response Body:')
    print(response.read())

if __name__ == '__main__':
    print '>>>Post params urllib2<<    post_params_urllib2()/<code>

設置代理

當代理對象有效時 urllib.FancyURLopener(proxy) 可發送代理請求,若代理對象是空字典時則是清除代理設置.

<code># -*- coding: utf-8 -*-
import urllib
import urllib2
import json

def get_proxy():
    '''
    獲取隨機代理
    '''
    response = urllib2.urlopen('http://proxyip.snowdreams1006.cn/get/')
    result = response.read()
    return json.loads(result)

def get_proxy_urllib():
    '''
    通過代理發送請求
    '''
    # 隨機代理 ip
    ip = get_proxy().get('proxy')
    print('>>>Get Proxy:')
    print(ip)
    proxy = {
        'http': 'http://{}'.format(ip),
        'https': 'https://{}'.format(ip)
    }
    opener = urllib.FancyURLopener(proxy)
    response = opener.open('http://httpbin.snowdreams1006.cn/ip')
    result = response.read() 

    result = json.loads(result)
    response_ip = result.get('origin')
    proxy_ip = ip.split(':')[0]
    if proxy_ip == response_ip:
        print 'Proxy Success'
    else:
        print 'Proxy Fail'

if __name__ == '__main__':
    print '>>>Get proxy urllib<<    get_proxy_urllib()/<code>

除了使用 urllib.FancyURLopener(proxy) 設置代理請求外,還可以使用 urllib2.urlopen(url,data,proxies) 發送 GET 或 POST 請求的代理請求.

<code># -*- coding: utf-8 -*-
import urllib
import urllib2
import json

def get_proxy():
    '''
    獲取隨機代理
    '''
    response = urllib2.urlopen('http://proxyip.snowdreams1006.cn/get/')
    result = response.read()
    return json.loads(result)

def post_proxy_urllib():
    '''
    通過代理獲取響應頭和響應體信息
    '''
    data = urllib.urlencode({
        'param1': 'hello', 
        'param2': 'world',
        'author':'snowdreams1006',
        'website':'http://blog.snowdreams1006.cn',
        'url':'https://snowdreams1006.github.io/learn-python/url/urllib/teaching.html',
        'wechat':'snowdreams1006',
        'email':'[email protected]',
        'github':'https://github.com/snowdreams1006/'
    })
    ip = get_proxy().get('proxy')
    print('>>>Get Proxy:')
    print(ip)
    proxies = {
        'http': 'http://{}'.format(ip),
        'https': 'https://{}'.format(ip) 

    }
    response = urllib2.urlopen('http://httpbin.snowdreams1006.cn/post',data=data,proxies=proxies)
    result = response.read()
    result = json.loads(result)
    response_ip = result.get('origin')
    proxy_ip = ip.split(':')[0]
    if proxy_ip == response_ip:
        print 'Proxy Success'
    else:
        print 'Proxy Fail'

if __name__ == '__main__':
    print '>>>Get proxy urllib<<    post_proxy_urllib()/<code>

python2 的 urllib.urlopen(url[,data[,proxies]]) 的相關演示基本上全部覆蓋完畢,推薦讀者實際練習一下.

下節預告:

訪問https://api.github.com/請求感興趣的接口,親測公開數據.

<code>{
  "current_user_url": "https://api.github.com/user",
  "current_user_authorizations_html_url": "https://github.com/settings/connections/applications{/client_id}",
  "authorizations_url": "https://api.github.com/authorizations",
  "code_search_url": "https://api.github.com/search/code?q={query}{&page,per_page,sort,order}",
  "commit_search_url": "https://api.github.com/search/commits?q={query}{&page,per_page,sort,order}",
  "emails_url": "https://api.github.com/user/emails",
  "emojis_url": "https://api.github.com/emojis",
  "events_url": "https://api.github.com/events",
  "feeds_url": "https://api.github.com/feeds",
  "followers_url": "https://api.github.com/user/followers",
  "following_url": "https://api.github.com/user/following{/target}",
  "gists_url": "https://api.github.com/gists{/gist_id}",
  "hub_url": "https://api.github.com/hub",
  "issue_search_url": "https://api.github.com/search/issues?q={query}{&page,per_page,sort,order}",
  "issues_url": "https://api.github.com/issues",
  "keys_url": "https://api.github.com/user/keys",
  "label_search_url": "https://api.github.com/search/labels?q={query}&repository_id={repository_id}{&page,per_page}",
  "notifications_url": "https://api.github.com/notifications",
  "organization_url": "https://api.github.com/orgs/{org}",
  "organization_repositories_url": "https://api.github.com/orgs/{org}/repos{?type,page,per_page,sort}",
  "organization_teams_url": "https://api.github.com/orgs/{org}/teams",
  "public_gists_url": "https://api.github.com/gists/public",
  "rate_limit_url": "https://api.github.com/rate_limit", 

  "repository_url": "https://api.github.com/repos/{owner}/{repo}",
  "repository_search_url": "https://api.github.com/search/repositories?q={query}{&page,per_page,sort,order}",
  "current_user_repositories_url": "https://api.github.com/user/repos{?type,page,per_page,sort}",
  "starred_url": "https://api.github.com/user/starred{/owner}{/repo}",
  "starred_gists_url": "https://api.github.com/gists/starred",
  "user_url": "https://api.github.com/users/{user}",
  "user_organizations_url": "https://api.github.com/user/orgs",
  "user_repositories_url": "https://api.github.com/users/{user}/repos{?type,page,per_page,sort}",
  "user_search_url": "https://api.github.com/search/users?q={query}{&page,per_page,sort,order}"
}/<code>

參考文檔

https://www.cnblogs.com/yun1108/p/8967334.html
https://www.cnblogs.com/sysu-blackbear/p/3629420.html
https://www.jianshu.com/p/260f18aa5462
https://blog.csdn.net/momoyaoquaoaoao/article/details/93863115

如果你覺得本文對你有所幫助,歡迎點贊評論和轉發,來一波素質三連吧! 偷偷告訴你,點擊瞭解更多可以獲得最佳閱讀體驗喲!

分享到:

閱讀更多 雪之夢技術驛站 的文章

關鍵字: Pro 原生講解

第二章 IoC容器和Bean配置

bean是一個對象，它是由Spring

運算裡不得不說的python模塊—math

Help

Devops度量--DevOps 現狀快速檢查表

今天主要分享一個DevOps

SOP是什麼（解讀）

SOP不是單個的，是一個體系，雖然我們可以單獨地定義每一個SOP，但真正從企業管理來看，SOP不可能只是單個的，必然是一個整體和體系，也是企業不可或缺的。

還不知道交換機上如何配置DHCP，趕緊過來圍觀吧，一分鐘包你學會

隨著終端設備的越來越多，人工干預配置IP地址，不僅工作效率低，而且，還很容易導致IP衝突，影響正常的網絡訪問。到此已經完成了，DHCP服務的配置了，我們可以在終端驗證。

還在手動配置IP地址嗎？太Low了，一分鐘教會您如何配置DHCP

Python爬蟲自學筆記：分析頭條文章網頁源文件

這兩天分析了一下頭條文章網頁的源文件，現在將分析的結果分享給大家。首先以一篇文章為例，其網址如下：https://www.toutiao.com/i6822245428176617998/如上圖網頁所示，文章中包含文字和圖片。

DNS偵查工具

我們只需要打開瀏覽器輸入例如:www.baidu.com就可以解析到該網站.為了便於記住不需要輸入長長的IP地址去訪問這就是DNS域名解析.關於域名域名的層次劃分用點來分割這時DNS把相對應的域名解析成IP地址高的在右邊.例如:www. NS簡介訪問某網站的時候最低在左邊

國人開源的異步 Python ORM：GINO

程序測評：Create React App 3.3中有哪些酷炫新功能？

Create

“明學”的魅力？我只要我覺得：駕馭終端，提高生產力

最後一個要介紹的命令是

（必收藏系列）Linux面試題——命令集

關注，後臺私信【Linux】分享Linux入門到進階電子書、Linux入門到精通視頻教程（免費）。文件管理命令cat

五分鐘學會如何在 IPFS 上部署網站

原文標題:五分鐘學會如何在

「正點原子NANO STM32F103開發板資料連載」第29章內存管理實驗

1）實驗平臺：【正點原子】

小白怎麼學Web前端開發如何成為技術達人

Web前端開發工程師已經成為了很多年輕人心中的理想工作，不僅入行門檻低、而且薪資待遇和發展前景都不錯，自然吸引了大批人加入行業。

如何開發一個web靜態服務器

我們都知道如今的web服務器有很多，比如著名的有apache，有nginx，有tomcat，有resin服務器，有sphere，有iis服務器等等，這些服務器都能提供web服務，並且幾乎都能和多種語言進行搭配使用，那麼一個web服務器都需要那些功能，開發一個web服務器都需要那些

學Java編程還有前景嗎如何才能拿到高薪

需求大、薪資高似乎是Java開發人員的標籤，不過學Java編程還有前景嗎？它架構在操作系統之上，屏蔽了底層的差異，真正實現了“Writeonce run

Python網絡爬蟲之配置篇（一）

pip

SpringBoot 整合SpringSecurity示例實現前後分離權限註解+JWT登錄認證

serverTimezone=UTC&useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertTo&useSSL=falseusername:rootpassword:

Python的運行效率太低？幾行代碼快速提升！

return的就是是你所需要的結果2.3、運行這一步就是最後一步了，只要像下面一樣輸入上述函數名，賦予參數值，點擊運行Run，就能得到你想要的結果arg1=5

python的優點是什麼？最新Python400集視頻（附教程）

2020，最新Python零基礎到精通資料教材，乾貨分享，新基礎Python教材，穩穩找到過萬工作，看這裡，這裡有你想要的所有資源哦，最強筆記，教你怎麼入門提升！獲取方式：私信小編“

MySQL中OOM故障應如何下手-愛可生

作者：孫祚龍愛可生南區分公司交付服務部成員，實習工程師。負責公司產品問題排查及日常運維工作。本文來源：原創投稿*愛可生開源社區出品，原創內容未經授權不得隨意使用，轉載請聯繫小編並註明來源。

像專家一樣使用 panic

|go

30種不同的編程語言怎麼寫“Hello, World”

printfn

percona QAN 介紹

一、背景QAN慢查詢日誌分析工具是PMM

面試官：你可以用純CSS判斷鼠標進入的方向嗎？

雖然沒什麼軟用，但是對付面試官應該是夠用了。感謝面試官提出的問題，讓我實現了這個功能，對CSS

網絡工程師職業生涯中，哪兩點是最重要的？

網絡工程師最重要的技能是紮實的基礎和非常開放的思維，微觀知識紮實、宏觀能力突出。項目經驗也會讓網絡工程師基礎更牢靠，網絡工程師是要實戰的，要避免紙上談兵，我認為對基礎理論的理解，比你清楚配置更重要。

交換機中相關術語代表什麼意思，有必要弄清楚

由淺入深瞭解以太坊 2.0：最常見問題和最全學習清單

有關以太坊2.0

【Linux簡單實用小命令001】CentOS 7、8的防火牆端口開放

yuminstall

吃透這些IPFS硬核知識點，日後搶頭礦隨時“彎道超車”

今天的你捉住IPFS機遇了嗎？我們都知道在Filecoin網絡中作為一名存儲礦工，信譽對於我們是非常重要的——信譽越高，爆塊幾率越大。那麼信譽系統現在怎麼樣了呢？

Hive分桶表

fieldsterminated

Spring中資源的加載原來是這麼一回事啊！

自己動手搭建郵件系統：怎樣讓Exchange Server 發出第一封郵件？

編輯Exchange

$【MySQL】RDS物理備份文件(.idb\.frm)恢復到MySQL自建數據庫$

【MySQL】RDS物理備份文件(.idb\.frm)恢復到MySQL自建數據庫

在阿里雲控制檯，我們能下載的文件是一個壓縮包，解壓之後，是.idb和.frm文件，你可能要問了，我可以直接把解壓好的問題件覆蓋到MySQL的data目錄下嗎？

NLP算法入門系列：隱含馬爾可夫鏈(HMM)模型的簡單介紹

即，最大化

第一章 Spring Framework概述

您可以在任何web

opencv人工智能深度學習這樣實現人臉的年齡檢測

前期的文章我們分享了人臉的識別以及如何進行人臉數據的訓練，本期文章我們結合人臉識別的模型進行人臉年齡的檢測人臉年齡的檢測步驟1、首先需要進行人臉的檢測2、把檢測到的人臉數據給年齡檢測模型去檢測3、把檢測結果呈現到圖片上人臉年齡檢測import

嵌入式linux網絡編程之——5年程序員給你深度講解socket套接字

圖8-1

深入瞭解ProcessFunction的狀態操作(Flink-1.10)

先反思為何會有上述疑惑上述疑惑產生的原因，應該是受到平時使用HashMap的影響，HashMap獲取值就是在調用get方法時指定key，設置值也是在put時指定key，所以看到state.value，看懂了這些，其實也是在瞭解DataStream/DataSetAPI的設計思路：

Redis內存分析工具--rdr安裝與使用

分析Redis

資深架構師教你源碼講解zookeeper實現分佈式鎖以及集群搭建步驟

//getData發現前一個子節點被刪除，拋出異常

一行代碼提升遷移性能

論文原址：https://arxiv.org/pdf/2003.12237.pdf開源地址：https://github.com/cuishuhao/BNM在發表在CVPR2020

利用相似幾何信息，做可泛化3D形狀分割模型

更具體的有以下三種典型的分割方案：FullyConvolutional-Like

這麼好用的開源計算器SpeedCrunch，沒有不嘗試一下的道理

介紹SpeedCrunch是一款高精度科學計算器，具有快速，鍵盤驅動的用戶界面。獲取方式在GitHub上搜索SpeedCrunch，就可以去到

分佈式緩存，真香

他是前易寶支付架構師、阿里雲MVP、騰訊雲

特徵工程的力量

在本文中，我希望教給您一些有關特徵工程的知識，以及如何使用它來對非線性決策邊界進行建模。為了說明這一點，假設恢復時間與身高和體重具有以下關係：Y=β₀+β₁+β2+β₃+noise從第三項來看，我們可以看到Y與身高和體重沒有線性關係。

java架構：天天寫面向接口編程，你考慮過性能嗎？大神都是這麼寫

public

SpringBoot如何優雅的使用RocketMQ

源碼編譯需要Maven3.2x，JDK8在根目錄進行打包:Copymvn-Prelease-all

css代碼規範工具stylelint

"mixin"

python學習筆記之手把手講解如何使用原生的 urllib 發送網絡請求

文章目錄

環境搭建

環境演示

環境搭建

網絡請求 urllib 庫

怎麼發送最簡單的網絡請求

怎麼知道有哪些屬性和方法

如何發送普通 GET 請求

如何發送普通 POST 請求

如何設置代理進行網絡請求

環境搭建

docker 方式安裝

源碼方式安裝

代理請求

獲取隨機代理 ip

設置代理ip訪問

清除代理 ip 直連

學習總結

虛擬環境 virtualenv

服務端後臺 httpbin

免費ip代理池 proxyip

原生網絡請求 urllib

參考文檔

相關文章:

第二章 IoC容器和Bean配置

運算裡不得不說的python模塊—math

Devops度量--DevOps 現狀快速檢查表

SOP是什麼（解讀）

還不知道交換機上如何配置DHCP，趕緊過來圍觀吧，一分鐘包你學會

還在手動配置IP地址嗎？太Low了，一分鐘教會您如何配置DHCP

Python爬蟲自學筆記：分析頭條文章網頁源文件

DNS偵查工具

國人開源的異步 Python ORM：GINO

程序測評：Create React App 3.3中有哪些酷炫新功能？

“明學”的魅力？我只要我覺得：駕馭終端，提高生產力

（必收藏系列）Linux面試題——命令集

五分鐘學會如何在 IPFS 上部署網站

「正點原子NANO STM32F103開發板資料連載」第29章 內存管理實驗

小白怎麼學Web前端開發 如何成為技術達人

如何開發一個web靜態服務器

學Java編程還有前景嗎 如何才能拿到高薪

Python網絡爬蟲之配置篇（一）

SpringBoot 整合SpringSecurity示例實現前後分離權限註解+JWT登錄認證

Python的運行效率太低？幾行代碼快速提升！

python的優點是什麼？最新Python400集視頻（附教程）

MySQL中OOM故障應如何下手-愛可生

像專家一樣使用 panic

30種不同的編程語言怎麼寫“Hello, World”

percona QAN 介紹

面試官：你可以用純CSS判斷鼠標進入的方向嗎？

網絡工程師職業生涯中，哪兩點是最重要的？

交換機中相關術語代表什麼意思，有必要弄清楚

由淺入深瞭解以太坊 2.0：最常見問題和最全學習清單

【Linux簡單實用小命令001】CentOS 7、8的防火牆端口開放

吃透這些IPFS硬核知識點，日後搶頭礦隨時“彎道超車”

Hive分桶表

Spring中資源的加載原來是這麼一回事啊！

自己動手搭建郵件系統：怎樣讓Exchange Server 發出第一封郵件？

【MySQL】RDS物理備份文件(.idb\.frm)恢復到MySQL自建數據庫

NLP算法入門系列：隱含馬爾可夫鏈(HMM)模型的簡單介紹

第一章 Spring Framework概述

opencv人工智能深度學習這樣實現人臉的年齡檢測

嵌入式linux網絡編程之——5年程序員給你深度講解socket套接字

深入瞭解ProcessFunction的狀態操作(Flink-1.10)

Redis內存分析工具--rdr安裝與使用

資深架構師教你源碼講解zookeeper實現分佈式鎖以及集群搭建步驟

一行代碼提升遷移性能

利用相似幾何信息，做可泛化3D形狀分割模型

這麼好用的開源計算器SpeedCrunch，沒有不嘗試一下的道理

分佈式緩存，真香

特徵工程的力量

java架構：天天寫面向接口編程，你考慮過性能嗎？大神都是這麼寫

SpringBoot如何優雅的使用RocketMQ

css代碼規範工具stylelint

「正點原子NANO STM32F103開發板資料連載」第29章內存管理實驗

小白怎麼學Web前端開發如何成為技術達人

學Java編程還有前景嗎如何才能拿到高薪