【主題】Python爬蟲之偽裝瀏覽器原理
【分析】
1.創建自定義請求對象的目的，對抗網站的反爬蟲機制
2.反爬蟲機制1：判斷用戶是否是瀏覽器訪問（User-Agent）
3.對抗措施1：偽裝瀏覽器進行訪問
【注意】
使用request（）來包裝請求，再通過urlopen（）獲取頁面。單純使用 urlopen 並不能足以構建一個完整的請求，需要給request一個header參數，而header參數就是用來存放User-Agent內容的，發起請求需要傳遞header參數；
【代碼】
注：User-Agent是Http協議中的一部分，屬於頭域的組成部分，User Agent也簡稱UA。用較為普通的一點來說，是一種向訪問網站提供你所使用的瀏覽器類型、操作系統及版本、CPU 類型、瀏覽器渲染引擎、瀏覽器語言、瀏覽器插件等信息的標識。UA字符串在每次瀏覽器 HTTP 請求時發送到服務器！
分享到:
閱讀更多 Python佈道師 的文章
