Python是近幾年最火熱的編程語言，大家既然看到了爬蟲的知識，想必也瞭解到python。
很多都說python與爬蟲就是一對相戀多年的戀人，二者如膠似漆 ，形影不離，你中有我、我中有你，有python的地方絕對離不開爬蟲，有爬蟲的地方，話題永遠都繞不開python。
因為小編也正在學習python編程，所以花了一週時間，將關於python爬蟲入門知識整理出來了，這些知識個人覺得是非常重要的，所以希望大家可以收藏起來，不要弄丟哦，畢竟辛苦了這麼久。
什麼是爬蟲
爬蟲是一個程序，這個程序的目的就是為了抓取萬維網信息資源，比如你日常使用的谷歌等搜索引擎，搜索結果就全都依賴爬蟲來定時獲取。
簡單來說，無論你想獲得哪些數據，有了爬蟲都可以搞定，不論是文字、圖片、視頻，任何結構化非結構化的都能解決。
爬蟲模塊
re模塊——正則表達式模塊：
是用於快速從一大堆字符中快速找出想要的子字符串的一種表達方式，這個模塊是初學者必須要弄清楚的，當你剛開始用的時候會覺得有難度，一旦上手了，你就會愛上它，邏輯性是非常強的。
os模塊：
對文件文本的操作，可以創建文件夾，訪問文件夾內容等，它會自適應於不同的操作系統平臺，根據不同的平臺進行相應的操作。
比如說我們常見的os.name，“name”顧名思義就是“名字”，這裡的名字是指操作系統的名字，主要作用是判斷目前正在使用的平臺，也要注意到該命令不帶括號。
csv模塊：
爬取出來的數據可以以csv的格式保存，可以用office辦公軟件中的Excel表格軟件打開，所以一般都是用於讀文件、寫文件、定義格式。
基礎的抓取操作
Urllib：
是python內置的HTTP請求庫，簡單的例子：
import urllib.request
response = urllib.request.urlopen('https://blog.csdn.net/weixin_43499626')
print(response.read().decode('utf-8'))
Requests：
requests庫是一個非常實用的HTPP客戶端庫，是抓取操作最常用的一個庫。
各種請求方式：常用requests.get()和requests.post()
import requests
r = requests.get('https://api.github.com/events')
r1 = requests.get('http://httpbin.org/post',data={'key':'value'})
Requests它會比urllib更加方便，可以節約我們大量的工作。
需要登錄的接口
post請求：
直接上代碼，就能看懂的解釋
import requests
url = "http://test"
data = {"key":"value"}
res = requests.post(url=url,data=data)print(res.text)
get請求：
@classmethod
def send_get(cls, url, params, headers):
response = cls.SessionRequest.get(url=url, params=params, headers=headers)
return response.json()
常見的反爬有哪些
從功能上來講，爬蟲一般分為數據採集，處理，儲存三個部分。這裡我們只討論數據採集部分。
通過Headers：
反爬蟲從用戶請求的Headers反爬蟲是最常見的反爬蟲策略，果遇到了這類反爬蟲機制，可以直接在爬蟲中添加Headers，將瀏覽器的User-Agent複製到爬蟲的Headers中；或者將Referer值修改為目標網站域名。
基於用戶行為反爬蟲：
同一IP短時間內多次訪問同一頁面，或者同一賬戶短時間內多次進行相同操作。[這種防爬，需要有足夠多的ip來應對]，對於這種情況，使用IP代理就可以解決。可以專門寫一個爬蟲，爬取網上公開的代理ip，檢測後全部保存起來。
動態頁面的反爬蟲：
上述的幾種情況大多都是出現在靜態頁面，還有一部分網站，我們需要爬取的數據是通過ajax請求得到，。首先用Firebug或者HttpFox對網絡請求進行分析，如果能夠找到ajax請求，也能分析出具體的參數和響應的具體含義，我們就能採用上面的方法，直接利用requests或者urllib2模擬ajax請求，對響應的json進行分析得到需要的數據。
以上就是小編所整理的關於爬蟲的知識，最後小編為你們準備了PYthon爬蟲的學習資料，需要的小夥伴趕快哦！
一、Python網絡爬蟲
1、什麼是爬蟲
2、一起編寫第一個爬蟲
二、專業HTTP分析工具Fiddler的使用
1、Fiddler 用戶界面
2、Fiddler 主菜單
3、Fiddler 工具欄
4、信任 Fiddler 證書
5、Inspector
6、保存\\導入\\導出數據流
7、使用Fiddler檢測手機流量
8、Fiddler自動生成爬蟲代碼
三、實際爬蟲Python編碼問題
1、vim中如何查看文件編碼
2、str編碼轉換
3、print函數如何處理編碼
4、瀏覽器如何推斷網頁編碼
5、使用Python推測一個文件的編碼並給出推斷概率
6、Windows 命令行編碼查看與設置
7、如何解決Windows命令行的亂碼問題
四、urllib2 的使用
1、urllib2請求返回網頁
2、urllib2使用代理訪問網頁
3、urllib2修改header
五、TesseractOCR語言模型爬取使用帶驗證碼登錄的網站
1、Tesseract 使用介紹
2、Tesseract 語言模型訓練
3、帶驗證碼網站登錄示例
六、Beautiful Soup
1、bs4解析器選擇
2、lxml解析器安裝與使用
七、XPath & CSS選擇器
1、XPath語法講解
2、XPath 選擇示例
3、瀏覽器對XPath的支持
4、CSS選擇器原理
5、CSS選擇器使用實例
八、PhantomJS
1、安裝
2、腳本傳參
3、頁面加載
4、Code Evaluation
5、DOM 操作
6、網絡請求及響應
九、SeleniumWebdriver
1、元素的定位
2、添加等待時間
3、打印信息
4、瀏覽器的操作
5、瀏覽器前進後退
6、鍵盤事件
十、Scrapy大型框架使用代理服務器爬取
1、鼠標事件
2、定位一組元素
3、上傳文件
4、下拉框處理
5、調用JavaScript腳本
6、控制瀏覽器滾動條
7、原理解析
8、代理ip的獲取
9、代理ip的使用
10、架構概覽
11、Spider
12、Selector
13、Item
14、Scrapy Shell
15、Item Pileline
十一、Scrapy、分佈式集群多代理爬蟲Redis、分佈式集群Redis MongoDB在爬蟲裡的應用
1、Requests and Responses
2、Link Extractor
3、Logging
4、編寫應用MongoDB的Scrapy-Redis 爬蟲
5、應用之前講過的多代理技術\\分佈式爬蟲技術\\Redis集群技術, 編寫一個大型房源網站整站遍歷抓取爬蟲項目
十二、數據分析、工具與模塊
1、Numpy
2、Pandas
3、Scipy
4、Matplotlib
5、Seaborn
6、Scikit-Learn
Python必須掌握的核心能力：
1.掌握各類HTTP調試器用法
2.理解網絡爬蟲編寫的基本套路
3.瞭解網絡爬蟲編寫的各種陷阱
4.能夠應對動態網站爬取
5.能夠應對帶有驗證碼的網站
6.能夠應對需要瀏覽器渲染的網站
7.能夠應對分佈式抓取需要
8.能夠應對反爬蟲技術
9.能夠應對無界面抓取
10.能夠利用爬蟲平臺
強力推薦的學習素材
本套課程是小編千挑萬選的一個學習視頻資料，即使不懂Python的人，也能在半個月之內掌握Python爬蟲。
最後，如何獲取這份資料呢
請大家轉發本文+關注並私信小編：“資料”，即可免費獲取哦！
溫馨提示，不管再忙都要堅持每天要至少保持3個小時以上的練習時間 。
閱讀更多 咬咬是個大豬蹄子 的文章
