今天我們要向大家詳細解說python爬蟲原理，什麼是python爬蟲，python爬蟲工作的基本流程是什麼等內容，希望對這正在進行python爬蟲學習的同學有所幫助!
前言
簡單來說互聯網是由一個個站點和網絡設備組成的大網，我們通過瀏覽器訪問站點，站點把HTML、JS、CSS代碼返回給瀏覽器，這些代碼經過瀏覽器解析、渲染，將豐富多彩的網頁呈現我們眼前;
一、爬蟲是什麼?
如果我們把互聯網比作一張大的蜘蛛網，數據便是存放於蜘蛛網的各個節點，而爬蟲就是一隻小蜘蛛，
沿著網絡抓取自己的獵物(數據)爬蟲指的是：向網站發起請求，獲取資源後分析並提取有用數據的程序;
從技術層面來說就是 通過程序模擬瀏覽器請求站點的行為，把站點返回的HTML代碼/JSON數據/二進制數據(圖片、視頻) 爬到本地，進而提取自己需要的數據，存放起來使用;
二、爬蟲的基本流程：
用戶獲取網絡數據的方式：
方式1：瀏覽器提交請求--->下載網頁代碼--->解析成頁面
方式2：模擬瀏覽器發送請求(獲取網頁代碼)->提取有用的數據->存放於數據庫或文件中
爬蟲要做的就是方式2;
1、發起請求
使用http庫向目標站點發起請求，即發送一個Request
Request包含：請求頭、請求體等
Request模塊缺陷：不能執行JS 和CSS 代碼
2、獲取響應內容
如果服務器能正常響應，則會得到一個Response
Response包含：html，json，圖片，視頻等
3、解析內容
解析html數據：正則表達式(RE模塊)，第三方解析庫如Beautifulsoup，pyquery等
解析json數據：json模塊
解析二進制數據:以wb的方式寫入文件
4、保存數據
數據庫(MySQL，Mongdb、Redis)
文件
三、http協議 請求與響應
Request：用戶將自己的信息通過瀏覽器(socket client)發送給服務器(socketserver)
Response：服務器接收請求，分析用戶發來的請求信息，然後返回數據(返回的數據中可能包含其他鏈接，如：圖片，js，css等)
ps：瀏覽器在接收Response後，會解析其內容來顯示給用戶，而爬蟲程序在模擬瀏覽器發送請求然後接收Response後，是要提取其中的有用數據。
四、 request
1、請求方式：
常見的請求方式：GET / POST
2、請求的URL
url全球統一資源定位符，用來定義互聯網上一個唯一的資源 例如：一張圖片、一個文件、一段視頻都可以用url唯一確定
url編碼
https://www.baidu.com/s?wd=圖片
圖片會被編碼(看示例代碼)
網頁的加載過程是：
加載一個網頁，通常都是先加載document文檔，
在解析document文檔的時候，遇到鏈接，則針對超鏈接發起下載圖片的請求
3、請求頭
User-agent：請求頭中如果沒有user-agent客戶端配置，服務端可能將你當做一個非法用戶host;
cookies：cookie用來保存登錄信息
注意： 一般做爬蟲都會加上請求頭
請求頭需要注意的參數：
(1)Referrer：訪問源至哪裡來(一些大型網站，會通過Referrer 做防盜鏈策略;所有爬蟲也要注意模擬)
(2)User-Agent:訪問的瀏覽器(要加上否則會被當成爬蟲程序)
(3)cookie：請求頭注意攜帶
4、請求體
請求體
如果是get方式，請求體沒有內容 (get請求的請求體放在 url後面參數中，直接能看到)
如果是post方式，請求體是format data
ps：
1、登錄窗口，文件上傳等，信息都會被附加到請求體內
2、登錄，輸入錯誤的用戶名密碼，然後提交，就可以看到post，正確登錄後頁面通常會跳轉，無法捕捉到post
五、 響應Response
1、響應狀態碼
200：代表成功
301：代表跳轉
404：文件不存在
403：無權限訪問
502：服務器錯誤
2、respone header
響應頭需要注意的參數：
(1)Set-Cookie:BDSVRTM=0; path=/：可能有多個，是來告訴瀏覽器，把cookie保存下來
(2)Content-Location：服務端響應頭中包含Location返回瀏覽器之後，瀏覽器就會重新訪問另一個頁面
3、preview就是網頁源代碼
JSO數據
如網頁html，圖片
二進制數據等
六、總結
1、總結爬蟲流程：
爬取--->解析--->存儲
2、爬蟲所需工具：
請求庫：requests,selenium(可以驅動瀏覽器解析渲染CSS和JS，但有性能劣勢(有用沒用的網頁都會加載);)
解析庫：正則，beautifulsoup，pyquery
存儲庫：文件，MySQL，Mongodb，Redis
感謝您的閱讀，以上就是對python爬蟲原理的一些介紹
1. 原地交換兩個數字
Python 提供了一個直觀的在一行代碼中賦值與交換（變量值）的方法，請參見下面的示例：
x,y= 10,20print(x,y)x,y= y,xprint(x,y)#1 (10, 20)#2 (20, 10)
賦值的右側形成了一個新的元組，左側立即解析（unpack）那個（未被引用的）元組到變量 和 。
一旦賦值完成，新的元組變成了未被引用狀態並且被標記為可被垃圾回收，最終也完成了變量的交換。
2. 鏈狀比較操作符
比較操作符的聚合是另一個有時很方便的技巧：
n= 10result= 1< n< 20print(result)# Trueresult= 1> n<= 9print(result)# False
3. 使用三元操作符來進行條件賦值
三元操作符是 if-else 語句也就是條件操作符的一個快捷方式：
[表達式為真的返回值] if [表達式] else [表達式為假的返回值]
這裡給出幾個你可以用來使代碼緊湊簡潔的例子。下面的語句是說“如果 y 是 9，給 x 賦值 10，不然賦值為 20”。如果需要的話我們也可以延長這條操作鏈。
x = 10 if (y == 9) else 20
同樣地，我們可以對類做這種操作：
x = (classA if y == 1 else classB)(param1, param2)
在上面的例子裡 classA 與 classB 是兩個類，其中一個類的構造函數會被調用。
下面是另一個多個條件表達式鏈接起來用以計算最小值的例子：
def small(a,b,c):returnaifa<= banda<= celse(bifb<= aandb<= celsec)print(small(1,0,1))print(small(1,2,2))print(small(2,2,3))print(small(5,4,3))#Output#0 #1 #2 #3
我們甚至可以在列表推導中使用三元運算符：
[m**2 if m > 10 else m**4 for m in range(50)]#=> [0, 1, 16, 81, 256, 625, 1296, 2401, 4096, 6561, 10000, 121, 144, 169, 196, 225, 256, 289, 324, 361, 400, 441, 484, 529, 576, 625, 676, 729, 784, 841, 900, 961, 1024, 1089, 1156, 1225, 1296, 1369, 1444, 1521, 1600, 1681, 1764, 1849, 1936, 2025, 2116, 2209, 2304, 2401]
4. 多行字符串
基本的方式是使用源於 C 語言的反斜槓：
multiStr= “select * from multi_rowwhere row_id < 5”print(multiStr)# select * from multi_row where row_id < 5
另一個技巧是使用三引號：
multiStr= “””select * from multi_rowwhere row_id < 5″””print(multiStr)#select * from multi_row#where row_id < 5
上面方法共有的問題是缺少合適的縮進，如果我們嘗試縮進會在字符串中插入空格。所以最後的解決方案是將字符串分為多行並且將整個字符串包含在括號中：
multiStr= (“select * from multi_row ”“where row_id < 5 ”“order by age”)print(multiStr)#select * from multi_row where row_id < 5 order by age
5. 存儲列表元素到新的變量中
我們可以使用列表來初始化多個變量，在解析列表時，變量的數目不應該超過列表中的元素個數：【譯者注：元素個數與列表長度應該嚴格相同，不然會報錯】
testList= [1,2,3]x,y,z= testListprint(x,y,z)#-> 1 2 3
6. 打印引入模塊的文件路徑
如果你想知道引用到代碼中模塊的絕對路徑，可以使用下面的技巧：
import threadingimport socketprint(threading)print(socket)#1- #2-
7. 交互環境下的 “_” 操作符
這是一個我們大多數人不知道的有用特性，在 Python 控制檯，不論何時我們測試一個表達式或者調用一個方法，結果都會分配給一個臨時變量： _（一個下劃線）。
>>> 2+ 13>>> _3>>> print_3
“_” 是上一個執行的表達式的輸出。
8. 字典/集合推導
與我們使用的列表推導相似，我們也可以使用字典/集合推導，它們使用起來簡單且有效，下面是一個例子：
testDict= {i: i *iforiinxrange(10)}testSet= {i *2foriinxrange(10)}print(testSet)print(testDict)#set([0, 2, 4, 6, 8, 10, 12, 14, 16, 18])#{0: 0, 1: 1, 2: 4, 3: 9, 4: 16, 5: 25, 6: 36, 7: 49, 8: 64, 9: 81}
注：兩個語句中只有一個 <:> 的不同，另，在 Python3 中運行上述代碼時，將 改為 。
9. 調試腳本
我們可以在 模塊的幫助下在 Python 腳本中設置斷點，下面是一個例子：
import pdbpdb.set_trace()
我們可以在腳本中任何位置指定 並且在那裡設置一個斷點，相當簡便。
10. 開啟文件分享
Python 允許運行一個 HTTP 服務器來從根路徑共享文件，下面是開啟服務器的命令：
# Python 2
python -m SimpleHTTPServer
# Python 3
python3 -m http.server
上面的命令會在默認端口也就是 8000 開啟一個服務器，你可以將一個自定義的端口號以最後一個參數的方式傳遞到上面的命令中。
11. 檢查 Python 中的對象
我們可以通過調用 dir() 方法來檢查 Python 中的對象，下面是一個簡單的例子：
test= [1,3,5,7]print(dir(test))[‘__add__’, ‘__class__’, ‘__contains__’, ‘__delattr__’, ‘__delitem__’, ‘__delslice__’, ‘__doc__’, ‘__eq__’, ‘__format__’, ‘__ge__’, ‘__getattribute__’, ‘__getitem__’, ‘__getslice__’, ‘__gt__’, ‘__hash__’, ‘__iadd__’, ‘__imul__’, ‘__init__’, ‘__iter__’, ‘__le__’, ‘__len__’, ‘__lt__’, ‘__mul__’, ‘__ne__’, ‘__new__’, ‘__reduce__’, ‘__reduce_ex__’, ‘__repr__’, ‘__reversed__’, ‘__rmul__’, ‘__setattr__’, ‘__setitem__’, ‘__setslice__’, ‘__sizeof__’, ‘__str__’, ‘__subclasshook__’, ‘append’, ‘count’, ‘extend’, ‘index’, ‘insert’, ‘pop’, ‘remove’, ‘reverse’, ‘sort’]
12. 簡化 if 語句
我們可以使用下面的方式來驗證多個值：
if m in [1,3,5,7]:
而不是：
if m==1 or m==3 or m==5 or m==7:
或者，對於 in 操作符我們也可以使用 ‘{1,3,5,7}’ 而不是 ‘[1,3,5,7]’，因為 set 中取元素是 O(1) 操作。
13. 一行代碼計算任何數的階乘
Python 2.x.
result= (lambdak: reduce(int.__mul__,range(1,k+1),1))(3)print(result)#-> 6
Python 3.x.
import functoolsresult= (lambdak: functools.reduce(int.__mul__,range(1,k+1),1))(3)print(result)#-> 6
14. 找到列表中出現最頻繁的數
test= [1,2,3,4,2,2,3,1,4,4,4]print(max(set(test),key=test.count))#-> 4
15. 重置遞歸限制
Python 限制遞歸次數到 1000，我們可以重置這個值：
import sysx=1001print(sys.getrecursionlimit())sys.setrecursionlimit(x)print(sys.getrecursionlimit())#1-> 1000#2-> 1001
請只在必要的時候採用上面的技巧。
16. 檢查一個對象的內存使用
在 Python 2.7 中，一個 32 比特的整數佔用 24 字節，在 Python 3.5 中利用 28 字節。為確定內存使用，我們可以調用 getsizeof 方法：
在 Python 2.7 中
import sysx=1print(sys.getsizeof(x))#-> 24
在 Python 3.5 中
import sysx=1print(sys.getsizeof(x))#-> 28
17. 使用 __slots__ 來減少內存開支
你是否注意到你的 Python 應用佔用許多資源特別是內存？有一個技巧是使用 __slots__ 類變量來在一定程度上減少內存開支。
import sysclassFileSystem(object):def __init__(self,files,folders,devices):self.files= filesself.folders= foldersself.devices= devicesprint(sys.getsizeof(FileSystem))classFileSystem1(object):__slots__= [‘files’,’folders’,’devices’]def __init__(self,files,folders,devices):self.files= filesself.folders= foldersself.devices= devicesprint(sys.getsizeof(FileSystem1))#In Python 3.5#1-> 1016#2-> 888
很明顯，你可以從結果中看到確實有內存使用上的節省，但是你只應該在一個類的內存開銷不必要得大時才使用 __slots__。只在對應用進行性能分析後才使用它，不然地話，你只是使得代碼難以改變而沒有真正的益處。
【譯者注：在我的 win10 python2.7 中上面的結果是：
#In Python 2.7 win10#1-> 896#2-> 1016
所以，這種比較方式是不那麼讓人信服的，使用 __slots__ 主要是用以限定對象的屬性信息，另外，當生成對象很多時花銷可能會小一些，具體可以參見 python 官方文檔:
The slots declaration takes a sequence of instance variables and reserves just enough space in each instance to hold a value for each variable. Space is saved because dict is not created for each instance. 】
18. 使用 lambda 來模仿輸出方法
import syslprint=lambda *args:sys.stdout.write(” “.join(map(str,args)))lprint(“python”,”tips”,1000,1001)#-> python tips 1000 1001
19.從兩個相關的序列構建一個字典
t1= (1,2,3)t2= (10,20,30)print(dict(zip(t1,t2)))#-> {1: 10, 2: 20, 3: 30}
20. 一行代碼搜索字符串的多個前後綴
print(“http://www.google.com”.startswith((“http://”,”https://”)))print(“http://www.google.co.uk”.endswith((“.com”,”.co.uk”)))#1-> True#2-> True
21. 不使用循環構造一個列表
import itertoolstest= [[-1,-2],[30,40],[25,35]]print(list(itertools.chain.from_iterable(test)))#-> [-1, -2, 30, 40, 25, 35]
22. 在 Python 中實現一個真正的 switch-case 語句
下面的代碼使用一個字典來模擬構造一個 switch-case。
def xswitch(x):returnxswitch._system_dict.get(x,None)xswitch._system_dict= {‘files’: 10,’folders’: 5,’devices’: 2}print(xswitch(‘default’))print(xswitch(‘devices’))#1-> None#2-> 2
閱讀更多 貓算學院 的文章
