爬蟲是什麼？
如果我們把互聯網比作一張大的蜘蛛網，數據便是存放於蜘蛛網的各個節點，而爬蟲就是一隻小蜘蛛，
沿著網絡抓取自己的獵物（數據）爬蟲指的是：向網站發起請求，獲取資源後分析並提取有用數據的程序；
從技術層面來說就是 通過程序模擬瀏覽器請求站點的行為，把站點返回的HTML代碼/JSON數據/二進制數據（圖片、視頻） 爬到本地，進而提取自己需要的數據，存放起來使用；
基本環境配置
版本：Python3
系統：Windows
IDE：Pycharm
爬蟲所需工具：
請求庫：requests,selenium（可以驅動瀏覽器解析渲染CSS和JS，但有性能劣勢（有用沒用的網頁都會加載）；）
解析庫：正則，beautifulsoup，pyquery
存儲庫：文件，MySQL，Mongodb，Redis
為了幫助大家更輕鬆的學好Python開發技術，Python爬蟲，Python數據分析,我給大家分享一套Python學習資料，關注我頭條號，然後私信我‘2020’幾個數字免費領取。還有專業的老司機在線免費直播分享答疑！（注意私信我關鍵字不要寫錯，可以複製）
Python爬蟲基本流程
基礎版：
函數封裝版
併發版
（如果一共需要爬30個視頻，開30個線程去做，花的時間就是 其中最慢那份的耗時時間）
明白了Python爬蟲的基本流程，然後對照代碼是不是覺得爬蟲特別的簡單呢？
分享到:
閱讀更多 程序員趣事 的文章
