互聯網的數據爆炸式的增長，而利用 Python 爬蟲我們可以獲取大量有價值的數據：
1.爬取數據，進行市場調研和商業分析
爬取知乎優質答案，篩選各話題下最優質的內容； 抓取房產網站買賣信息，分析房價變化趨勢、做不同區域的房價分析；爬取招聘網站職位信息，分析各行業人才需求情況及薪資水平。
2.作為機器學習、數據挖掘的原始數據
比如你要做一個推薦系統，那麼你可以去爬取更多維度的數據，做出更好的模型。
3.爬取優質的資源：圖片、文本、視頻
爬取商品（店鋪）評論以及各種圖片網站，獲得圖片資源以及評論文本數據。
掌握正確的方法，在短時間內做到能夠爬取主流網站的數據，其實非常容易實現。
但建議你從一開始就要有一個具體的目標，在目標的驅動下，你的學習才會更加精準和高效。這裡給你一條平滑的、零基礎快速入門的學習路徑：
1.瞭解爬蟲的基本原理及過程
2.Requests+Xpath 實現通用爬蟲套路
3.瞭解非結構化數據的存儲
4.應對特殊網站的反爬蟲措施
5.Scrapy 與 MongoDB，進階分佈式
01
瞭解爬蟲的基本原理及過程
大部分爬蟲都是按“發送請求——獲得頁面——解析頁面——抽取並儲存內容”這樣的流程來進行，這其實也是模擬了我們使用瀏覽器獲取網頁信息的過程。
簡單來說，我們向服務器發送請求後，會得到返回的頁面，通過解析頁面之後，我們可以抽取我們想要的那部分信息，並存儲在指定的文檔或數據庫中。
在這部分你可以簡單瞭解 HTTP 協議及網頁基礎知識，比如 POST\GET、HTML、CSS、JS，簡單瞭解即可，不需要系統學習。
02
學習 Python 包並實現基本的爬蟲過程
Python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，建議你從requests+Xpath 開始，requests 負責連接網站，返回網頁，Xpath 用於解析網頁，便於抽取數據。
如果你用過 BeautifulSoup，會發現 Xpath 要省事不少，一層一層檢查元素代碼的工作，全都省略了。掌握之後，你會發現爬蟲的基本套路都差不多，一般的靜態網站根本不在話下，小豬、豆瓣、糗事百科、騰訊新聞等基本上都可以上手了。
文末有Python入門資料，可以免費獲取。
分佈式這個東西，聽起來非常嚇人，但其實就是利用多線程的原理讓多個爬蟲同時工作，需要你掌握 Scrapy + MongoDB + Redis 這三種工具。
Scrapy 用於做基本的頁面爬取，MongoDB 用於存儲爬取的數據，Redis 則用來存儲要爬取的網頁隊列，也就是任務隊列。
你看，這一條學習路徑下來，你已然可以成為老司機了，非常的順暢。所以在一開始的時候，儘量不要系統地去啃一些東西，找一個實際的項目練習，直接開始就好。
因為爬蟲這種技術，既不需要你係統地精通一門語言，也不需要多麼高深的數據庫技術，高效的姿勢就是從實際的項目中去學習這些零散的知識點，你能保證每次學到的都是最需要的那部分。
當然唯一麻煩的是，在具體的問題中，如何找到具體需要的那部分學習資源、如何篩選和甄別，是很多初學者面臨的一個大問題。
寫在最後
閱讀更多 新啟創意 的文章
