你是如何用python寫下第一個爬蟲的?

大家好,我是鳥哥,今天不聊技術,主要想給大家分享一下我在第一次python爬蟲之前的學習經歷,因為最近總是有朋友在問我到底怎麼才能快速入門python爬蟲,希望我的經歷能給初學者點啟發。

從接觸python到現在,也有三四年了,雖然算不上大牛,但也大大小小完成了數百個小項目,中間曾走過一些彎路,也曾有過迷茫,不過我感覺這些都是初學者的必經之路,畢竟學習總是痛苦的。

你是如何用python寫下第一個爬蟲的?

在我看來,python爬蟲入門少不了以下4個階段:

你是如何用python寫下第一個爬蟲的?

你要記住,沒有哪一門編程語言是輕輕鬆鬆就能學會的,雖然python相對簡單,但是也要下點功夫。

下面根據上圖詳細介紹一下我學習過程的4個階段:

1.初識python基礎

初次聽說python,是在大學的某次講座上,1位學長在講臺上侃侃而談,說他怎麼用python完成微信跳一跳的自動化測試腳本逗女朋友開心。說實話當時我心裡羨慕極了,暗暗下定決心要學習python。

你是如何用python寫下第一個爬蟲的?

我的第一本學習資料是《python編程:從入門到實踐》

你是如何用python寫下第一個爬蟲的?

感覺這本書很適合小白學習,它的第一部分從淺入深講解了python的基礎知識,從python的安裝到最終代碼的測試,非常簡單易懂,而且容易上手

作為小白中的小白,我連編輯器是什麼都不知道,就靠python自帶的IDLE敲完了整本書的代碼(真的是一行一行的敲的),耗時1個月,硬啃下python的基礎知識部分


(ps:現在覺得邊學邊敲代碼是很有用的,因為單看書的效果是不太好的,最重要的是動手實踐,只有實踐了,才會發現自己哪裡容易出錯,才會讓自己越學越有底氣)

學完後,已經能夠用python做1些簡單的題目,例如做個猜數字的小遊戲啊、計算少量的數據啊,但是整體還處於迷茫的狀態,不知道下一步還能幹些什麼。

2.鞏固基礎知識

學python的人對下面這張圖都不陌生,這就是經典的python遊戲《飛機大戰》

你是如何用python寫下第一個爬蟲的?

這是我第一個完成的python項目,也是對著書本一點一點敲的,雖然過程比較懵逼,但是當最後遊戲動起來的時候,內心還是非常興奮的,到處炫耀,開心的像個200斤的胖子。

其實寫這種遊戲項目對鞏固基礎知識是很有用的,雖然你敲代碼的時候很難受,因為有很多不懂的地方,但是這在無形之中提高了你的編程能力,能幫助你係統地鞏固之前學習的基礎知識。

建議剛入門python的朋友可以試一下,當然也可以採取其他方式練手。

3.學習爬蟲的基礎知識

你是如何用python寫下第一個爬蟲的?

上面3方面知識是你在學習爬蟲之前必須要了解掌握的,並不需要學的很深,如果僅僅為了入門爬蟲,只需瞭解個大概就行,後續真正搞懂爬蟲原理之後可以再深入學習一下。

學HTTP和HTML5是很有意思的,我當時學著學著差點想轉行。

4.開始第一個爬蟲

學完基礎知識後,我特意在網上找了一個簡單的爬蟲教學視頻,是爬貼吧美女圖片的,老師講的很詳細,主要用到requests和Beatifulsoup庫,然後再加上之前學的爬蟲基礎知識,按照以下步驟,很容易就搞定了:

你是如何用python寫下第一個爬蟲的?

這是我總結的入門爬蟲基本流程,看起來還是很簡單的,但是裡面還要很多知識要學,不過邁出第一步後面就好辦了。

我覺得爬蟲的精髓在於分析數據接口,這也是爬蟲最難的地方。簡單的爬蟲,例如靜態網頁,只需1個固定的url就可以獲取數據;但是難的爬蟲,它的url由各種加密的參數組成,爬這種網站不僅要學python,還要學習JavaScript逆向分析,因為這些參數都是通過它來加密的,後面更難的還有APP逆向分析,不過這些都是後話了。

好了,今天就先聊到這了,都是個人學習過程中的一些感悟,感覺對你有幫助的,請點個“在看”;若有不當之處,請在後臺留言或者加我溝通交流。​


分享到:


相關文章: