完結!學了56天爬蟲,我終於看透了Python

昨天成功爬取了51job的列表頁,下面的工作就是爬取列表頁中點進崗位的詳情頁。

這裡可以用字典(鍵值對)的方式來保存數據。

數據有時候其實跟人一樣,只有成雙成對,才會快樂。

完結!學了56天爬蟲,我終於看透了Python

先設定兩個全局變量Data和List,Data用於保存每個崗位的全部信息,List用於保存所有崗位信息。

List中的每一個元素,就是Data這個字典。

這裡還有個需要注意的問題就是,不要沒完沒了的爬,作為測試階段,先爬取一個網頁就好了,比如先隨便找個崗位,把它詳情頁的網址複製下來。

然後下面就是爬取詳情頁的一個難點。

爬取出的有些數據是一串的,如何進行文字解析呢?

完結!學了56天爬蟲,我終於看透了Python

這個貌似之前在黑馬的課程中有講到。

主要包括字符串截取、分隔、去除特殊符號、去除前後空格等功能。

完結!學了56天爬蟲,我終於看透了Python

比如對上面的例子來說,使用 split 和 sprip 結合就可以輕鬆實現了。

完結!學了56天爬蟲,我終於看透了Python

參考之前解析豆瓣的辦法,寫出getData 函數。

最關鍵的就是將 jname 內容放到字典中去,而job在 jobList 中,其實是作為一行記錄。

完結!學了56天爬蟲,我終於看透了Python

這個爬取 51job 的代碼,老師講到這裡就結束了。

嗯,是的,你沒看錯,下面沒有了。

因為此項目是這個課程老師留給學生們的作業,所以他只是在一些關鍵點上進行了一番提點,並沒有把所有答案都直接“喂”給孩子們。

從教學方法上來說是沒錯吧,不過對於我等跟著課程學的,就稍微有點不太友好了。

尤其今天和昨天的課程,很多地方聽的我都有點糊塗,直接導致我獨立完成這個項目,有點信心不足了。

我現在對自己的評價很客觀:比小白強一點,但絕對還是個妥妥的 Python 初學者

完結!學了56天爬蟲,我終於看透了Python

很多朋友都知道,我的終極目標是爬房產中介網站,通過掌握更全面的信息,買到合適的學區房。

巧的是,前幾天偶然得到黑馬就業班的視頻,我發現裡面就有講這個內容。

所以,下一步我會繼續轉戰黑馬,

但是,學習心得這塊我應該就不會繼續更新了。

因為我發現,前面學習 Python 基礎知識的時候,寫心得還是輕鬆加愉快的事情。

但是到後面做項目、編代碼時候,很多時候都是直接敲代碼,心得這東東真的沒法寫。

當然,有重大突破到時候,我還是會跟大家分享的。

有些人問我這50多天是怎麼堅持下來的,明天,我就跟大家一起聊聊這段時間的一些感想吧。

大爺們,明天記得來玩喲~

完結!學了56天爬蟲,我終於看透了Python

作者簡介:馮十一,多平臺簽約作者,每週閱讀一本書。40歲堅持學習的中年男人,篇篇都是有趣又輕鬆的乾貨,專注個人成長、思維方式。歡迎關注@天津馮十一


分享到:


相關文章: