python爬蟲工程師工作內容及發展方向？
準備從事爬蟲工作，請問python爬蟲工程師在公司具體工作內容都是哪些？未來發展方向呢？
1
工作內容
1.需求出來了，寫爬蟲
2. 被反爬
3. 反反爬
3. 被反反反爬
4. 反反反反爬
5. 不斷調試...不斷調教爬蟲.....當你以為沒問題了，繼續
6. 為提升爬蟲效率而絞盡腦汁。
7. 為需求變更而重構模塊。
8. 為網頁結構變更而重構模塊。
9. 受不了了，刪庫跑路，成為老賴。
10. 被反爬 循環。
需要技能：
1.學會使用搜索，能看懂robot.txt。
2.調用reuqests.session()。
3.selenium --headless 配合你破解各種驗證，拿cookies。
4.mitmproxy 等輔助中間件。
5.優化爬取規則算法。
6.time.sleep(x)的職業情懷。pymouse與selenium配合完成爬蟲偽裝。
7.感覺不對勁了，跑路要快。
8.會下demo，有些數據需求不需要寫代碼，hawk活著網上的demo就可以幫你解決。
9.掌握主流爬蟲框架。不一一列舉了。
2
招聘類網站確實有Python爬蟲工程師這類工作，爬蟲做好了也能得到不錯的收入。
不過做好爬蟲也需要大量的聯繫和其他知識，比如轉換數據，分析數據等等。建議您如果愛好爬蟲可以從爬蟲著手。等熟練了在其它方向的發展也就自然而然的瞭解了。
分享到:
閱讀更多 北郵在線IT教育 的文章
