三、開始撰寫第一隻網絡爬蟲
1 import requests2 res = requests.get('http://www.sina.com.cn/')3 res.encoding = 'utf-8'4 print(res.text)
四、用BeautifulSoup4剖析網頁元素
測試示例：
1 from bs4 import BeautifulSoup 2 html_sample = ' \ 3 \ 4 \ 5
Hello World
\ 6 \ 7 \ 8 \ 9 '10 11 soup = BeautifulSoup(html_sample, 'lxml')12 print(soup.text)五、BeautifulSoup基礎操作
使用select找出含有h1標籤的元素
soup = BeautifulSoup(html_sample)header = soup.select('h1')print(header)print(header[0])print(header[0].text)
使用select找出含有a的標籤
soup = BeautifulSoup(html_sample, 'lxml')alink = soup.select('a')print(alink)for link in alink: print(link) print(link.txt)
使用select找出所有id為title的元素(id前面需要加#)
alink = soup.select('#title')print(alink)
六、觀察如何抓取新浪新聞信息
關鍵在於尋找CSS定位
Chrome尋找元素定位.pngFirefox開發人員工具InfoLite(需FQ)
七、製作新浪新聞網絡爬蟲
抓取時間、標題、內容
內文資料信息說明圖.png
獲取新聞內文標題、時間、來源
其中涉及時間和字符串轉換
from datetime import datetime// 字符串轉時間 --- strptimedt = datetime.strptime(timesource, '%Y年%m月%d日%H:%M')// 時間轉字符串 --- strftimedt.strftime(%Y-%m-%d)
整理新聞內文步驟：
1、抓取；
2、獲取段落；
4、去掉空格；
5、將空格替換成 \n ，這裡可以自行替換成各種其他形式；
最終簡寫為一句話。
抓取新聞評論數
解釋：
評論是是通過JS代碼傳過來的；既然是JS，那麼通過AJAX傳過來的概率很高，於是點到 XHR中看，但是發現Response中沒有出現總評論數 2 ； 然後就只能去 JS 裡面了，地毯式搜索，找哪個Response裡出現了總評論數 2 ，終於找到了。
找到鏈接和請求方式
今天補的截圖，評論數實時增加，請不要覺得奇怪 ^_^
然後就可以擼碼了。
解釋：
var data={......} 看著很像是個 json 串，去掉 var data= ，使其變為 json 串。
可以看到， jd 串中就是評論的信息了。
回到Chrome開發工具中，瀏覽評論數量。
獲取新聞標識符（新聞ID）
方式1：切割法
# 取得新聞編號newsurl = 'http://news.sina.com.cn/o/2017-12-06/doc-ifypnyqi1126795.shtml'newsid = newsurl.split('/')[-1].rstrip('.shtml').lstrip('doc-i')newsid
方式2：正則表達式
import rem = re.search('doc-i(.*).shtml', newsurl)newsid = m.group(1)newsid
八、建立獲取評論數函數
做一個總整理，把剛剛取得評論數的方法整理成一個函數。之後有新聞網頁的鏈接丟進來，可以通過這個函式去取得它的總評論數。
九、建立新聞內文信息抽取函數
十、從列表鏈接中取出每篇新聞內容
如果 Doc 下面沒有我們想要找的東西，那麼就有理由懷疑，這個網頁產生資料的方式，是通過非同步的方式產生的。因此需要去 XHR 和 JS 下面去找。
有時候會發現非同步方式的資料 XHR 下沒有，而是在 JS 下面。這是因為這些資料會被 JS 的函式包裝，Chrome的開發者工具認為這是JS文件，因此就放到了 JS 下面。
在 JS 中找到我們感興趣的資料，然後點擊 Preview 預覽，如果確定是我們要找的，就可以去Headers 中查看 Request URL 和 Request Method 了。
一般 JS 中的第一個可能就是我們要找的，要特別留意第一個。
1、選擇Network標籤
2、點選JS
3、 找到頁面鏈接page=2
處理分頁鏈接
注意頭尾，需要去掉頭和尾，將其變成標準的 json 格式。
十一、建立剖析清單鏈接函數
將前面的步驟整理一下，封裝到一個函式中。
def parseListLinks(url): newsdetails = [] res = requests.get(url) jd = json.loads(res.text.lstrip('newsloadercallback()').rstrip(');')) for ent in jd['result']['data']: newsdetails.append(getNewsDetail(ent['url'])) return newsdetails
十二、使用for循環產生多頁鏈接
十三、批次抓取每頁新聞內文
十四、 使用pandas整理數據
Python for Data Analysis
源於RTable-Like格式提供高效能、簡易使用的資料格式(Data Frame)讓使用者可以快速操作及分析資料十五、保存數據到數據庫
持續戰鬥到這裡，第一隻網絡爬蟲終於完成。看著最終的結果，很有成就感啊！^_^
大家感興趣的可以試一試，歡迎討論交流~~~
特別贈送： GitHub代碼傳送門
感謝大家耐心地閱讀，如果能對大家有一點點幫助，歡迎點亮我的GitHub星標，謝謝~~~