12.29 python爬取獲取下一頁的信息

在scrapy框架中爬取下一頁時,需要操作以下步驟:

1、導入相應的模塊,通常在爬蟲文件裡輸入from scrapy import Request。Request的R必須是大寫的。

2、在parse函數里輸入下一頁的網址,例如next_url,通過xpath找到下一頁的url。

3、使用Request函數爬取下一頁的數據,通常是Request(next_url,callback=self.parse),callback=self.parse代表當找到next_url,自動執行parse方法。


分享到:


相關文章: