scrapy簡單入門介紹

1.安裝

1、安裝wheel
pip install wheel
2、安裝lxml
https://pypi.python.org/pypi/lxml/4.1.0
3、安裝pyopenssl
https://pypi.python.org/pypi/pyOpenSSL/17.5.0
4、安裝Twisted
https://www.lfd.uci.edu/~gohlke/pythonlibs/
5、安裝pywin32
https://sourceforge.net/projects/pywin32/files/
6、安裝scrapy
pip install scrapy

2.創建項目

1. 創建工程
scrapy startproject movie
2. 創建爬蟲程序
cd movie
scrapy genspider meiju meijutt.com

3.項目結構

scrapy簡單入門介紹

4.文件說明

scrapy.cfg 項目的配置信息,主要為Scrapy命令行工具提供一個基礎的配置信息。(真正爬蟲相關的配置信息在settings.py文件中)
items.py 設置數據存儲模板,用於結構化數據,如:Django的Model
pipelines 數據處理行為,如:一般結構化的數據持久化
settings.py 配置文件,如:遞歸的層數、併發數,延遲下載等
spiders 爬蟲目錄,如:創建文件,編寫爬蟲規則

5.設置爬蟲可調試運行

from scrapy.cmdline import execute
if __name__ == '__main__':
execute(["scrapy", "crawl", "sdz"])


分享到:


相關文章: