安装出现的问题:在python3版本中会出现提示需要安装vsC++的一些模块,还可能出现其他的一些模块没有导入的问题,具体问题可以直接网上搜索解决方案。
创建scrapy项目:
在桌面上直接新建文件夹scrapytest,还是以命令行的方式运行该文件夹,输入scrapy startproject test,这样就在当前文件夹下创建了一个scrapy项目
如果出现类似于"scrapy不是内部命了"这一类报错解决方法是:将你scrapy安装的路径添加到环境变量当中,比如安装在python2.7/scipts下,就将该路径添加到环境变量当中,就能解决这一类的问题。
之后用pycharm打开创建的scrapy项目,在test/spiders/,新建一个工作爬虫,也就是你的编译爬虫。配置一下该项目,这样就能够运行。
tip{
使用pip安装时可能存在pip版本过低的情况,先升级pip:pip install --upgrade pip。然后通过pip进行安装, pip install Scrapy。
创建一个模板爬虫:scrapy genspider mySpider baidu.com;scrapy genspider 爬虫名 爬虫域名
}
閱讀更多 一兒口山石 的文章