爬虫框架Scrapy笔记day-1

  • 安装出现的问题:在python3版本中会出现提示需要安装vsC++的一些模块,还可能出现其他的一些模块没有导入的问题,具体问题可以直接网上搜索解决方案。

    • 创建scrapy项目:

    • 在桌面上直接新建文件夹scrapytest,还是以命令行的方式运行该文件夹,输入scrapy startproject test,这样就在当前文件夹下创建了一个scrapy项目

    • 如果出现类似于"scrapy不是内部命了"这一类报错解决方法是:将你scrapy安装的路径添加到环境变量当中,比如安装在python2.7/scipts下,就将该路径添加到环境变量当中,就能解决这一类的问题。

    • 之后用pycharm打开创建的scrapy项目,在test/spiders/,新建一个工作爬虫,也就是你的编译爬虫。配置一下该项目,这样就能够运行。

    tip{

    • 使用pip安装时可能存在pip版本过低的情况,先升级pip:pip install --upgrade pip。然后通过pip进行安装, pip install Scrapy。

    • 创建一个模板爬虫:scrapy genspider mySpider baidu.com;scrapy genspider 爬虫名 爬虫域名

    }

    爬虫框架Scrapy笔记day-1


    分享到:


    相關文章: