python scrapy怎么用?

572610158


1.安装anaconda,网上教程一大把,安装无难度,而且这个安装好之后,python自然就安装好了;

2.安装scrapy,利用anaconda安装scrapy,anaconda是由可视化界面的,安装scrapy非常简单,uninstall里搜索scrapy,点击右下角install按钮安装即可,scrapy需要的各种依赖就都安装好了,如果条件允许一定要用anaconda,不然scrapy的安装之繁琐,容易导致没入门就放弃;

3.如果实在anaconda不好装,出门左转去装pip,然后哦一步一步的安装scrapy需要的所有依赖,耐心;

4.安装好scrapy之后,cmd进入工程目录,用下面两句话创建项目

  • scrapy startproject 工程名

  • scrapy genspider 爬虫名

5.看教程,分析网站,写代码,这当然是核心了,需要日积月累;

6.看结果,cmd进入工程目录,用下边一句话启动爬虫:

scrapy

crawl 爬虫名

朋友加油,学好赚大钱,一起共勉!


一把勺子


既然提出这样的问题,个人认为,还是对scrapy有点了解,至少听说过scrapy的作用。scrapy是一个爬虫框架。网络爬虫是指从互联网上自动爬虫相关的数据供爬取者使用。

scrapy是python中爬虫框架最流行的框架之一,简单易用、灵活易拓展

scrapy作为爬虫框架,在python中深受欢迎,主要在于它本身的易用性、可拓展性和丰富、活跃的社区。使用scrapy可以高效地爬取我们想要网站的数据。大型的爬虫程序应用在搜索引擎、广告等领域,个人则一般爬取需要用的数据。

scrapy的整体结构,item、spider、pipeline

  • item主要用于描述希望爬取的数据信息;

  • spider主要是爬虫的相关数据逻辑,用于提取数据和提取后续页面的url;

  • pipeline可以理解为和数据存储、转化相关,当我们需要转化一些数据格式,比如美元符号转化成人民币,就可以通过在此定义相关函数达到相应的目的,同时我们希望我们爬取的数据能够永久地存储在服务器中,就可以通过此定义相关的类、函数,达到存储的目的。

scrapy的命令

  • scrapy startproject [projectname],通过这样的命令就可以定义一个爬虫;

  • scrapy crawl [projectname],就可以使爬虫开始工作。

总之,scrapy爬虫框架的使用还是比较方便的,当然,比较复杂的应用还需要我们花时间去研究,通过简单的几个命令就可以做一个爬虫,scrapy让爬虫更加的方便。


Bean蚕豆


scrapy,著名的爬虫框架。可以说学习python的人,肯定学习过或者想学习过爬虫,而除了使用python基本api之外,使用scrapy是更好的选择,因为框架已经把一些基本的,必须得东西都给考虑到了,不用重复制造轮子。学习scrapy,首先要对html,js,css等有一定的了解,毕竟你爬下来网页了,还需要去筛选得到想要的内容。至于scrapy学习,则推荐去看官方的文档,如果英语读起来吃力,那么可以看一下csdn等专业网站上的博客教程,只要成功爬了一次,那么以后该怎么继续相信就不难了。


分享到:


相關文章: