北京旅行家
学习网络爬虫，首先需要系统的学习python基础知识，虽然不用学也能跟着别人的代码做，但是最好能系统的学习下基础知识，要不很多时候你是懵逼状态的，然后需要学习抓包分析数据知识，因为爬虫类的知识都是需要分析被爬去目标的数据结构，类型，在进行过滤筛选出自己需要的数据，不过现在有很多现成的爬虫框架，没必要自己造轮子，但是也最好能自己造轮子，这样有利于提高自己的编码能力。
huzibbs
说实话考计算机二级证书基本没什么用，对工作也没帮助，还不如多练习，下面学习爬虫的路线，可以参考着学。
1、了解爬虫的基本原理及过程
大部分爬虫都是按“发送请求——获得页面——解析页面——抽取并储存内容”这样的流程来进行，这其实也是模拟了我们使用浏览器获取网页信息的过程。
2、学习 Python 包并实现基本的爬虫过程
Python中爬虫相关的包很多：urllib、requests、bs4、scrapy、pyspider 等，建议你从requests+Xpath 开始，requests 负责连接网站，返回网页，Xpath 用于解析网页，便于抽取数据。
3、了解非结构化数据的存储
爬回来的数据可以直接用文档形式存在本地，也可以存入数据库中。开始数据量不大的时候，你可以直接通过 Python 的语法或 pandas 的方法将数据存为csv这样的文件。
4、学习 scrapy，搭建工程化的爬虫
掌握前面的技术一般量级的数据和代码基本没有问题了，爬虫最好框架之一。
5、学习数据库基础，应对大规模数据存储
爬回来的数据量小的时候，你可以用文档的形式来存储，一旦数据量大了，这就有点行不通了。
6、掌握各种技巧，应对特殊网站的反爬措施
爬虫过程中也会经历一些绝望，比如被网站封IP、比如各种奇怪的验证码、userAgent访问限制、各种动态加载等等。
7、分布式爬虫，实现大规模并发采集
爬取基本数据已经不是问题了，你的瓶颈会集中到爬取海量数据的效率。这个时候，相信你会很自然地接触到一个很厉害的名字：分布式爬虫。分布式这个东西，听起来很恐怖，但其实就是利用多线程的原理让多个爬虫同时工作，需要你掌握 Scrapy + MongoDB + Redis 这三种工具。
卡西尼试验场
本文集详解网络爬虫的原理、工具、框架和方法。
详解从简单网页到异步加载网页，从简单存储到数据库存储，从简单爬虫到框架爬虫等技术。
类别：
- 22个网络爬虫综合实战案例、30个网站信息提取
- 详解爬虫的3大方法：、和
- 详解爬取数据的4大存储方式：、、和
- 详解Scrapy爬虫框架的安装、项目创建、文件使用及爬取数据的存储
引子
随着Internet的飞速发展，互联网中每天都会产生大量的。如何从这些非结构化数据中提取有效信息，供人们在学习和工作中使用呢？这个问题促使网络爬虫技术应运而生。
由于Python语言简单易用，而且还提供了优秀易用的第三方库和多样的爬虫框架，所以使得它成为了网络爬虫技术的主力军。
近年来，大数据技术发展迅速，数据爬取作为数据分析的一环也显得尤为重要。程序员要进入与数据处理、分析和挖掘等相关的行业，就必须要掌握Python语言及其网络爬虫的运用。
目录第 1 章 Python零基础语法入门
本章介绍了Python和PyCharm的安装及Python最为简单的语法基础，包括简单的流程控制、数据结构、文件操作和面向对象的编程思想。
第 2 章 爬虫原理和网页构造
本章通过介绍网络连接原理，进而介绍了爬虫的原理，讲解了爬虫的基本流程，另外还介绍了如何使用Chrome浏览器认识网页构造和查询网页信息。
第 3 章 我的第一个爬虫程序
本章主要介绍了安装请求和解析网页的Python第三方库、Requests库和BeautifulSoup库的使用方法，最后通过综合案例手把手教会读者编写一个简单的爬虫程序。
第 4 章 正则表达式
本章主要介绍了正则表达式的常用符号及Python中re模块的使用方法，在不需要解析库的情况下完成一个简单的爬虫程序。
第 5 章 Lxml库与Xpath语法
本章主要介绍了Lxml库在Mac和Linux环境中的安装方法、Lxml库的使用方法及Xpath语法知识，并且通过案例对正则表达式、BeautifulSoup和Lxml进行了性能对比，最后通过综合案例巩固Xpath语言的相关知识
第 6 章 使用API
本章主要介绍了API的使用和调用方法，对API返回的JSON数据进行解析，最后通过使用API完成一些有趣的综合案例。
第 7 章 数据库存储
本章主要介绍了非关系型数据库MongoDB和关系型数据库MySQL的相关知识，并通过综合案例展示了Python对两种数据库的存储方法。
第 8 章 多进程爬虫
本章主要介绍了多线程及其概念，并通过案例对串行爬虫和多进程爬虫的性能进行了对比，最后通过综合案例介绍了多进程爬取数据的方法和技巧。
第 9 章 异步加载
本章主要介绍了异步加载的基本概念，以及如何针对异步加载网页使用逆向工程抓取数据，最后通过综合案例讲解了逆向工程的使用方法和常用技巧。
第 10 章 表单交互与模拟登录
本章主要介绍了Requests库的POST方法，通过观测表单源代码和逆向工程来填写表单以获取网页信息，以及通过提交cookie信息来模拟登录网站。
第 11 章 Selenium模拟浏览器
本章主要介绍了Selenium的模块的安装、Selenium浏览器的选择和安装，以及Selenium模块的使用方法，最后通过综合案例介绍了如何对采用异步加载技术的网页进行爬虫。
第 12 章 Scrapy爬虫框架本章主要介绍了Windows 7环境中的Scrapy安装和创建爬虫项目的过程，并通过案例详细讲解了各个Scrapy文件的作用和使用方法，而且通过多个综合案例讲解了如何通过Scrapy爬虫框架把数据存储到不同类型的文件中，最后讲解了如何编写跨页面网站的爬虫代码。
