先判断：这门课值不值得学

如果你已经能写简单的 Python 脚本，但遇到批量抓取几千个页面、需要翻页、去重、处理异常重试时还在用 for 循环硬拼 requests，那这门课就是来帮你解决工程化问题的。Scrapy 的价值不在于能不能抓到数据，而在于它把请求调度、并发控制、数据清洗管道、中间件机制都封装好了，让你写复杂爬虫时不用每次重新造轮子。这门课的定位不是教你 Python 语法，而是带你理解框架的设计逻辑，所以适合已经能独立写基础脚本、想往数据采集或后端方向深入的上班族和转行者。如果你连函数和类都还没搞清楚，建议先补基础再看。

怎么用这份资料：先看哪几块，怎么练

资料从 HTTP 协议和 Scrapy 安装讲起，再到框架结构原理和第一个爬虫实操，节奏比较稳。建议的观看顺序是：先快速过 HTTP 协议那几节，理解请求头、响应码、请求方法在实际抓取中起什么作用，因为后面调试爬虫时排查封禁和重定向问题全靠这个底子；然后重点看框架结构和工作原理那节，搞清楚引擎、调度器、下载器、爬虫组件之间数据怎么流转，这是理解后续所有进阶用法的前提；最后跟着"编写第一个爬虫"动手敲一遍，不要只看视频。练习时建议自己找一个目标网站，试着把课程里的 Spider 类、选择器、数据存储走通一遍，遇到报错对照着 HTTP 协议和框架流程图去定位问题出在请求阶段还是解析阶段。整个学习过程中，把每节课的代码自己复现并做改动验证，比单纯看完所有视频有用得多。

学完能独立做什么

走完这套内容后，你应该能独立完成一个中等复杂度的采集任务：从分析目标页面结构开始，定义 Item 数据容器，编写 Spider 规则提取字段，通过 Pipeline 做数据清洗和持久化存储，遇到反爬时知道在中间件里改请求头或加代理。说白了，学完之后给你一个采集需求，你能拆解成框架里的各个模块去实现，而不是把所有逻辑堆在一个脚本里。这门课不会让你立刻变成能搞定所有反爬体系的高级工程师，但能让你从"写脚本的"变成"会用框架做工程的人"，这个转变对做数据分析和后端开发都很实在。


《精通Scrapy网络爬虫》以应用为出发点，详细深入地介绍了Python流行框架Scrapy的核心技术及网络爬虫的开发技巧。适合有一定Python语言基础，想学习编写复杂网络爬虫的程序员及网络爬虫工程师使用。

课程目录

*   01 Http协议[预备知识]/

  *   01 Http协议理论.mp4 08:57

  *   02 Http实验(1).mp4 07:30

  *   03 Http实验(2).mp4 12:41

  *   04 Http实验(3).mp4 05:20

*   02 安装Scrapy/

  *   01 安装Scrapy.mp4 10:40

*   03 Scrapy框架结构及工作原理/

  *   01 Scrapy框架结构及工作原理.mp4 11:05

*   04 编写第一个Scrapy爬虫/

  *   01 编写第一个Scrapy爬虫(1).mp4 19:35

  *   02 编写第一个Scrapy爬虫(2).mp4 16:06

*   05 Request和Response对象/

  *   01 Request和Response对象.mp4 18:55

*   06 使用Selector提取数据/

  *   01 使用Selector提取数据-Selector对象.mp4 09:13

  *   02 使用Selector提取数据-xpath.mp4 21:28

  *   03 使用Selector提取数据-css.mp4 12:16

*   07 使用Item封装数据/

  *   01 使用Item封装数据.mp4 11:09

*   08 使用Item Pipeline处理数据/

  *   01 使用Item Pipeline处理数据.mp4 24:02

*   09 使用Exporter导出数据/

  *   01 使用Exporter导出数据.mp4 23:40

*   10 使用LinkExtractor提取链接/

  *   01 使用LinkExtractor提取链接.mp4 20:13

*   11 基础知识综合练习/

  *   01 [项目] 爬取百度阅读.mp4 43:38

*   12 下载文件和图片/

  *   01 下载文件和图片.mp4 08:55

  *   02 [项目] 爬取matplotlib例子源码文件.mp4 36:04

*   13 模拟登录/

  *   01 模拟登录(1)-登录实质.mp4 11:42

  *   02 模拟登录(2)-Scrapy模拟登录.mp4 30:31

  *   03 模拟登录(3)-识别验证码.mp4 27:06

  *   04 模拟登录(4)-Cookie登录.mp4 23:35

*   14 爬取动态页面/

  *   01 爬取动态页面.mp4 29:00

  *   02 [项目] 爬取京东商城python书籍信息.mp4 33:31

*   15 存入数据库/

  *   01 存入数据库(1).mp4 27:31

  *   02 存入数据库(2).mp4 19:32

*   16 使用Http代理/

  *   01 使用Http代理(1).mp4 18:15

  *   02 使用Http代理(2).mp4 18:09

  *   03 使用Http代理(3).mp4 16:33

*   17 分布式爬取/

  *   01 scrapy-redis分布式爬取.mp4 17:13

  *   02 [项目]scrapy-redis分布式爬取豆瓣网.mp4 26:48