# Python爬虫完整教程：从入门到实战的深度指南

在互联网数据爆炸的时代，掌握Python爬虫技术已成为数据获取的核心能力。本课程专为希望系统化掌握爬虫技术的学员设计，从基础工具到高级框架，从单机应用到分布式架构，提供了一条清晰的学习路径。

课程体系概览

本课程共分为六大模块，层层递进，覆盖爬虫技术的完整知识体系。

**第一阶段：基础工具与核心库（第1-2章）**
课程从最底层的命令行工具开始，深入讲解curl和wget的使用技巧，帮助学员理解HTTP请求的本质。随后重点剖析urllib和requests两大核心库，其中requests因简洁优雅API成为实战首选。在数据解析环节，课程详细讲解BeautifulSoup和lxml/XPath两种主流解析方式，并通过下厨房图片爬取、迁木网多版本爬虫等实战案例，让学员在实践中掌握解析技巧。特别值得一提的是多线程和分布式爬虫的介绍，为后续深入学习打下坚实基础。

**第二阶段：Scrapy框架精通（第3-4章）**
Scrapy作为Python生态中最强大的爬虫框架，是本章的核心。课程从入门案例入手，让学员快速搭建第一个Scrapy项目，随后用Scrapy重构之前的迁木网爬虫，体验框架带来的效率提升。深度内容包括scrapy-pipelines的数据管道机制、中间件的运行机制及源码剖析，以及动态IP代理池的构建——这是应对反爬策略的关键技术。此外，scrapy插件的使用和源码级剖析，帮助学员不仅会用，更能理解框架底层逻辑。

**第三阶段：综合实战项目（第5章）**
本阶段聚焦“新片场”网站的全方位爬取，涵盖列表页解析、视频源地址提取、详情页及评论接口抓取、翻页处理以及用户主页数据采集。这是一个完整的商业级爬虫项目，涉及反爬策略应对、数据存储方案选择等真实场景问题，让学员具备独立开发复杂爬虫的能力。

**第四阶段：进阶扩展（第6章）**
最后引入scrapy-redis分布式爬虫和Selenium自动化技术，解决大规模数据爬取的技术瓶颈，并为动态网页爬取提供解决方案。

学习建议

本课程理论与实践并重，建议学员在完成每个章节后动手复现案例代码。特别是Scrapy部分，务必理解中间件、管道、调度器等核心组件的协作机制。对于反爬对抗和分布式架构等难点，可结合源码进行深入研究。掌握本课程后，你将能够独立完成从简单数据采集到大规模分布式爬虫系统的开发。

课程目录

1-1 [数据抓取工具及类库] curl的使用 (53:07).mp4
 1-2 [数据抓取工具及类库] wget的使用 (54:36).mp4
 1-3 [数据抓取工具及类库] urllib的使用 (01:01:29).mp4
 1-4 [数据抓取工具及类库] requests的使用 (50:06).mp4
 2-1 [数据的解析] bs4的基本使用 (22:37).mp4
 2-2 [数据的解析] lxml及xpath (32:50).mp4
 2-3 [数据的解析] 爬取下厨房首页所有图片 (01:04:52).mp4
 2-4 [数据的解析] 迁木网爬虫-普通版 (47:58).mp4
 2-5 [数据的解析] 迁木网爬虫-多线程版 (48:09).mp4
 2-6 [数据的解析] 迁木网爬虫-分布式版 (28:25).mp4
 3-1 [scrapy框架] scrapy入门案例 (20:21).mp4
 3-2 [scrapy框架] 用scrapy重构迁木网爬虫 (57:50).mp4
 3-3 [scrapy框架] scrapy的调试 (46:22).mp4
 3-4 [scrapy框架] scrapy-pipelines (01:14:13).mp4
 4-1 [scrapy中间件及源码剖析] scrapy架构及中间件的机制 (50:51).mp4
 4-2 [scrapy中间件及源码剖析] 动态IP代理池 (01:31:02).mp4
 4-3 [scrapy中间件及源码剖析] scrapy插件 (53:51).mp4
 4-4 [scrapy中间件及源码剖析] 源码剖析 (01:11:33).mp4
 5-1 [新片场爬虫] 列表页及视频源地址 (51:51).mp4
 5-2 [新片场爬虫] 视频详情及评论接口 (01:06:40).mp4
 5-3 [新片场爬虫] 翻页爬取 (01:03:02).mp4
 5-4 [新片场爬虫] 用户主页及数据存储 (01:24:13).mp4
 6-1 [scrapy_redis及selenium] scrapy-redis (32:32).mp4
 6-2 [scrapy_redis及selenium] 重构IP代理中间件 (01:03:40).mp4
 6-3 [scrapy_redis及selenium] selenium的使用 (01:45:24).mp4
 7-1 [selenium实战] 爬取去哪儿网 (52:56).mp4
 7-2 [selenium实战] 爬取京东商品及selenium知识回顾 (44:50).mp4
 8-1 [docker及splash] docker基础 (52:28).mp4
 8-2 [docker及splash] docker基础 (53:09).mp4
 8-3 [docker及splash] splash (51:28).mp4
 8-4 [docker及splash] scrapy_splash (01:19:16).mp4
 9-1 [反爬虫实战] 携程&大众点评 (01:10:25).mp4
 9-2 [反爬虫实战] 大众点评 (01:08:22).mp4
 9-3 [反爬虫实战] 大众点评2 (54:50).mp4
 9-4 [反爬虫实战] 猫眼电影 (01:16:34).mp4
 9-5 [反爬虫实战] 验证码 (01:13:41).mp4