这门课解决什么问题

网页爬虫的核心难点不在代码本身，而在于"网站怎样防你"和"你怎样绕过防护"。这门课用四个真实项目——豆瓣登录、百度登录、图片下载、游戏皮肤采集——逐步展示登录认证、反爬策略、数据解析的实际做法。你会学到 Selenium 自动化浏览器、Cookie 模拟登录、HTML 解析、文件保存等具体技能，但重点不是记住代码模板，而是理解每个网站的防护逻辑，然后有针对性地应对。

基础要求与学习路径

需要熟悉 Python 基础语法（变量、循环、函数、字典）。不需要懂 Web 前端，但要能读懂简单的 HTML 标签和 HTTP 请求原理。

建议的观看顺序：

  • 第一阶段：工具基础。先看 Selenium 自动化浏览器部分。这是所有登录项目的基础。从安装、元素定位、模拟点击开始，务必把这套工具吃透，不然后续登录和数据采集都会卡住。
  • 第二阶段：登录方案对比。接着看 Cookie 登录方案。这块讲的是比 Selenium 更轻量的登录方法。你会对比两种思路：Selenium 更稳定但消耗资源多，Cookie 方案快速但需要分析登录流程。通过百度登录的例子，学会从浏览器抓包工具找到登录接口和参数。
  • 第三阶段：实战应用。第三、四块是两个完整的爬虫项目。第三块侧重图片下载和反爬对策（User-Agent 伪装、延迟请求），第四块侧重数据提取和格式转换（正则表达式、列表推导）。时间有限就选第四块，因为数据处理的套路更通用。
  • 第五块可选加深。如果前面的项目都能跟下来，第五块是同类型的进一步练习，模式相似，可根据兴趣和时间选择。

学完能做什么、如何配合练习

学完后你可以独立完成：分析一个目标网站的登录方式和反爬机制，选择合适的工具（Selenium 或 Cookie），编写脚本采集数据，并将结果保存为本地文件或数据库。比如定期监控电商价格、收集行业数据、备份感兴趣的内容。这些都是真实场景。

配合练习的建议：每个项目模块看完视频后，不要直接抄代码。先自己尝试复现一遍，遇到问题才回头看视频。特别是"页面分析"这类概念性讲解，需要在浏览器开发者工具里实际操作，看懂 HTML 结构和网络请求，这样才能理解后面的解析逻辑。如果某个反爬策略完全陌生，可以先跳过，把基础的数据流程打通更重要。爬虫的坑确实很深，但不必所有防护都学会，先能爬到数据，再逐步优化。每个项目完成后，试试改变目标网站重新写一遍，这样才能真正掌握思路而不只是跟着教程走。

课程目录

1-1 [Python模拟登录豆瓣网] selenium的安装使用 (04:26)
1-2 [Python模拟登录豆瓣网] selenium登录 (11:43)
1-3 [Python模拟登录豆瓣网] selenium定位元素方法 (08:57)
2-1 [Python小技巧之cookies绕过网站登录] 登录与验证码 (05:41)
2-2 [Python小技巧之cookies绕过网站登录] 流程分析 (02:52)
2-3 [Python小技巧之cookies绕过网站登录] cookies含义 (04:45)
2-4 [Python小技巧之cookies绕过网站登录] 模拟登录百度-未登录状态 (03:44)
2-5 [Python小技巧之cookies绕过网站登录] 模拟登录百度-登录状态 (07:55)
3-1 [Python爬虫实战之美女网站] 页面分析 (04:03)
3-2 [Python爬虫实战之美女网站] 获取源代码及反爬 (08:55)
3-3 [Python爬虫实战之美女网站] 解析出图片链接 (07:25)
3-4 [Python爬虫实战之美女网站] 写入文件 (03:27)
4-1 [Python爬取英雄联盟高清皮肤] 页面结构分析 (06:44)
4-2 [Python爬取英雄联盟高清皮肤] 获取确定的URL (06:05)
4-3 [Python爬取英雄联盟高清皮肤] 发起网络请求 (03:31)
4-4 [Python爬取英雄联盟高清皮肤] 删选数据 (08:24)
4-5 [Python爬取英雄联盟高清皮肤] 类型转换与for循环遍历数据 (10:38)
4-6 [Python爬取英雄联盟高清皮肤] 高清皮肤数据保存本地 (05:06)
5-1 [Python抓取猫眼电影排行榜] 获取确定网站的URL地址 (02:37)
5-2 [Python抓取猫眼电影排行榜] 发起网络请求与反爬措施 (06:47)
5-3 [Python抓取猫眼电影排行榜] 删选数据 (10:00)
5-4 [Python抓取猫眼电影排行榜] 数据保存 (11:43)
6-1 [Python爬取百度图片下载] 获取确定的URL (01:45)
6-2 [Python爬取百度图片下载] 发起请求 (07:52)
6-3 [Python爬取百度图片下载] 删选数据 (08:21)
6-4 [Python爬取百度图片下载] 数据存储 (11:30)
7-1 [Python抓取全书网小说] 获取确定的URL地址 (08:30)
7-2 [Python抓取全书网小说] 设置ua，发起请求 (05:19)
7-3 [Python抓取全书网小说] 数据的删选 (10:49)
7-4 [Python抓取全书网小说] 数据遍历与数据提取 (13:37)
7-5 [Python抓取全书网小说] 数据存储 (03:59)
8-1 [Python爬虫实战-B站自动化满屏弹幕] 获取确定网站的URL地址 (05:26)
8-2 [Python爬虫实战-B站自动化满屏弹幕] 发起请求 (03:13)
8-3 [Python爬虫实战-B站自动化满屏弹幕] 账户登录 (06:07)
8-4 [Python爬虫实战-B站自动化满屏弹幕] 解决验证失败并发送弹幕 (04:05)
8-5 [Python爬虫实战-B站自动化满屏弹幕] 发送多条弹幕及课后总结 (11:56)
9-1 [Python爬取熊猫办公音乐] 页面分析 (04:14)
9-2 [Python爬取熊猫办公音乐] 发起网络请求 (05:22)
9-3 [Python爬取熊猫办公音乐] 解析数据 (06:41)
9-4 [Python爬取熊猫办公音乐] 数据遍历 (10:32)
9-5 [Python爬取熊猫办公音乐] 数据保存 (11:07)
10-1 [Python抓取妖怪文献] 获取确定的URL (04:53)
10-2 [Python抓取妖怪文献] lxml加载 (04:52)
10-3 [Python抓取妖怪文献] 数据解析与数据遍历 (05:04)
10-4 [Python抓取妖怪文献] 数据提取 (06:09)
10-5 [Python抓取妖怪文献] 数据存储 (08:35)
11-1 [Python爬取电影] 分析爬取数据 (10:30)
11-2 [Python爬取电影] 抓取数据包 (07:23)
11-3 [Python爬取电影] 数据处理 (12:18)
11-4 [Python爬取电影] 数据下载 (04:32)
11-5 [Python爬取电影] 数据存储 (15:43)