这门课解决什么问题:突破单线程抓取的性能瓶颈
很多上班族在刚学 Python 爬虫时,通常只会用 requests 库写单线程脚本。这种写法在抓取几十个页面时勉强够用,但一旦面对成百上千个列表页或接口数据,程序就会卡在等待网络响应上,效率极低。本资料聚焦的异步爬虫主题,正是用来解决这个高频工作场景:当你需要定期采集竞品价格、批量下载文档或构建本地数据集时,如何让程序在等待一个请求返回的同时,继续发起下一个请求。它把爬虫从“排队办事”变成“并发处理”,是数据采集自动化的关键一步。
适合什么基础与建议先看的模块
这份资料不适合零基础读者。你需要已经掌握 Python 基本语法,写过简单的同步爬虫,了解请求头构造和网页解析逻辑。资料内容分为多线程多进程与协程两大块。如果你之前完全没接触过并发概念,建议先看多线程与多进程的基础讲解,理解进程池与线程池的区别和调用方式。这部分虽然传统,但在应对 CPU 密集型解析任务时依然实用。看完这部分建立并发概念后,再进入协程部分。协程是本资料的重点,它比线程更轻量,但在 Python 中的语法相对特殊,需要重点理解协程基本语法和多任务返回值处理。
学完能独立做什么与资料配合练习建议
学完这部分内容,你能够独立编写高并发抓取脚本,比如批量拉取整站小说文本、并发请求接口获取全量商品数据等。资料中包含的小说抓取案例是很好的练手素材,建议不要只看视频,必须跟着敲一遍代码。练习时,先用单线程跑通整个抓取逻辑,确保解析规则无误;再尝试用线程池改写,观察耗时变化;最后用协程结合 Aiohttp 模块进行重构。这种从同步到多线程再到协程的对比练习,能帮你真正理解不同并发模型的适用边界,而不是盲目套用代码。
让你将对爬虫有深入的理解,通过爬虫完成项目。
课程目录
* 01 异步爬虫-多线程/
* 01 01 多线程.mp4 20:00
* 02 02 线程池.mp4 20:02
* 03 03 线程池案例.mp4 20:09
* 04 04 多进程.mp4 20:05
* 05 05 多线程多进程案例.mp4 15:31
* 02 异步爬虫-协程/
* 01 01_协程概念引入.mp4 20:00
* 02 02_协程在python中的使用.mp4 20:00
* 03 03_协程基本语法.mp4 20:00
* 04 04_多任务协程返回值.mp4 20:00
* 05 05_5.协程在爬虫中的使用.mp4 20:00
* 06 06_Aiohttp模块基本使用.mp4 20:00
* 07 07_协程案例—扒光一本小说需要多久(上).mp4 20:00
* 08 08_协程案例—扒光一本小说需要多久(下).mp4 20:00
* 09 09_关于uvloop(了解).mp4 08:56
* 03 抓取wbdy视频以及爬虫的自省/
* 01 01_利用异步协成抓取一部电影.mp4 20:00
* 02 02_电影源加密后.mp4 20:00
* 03 03_电影源解密后.mp4 20:00
* 04 04_视频网站是如何工作的.mp4 20:00
* 05 05_网吧电影网站分析.mp4 20:01
* 06 06_电影源加密后.mp4 20:00
* 07 07_电影源解密后.mp4 20:00
* 08 08_找到M3U8文件.mp4 20:01
* 09 09_M3U8文件解析.mp4 20:00
* 10 10_代码.mp4 20:01
* 11 11_系统总结.mp4 04:55






