如果你写过几个 requests 加 BeautifulSoup 的小脚本，能抓静态页面，但一遇到登录、翻页、反爬、数据量变大就卡住，这门课值得花时间看。它不讲爬虫入门语法，而是围绕一个具体目标展开：用 Scrapy 搭一套能持续跑的分布式爬虫，把抓回来的数据整理成可检索的结果。课程本身已经卖了四年，配套源码和课件齐全，属于那种可以边看边改的实战型资料。

它解决的是哪类工作场景

日常工作中真正难的不是把网页内容取下来，而是让抓取稳定、可扩展。比如目标站点需要登录才能看到内容，单账号很快被限制，就要做 cookie 池来轮换身份；数据量上来后单机跑不动，就要拆成分布式任务；抓下来的内容还要做去重、存储、检索，才谈得上"搜索引擎"这个目标。课程里 cookie 池的设计与实现、登录方法改造、cookie 集成进爬虫项目这几块，正是冲着这类实际问题去的，而不是停留在 demo 级别。学完你能理解一套爬虫系统从单机脚本到可维护服务的演进思路，知道每个环节为什么这么设计。

适合什么基础，先看哪几块

前提是你能读懂 Python 基础语法，最好自己动手写过爬虫，哪怕只是小脚本。完全没接触过网络请求和 HTML 解析的话，直接上这门课会比较吃力，建议先补基础再回来。有经验的人可以跳过前面框架介绍，重点看 cookie 池和分布式相关章节——这部分是多数教程讲不透的地方。看的时候建议按"设计思路→具体实现→集成到项目"的顺序走，先弄明白为什么需要一个独立的 cookie 服务，再看它怎么和爬虫对接，最后自己动手把代码跑通。

学完能独立做什么，资料怎么用

比较现实的目标是：你能独立搭起一个带登录态管理、支持多机协作的爬虫项目，把抓取到的数据落库并做基础检索。这不是说学完就能做商业搜索引擎，而是你具备了处理中等规模抓取任务的能力，遇到反爬和并发问题有章可循。配套源码不要只当参考看，建议自己敲一遍，尤其是 cookie 管理器和登录改造这两块，改动几行代码观察行为变化，比单纯看视频有效得多。课件可以用来对照复习，遇到跑不通的地方再回看对应片段。整体上这门课偏工程实践，节奏不快，适合愿意花时间动手的人。

课程目录
第 1 部分4 集
  • 📁 第11章cookie池系统设计和实现 11-8改造login方法-4.mp4 [62.6 MB] 11-13启动cookie池服务.mp4 [75.5 MB] 11-14将cookie集成到爬虫项目中.mp4 [94.8 MB] 11-12cookie管理器的实现.mp4 [137.7 MB] 11-15cookie架构设计改进意见.mp4 [49.1 MB] 11-3实现cookie池-1.mp4 [65.3 MB] 11-6改造login方法-2.mp4 [53.8 MB] 11-5改造login方法-1.mp4 [62.3 MB] 11-9通过抽象基类实现网站轻松接入.mp4 [93.1 MB] 11-1什么是cookie池？.mp4 [29.2 MB] 11-7改造login方法-3.mp4 [54.4 MB] 11-11如何选择redis的数据结构来保存cookie.mp4 [70.3 MB] 11-10实现检测网站cookie是否有效.mp4 [48.4 MB] 11-2cookie池系统设计.mp4 [25.7 MB] 11-4实现cookie池-2.mp4 [73.4 MB]
  • 📁 第05章网站模拟登陆和滑动验证码识别（更新） 5-6通过机器学习平台训练滑动验证码模型.mp4 [89.1 MB] 5-3使用opencv识别滑动验证码的环境准备.mp4 [99.1 MB] 5-1session和cookie自动登录机制.mp4 [111.1 MB] 5-2课程如何应对网站反爬变化？.mp4 [41.4 MB] 5-7发布训练模型并远程调用识别.mp4 [166.4 MB] 5-4opencv滑动验证码识别原理.mp4 [158.0 MB]
  • 📁 第07章通过CrawlSpider对招聘网站进行整站爬取 7-1数据表结构设计.mp4 [67.9 MB] 7-6itemloader方式解析职位.mp4 [148.1 MB] 7-4Rule和LinkExtractor使用.mp4 [88.1 MB] 7-9网站反爬突破.mp4 [68.0 MB] 7-5网页302之后的模拟登录和cookie传递(网站需要登录时【优质资源‖关注：CunWorkNotes 解锁】.mp4 [196.4 MB] 7-2CrawlSpider源码分析-新建CrawlSpider.mp4 [77.0 MB] 7-3CrawlSpider源码分析.mp4 [153.6 MB] 7-7职位数据入库-1.mp4 [108.9 MB] 7-8职位信息入库-2.mp4 [69.0 MB]
  • 📁 第5章 scrapy爬取知名问答网站【旧】 5-14 item loder方式提取question - 1 (1457).mp4 [62.9 MB] 5-17 知乎spider爬虫逻辑的实现以及answer的提取 - 1 (1554).mp4 [67.3 MB] 5-6 . selenium自动识别验证码完成模拟登录-1new (2343).mp4 [123.4 MB] 5-5 . 知乎倒立文字识别 new (2425).mp4 [126.2 MB] 5-11 scrapy模拟知乎登录（可选观看） (2046).mp4 [89.7 MB] 5-19 保存数据到mysql中 -1 (1727).mp4 [72.8 MB] 5-7 . selenium自动识别验证码完成模拟登录 - 2 new (1906).mp4 [98.8 MB] 5-20 保存数据到mysql中 -2 (1722).mp4 [72.4 MB] 5-4 . selenium模拟登录知乎-3new (1614).mp4 [84.3 MB] 5-16 item loder方式提取question - 3 (0645).mp4 [29.2 MB] 5-8 requests模拟登陆知乎 - 1(可选观看) (1332)【不易整理‖请关注：CunWorkNotes】.mp4 [60.8 MB] 5-12 知乎分析以及数据表设计1 (1517).mp4 [65.7 MB] 5-1 session和cookie自动登录机制 (2010).mp4 [81.8 MB] 5-10 requests模拟登陆知乎 - 3（可选观看） (1221).mp4 [53.3 MB] 5-15 item loder方式提取question - 2 (1520).mp4 [65.1 MB] 5-21 保存数据到mysql中 -3 (1609).mp4 [68.5 MB] 5-9 requests模拟登陆知乎 - 2（可选观看） (1316).mp4 [56.9 MB] 5-18 知乎spider爬虫逻辑的实现以及answer的提取 - 2 (1704).mp4 [72.8 MB] 5-13 知乎分析以及数据表设计 - 2 (1335).mp4 [53.3 MB] 5-3 . selenium模拟登录知乎-2new (1533).mp4 [81.6 MB] 5-2 . selenium模拟登录知乎 - 1new (1700).mp4 [90.1 MB]
第01章课程介绍1 集
  • 1-1 python分布式爬虫打造搜索引擎简介 (0723).mp4 [39.4 MB]
第16章scrapyd部署scrapy爬虫5 集
  • 16-1scrapyd部署scrapy项目.mp4 [156.4 MB]
  • 📁 第14章elasticsearch搜索引擎的使用 14-8elasticsearch的mapping映射管理.mp4 [173.0 MB] 14-10elasticsearch的简单查询-2.mp4 [68.4 MB] 14-3elasticsearch-head插件以及kibana.mp4 [140.0 MB] 14-4elasticsearch的基本概念【不易整理‖请关注：CunWorkNotes】.mp4 [44.0 MB] 14-13scrapy写入数据到elasticsearch中-2.mp4 [65.6 MB] 14-9elasticsearch的简单查询-1.mp4 [94.4 MB] 14-5倒排索引.mp4 [40.8 MB] 14-7elasticsearch的mget和bulk批量操作.mp4 [85.9 MB] 14-12scrapy写入数据到elasticsearch中-1【整理不易‖记得关注：CunWorkNotes】.mp4 [89.5 MB] 14-6elasticsearch基本的索引和文档CRUD操作.mp4 [114.2 MB] 14-11elasticsearch的bool组合查询.mp4 [141.4 MB] 14-2elasticsearch安装.mp4 [83.3 MB] 14-1elasticsearch介绍.mp4 [110.8 MB]
  • 📁 第04章新：scrapy爬取知名技术文章网站 4-09 编写spider完成抓取过程 - 1 (1938).mp4 [101.3 MB] 4-2 scrapy安装和配置 (3030).mp4 [157.7 MB] 4-6 xpath提取元素 (2848).mp4 [148.9 MB] 4-5 xpath基础语法 (1902).mp4 [100.7 MB] 4-10 编写spider完成抓取过程 - 2 (2047).mp4 [109.2 MB] 4-1 重录说明(很重要！！！) (0447).mp4 [26.5 MB] 4-19 pipeline数据库保存 (2016)【整理不易‖记得关注：CunWorkNotes】.mp4 [105.5 MB] 4-22 itemloader提取信息 (2141).mp4 [111.8 MB] 4-13 提取详情页信息 (1813).mp4 [94.7 MB] 4-4 pycharm中调试scrapy源码 (1013).mp4 [55.1 MB] 4-17 items数据写入到json文件中 (0927).mp4 [50.0 MB] 4-18 mysql表结构设计 (1321).mp4 [68.1 MB] 4-11 scrapy中为什么要使用yield (0949).mp4 [53.8 MB] .mp4 [145.4 MB] 4-15 items的定义和使用 - 2 (1330).mp4 [70.1 MB] 4-14 items的定义和使用 - 1 (1621).mp4 [85.9 MB] 4-12 提取详情页信息 (2316).mp4 [120.3 MB] 4-23 itemloader提取信息 (1906).mp4 [101.7 MB] 4-21 数据插入主键冲突的解决方法 (0440)【优质资源‖关注：CunWorkNotes 解锁】.mp4 [24.4 MB] 4-24 大规模抓取图片下载出错的问题 (1245).mp4 [67.9 MB] 4-16 scrapy配置图片下载 (1820).mp4 [95.6 MB] 4-20 异步方式入库mysql (1237).mp4 [66.8 MB] 4-3 需求分析 (1353).mp4 [74.8 MB] 4-7css选择器【不易整理‖请关注：CunWorkNotes】.mp4 [106.2 MB]
  • 📁 第02章windows下搭建开发环境 2-3 windows和linux下安装python2和python3 (0649).mp4 [29.3 MB] 2-4 虚拟环境的安装和配置 (3053).mp4 [129.2 MB] 2-2 mysql和navicat的安装和使用 (1620).mp4 [61.6 MB] 2-1 pycharm的安装和简单使用 (0907).mp4 [65.2 MB]
  • 📁 第08章Scrapy突破反爬虫的限制 8-5通过downloadmiddleware随机更换user-.mp4 [100.1 MB] 8-7scrapy实现ip代理池-2.mp4 [101.3 MB] 8-10cookie禁用、自动限速、自定义spider的sett.mp4 [45.3 MB] 8-8scrapy实现ip代理池-3.mp4 [109.8 MB] 8-1爬虫和反爬的对抗过程以及策略.mp4 [149.6 MB] 8-4通过downloadmiddleware随机更换user-.mp4 [101.1 MB] 8-6scrapy实现ip代理池-1【整理不易‖记得关注：CunWorkNotes】.mp4 [104.1 MB] 8-9云打码实现验证码识别.mp4 [141.2 MB] 8-3Requests和Response介绍.mp4 [57.6 MB] 8-2scrapy架构源码分析.mp4 [112.6 MB]
第17章课程总结9 集
  • 17-1课程总结.mp4 [12.1 MB]
  • 📁 第03章爬虫基础知识回顾 3-5 深度优先和广度优先原理 (2515).mp4 [105.5 MB] 3-4 正则表达式-3 (2016).mp4 [87.4 MB] 3-6 url去重方法 (0744).mp4 [34.4 MB] 3-1 技术选型 爬虫能做什么 (0950).mp4 [44.9 MB] 3-2 正则表达式-1 (1831).mp4 [80.4 MB] 3-7 彻底搞清楚unicode和utf8编码 (1831).mp4 [89.4 MB] 3-3 正则表达式-2 (1904).mp4 [81.0 MB]
  • 📁 第15章django搭建搜索网站 15-1es完成搜索建议-搜索建议字段保存-1.mp4 [82.9 MB] 15-3django实现elasticsearch的搜索建议-1.mp4 [118.3 MB] 15-2es完成搜索建议-搜索建议字段保存-2.mp4 [85.1 MB] 15-9搜索记录、热门搜索功能实现-2.mp4 [82.9 MB] 15-8 搜索记录、热门搜索功能实现 - 1 缺课【优质资源‖关注：CunWorkNotes 解锁】.txt 15-5django实现elasticsearch的搜索功能-1.mp4 [83.4 MB] 15-6django实现elasticsearch的搜索功能-2.mp4 [80.2 MB] 15-4django实现elasticsearch的搜索建议-2.mp4 [113.1 MB] 15-7django实现搜索结果分页.mp4 [56.0 MB]
  • 📁 第12章各种验证码的识别 12-4计算出滑动的距离【资源精选‖更多关注：CunWorkNotes】.mp4 [100.0 MB] 12-1滑动验证码的识别思路.mp4 [97.6 MB] 12-2验证码截屏-1.mp4 [68.9 MB] 12-5计算滑动轨迹.mp4 [105.7 MB] 12-3验证码截屏-2.mp4 [82.8 MB]
  • 📁 第10章scrapy-redis分布式爬虫 10-3redis基础知识-2.mp4 [105.8 MB] 10-9集成bloomfilter到scrapy-redis中.mp4 [119.1 MB] 10-8scrapy-redis源码分析-scheduler.p【整理不易‖记得关注：CunWorkNotes】.mp4 [71.5 MB] 10-7scrapy-redis源码剖析-pipelines.p【不易整理‖请关注：CunWorkNotes】.mp4 [65.8 MB] 10-5scrapy源码解析-connection.py、def.mp4 [75.1 MB] 10-2redis基础知识-1.mp4 [121.0 MB] 10-6scrapy-redis源码剖析-dupefilter..mp4 [31.6 MB] 10-1分布式爬虫要点【更多精选‖公众号：CunWorkNotes 获取】.mp4 [26.5 MB] 10-4scrapy-redis编写分布式爬虫代码.mp4 [128.3 MB]
  • 📁 第13章增量抓取 13-1增量爬虫需要解决的问题.mp4 [60.0 MB] 13-3通过修改scrapy-redis完成增量抓取-2.mp4 [86.8 MB] 13-2通过修改scrapy-redis完成增量抓取-1【整理不易‖记得关注：CunWorkNotes】.mp4 [99.6 MB] 13-4爬虫数据更新.mp4 [56.9 MB]
  • 📁 第09章scrapy进阶开发 9-8scrapytelnet服务.mp4 [46.2 MB] 9-9spidermiddleware详解.mp4 [94.0 MB] 9-5其余动态网页获取技术介绍-chrome无界面运行、scra.mp4 [48.4 MB] 9-12scrapy扩展开发.mp4 [80.7 MB] 9-7scrapyurl去重原理.mp4 [35.2 MB] 9-4selenium集成到scrapy中.mp4 [115.7 MB] 9-2selenium模拟登录微博，模拟鼠标下拉.mp4 [64.8 MB] 9-6scrapy的暂停与重启.mp4 [89.5 MB] 9-11scrapy信号详解.mp4 [81.9 MB] 9-10scrapy的数据收集【整理不易‖记得关注：CunWorkNotes】.mp4 [84.6 MB] 9-3chromedriver不加载图片、phantomjs获取.mp4 [60.3 MB] 9-1selenium动态网页请求与模拟登录知乎.mp4 [129.1 MB]
  • 📁 第06章scrapy爬取知名问答网站 6-5itemloder方式提取question-3.mp4 [40.9 MB] 6-3itemloder方式提取question-1【不易整理‖请关注：CunWorkNotes】.mp4 [88.8 MB] 6-1知乎分析以及数据表设计1.mp4 [94.0 MB] 6-6知乎spider爬虫逻辑的实现以及answer的提取-1.mp4 [94.4 MB] 6-4itemloder方式提取question-2.mp4 [93.0 MB] 6-8保存数据到mysql中-1.mp4 [102.3 MB] 6-7知乎spider爬虫逻辑的实现以及answer的提取-2.mp4 [103.3 MB] 6-9 保存数据到mysql中 -2 (1722).mp4 [72.4 MB] 6-2知乎分析以及数据表设计-2.mp4 [67.5 MB] 6-10保存数据到mysql中-3.mp4 [95.9 MB]
  • coding-92.exe [60.3 MB]