先判断：这门课值不值得学

这套资料围绕 Go 语言做分布式爬虫实战，核心解决的是「单机抓数据太慢、容易重复或漏抓」的问题。如果你平时的工作只是偶尔用脚本批量下载网页，那单机版够用，不一定非要上分布式；但如果你要处理几十万条以上的结构化数据、需要多节点同时跑、还要保证去重和容错，那这门课的思路就值得花时间看。它不是泛泛讲语法，而是从请求封装、解析器拆分到单任务引擎总控，一步步搭出一个能扩展到多节点的骨架，适合已经会写基础 Go 代码、想真正落地一个爬虫项目的人。

学完能独立做什么、资料怎么配合练

跟着走完，你应该能独立写出一个单任务版爬虫引擎，把城市列表、详情页解析、HTTP 请求模块拆清楚，再在此基础上扩展成分布式调度。资料里的视频按步骤顺序排，建议先看项目背景和整体步骤说明，弄清楚需求边界再动手；接着重点看 HTTP 请求简单说明、Fetch 模块封装这几块，把请求层先跑通；然后跳到解析器与 HTTP 请求分析模块抽离、城市列表解析器实现，对照代码自己敲一遍解析逻辑；最后看单任务版爬虫架构分析和 engine 总控函数实现，把各模块串起来。不要只看不练，每个模块看完后自己复现一遍，遇到卡壳再回看对应视频，比顺序刷完更有效。

适合什么基础、先看哪几块

这套资料默认你懂 Go 基本语法和 HTTP 请求流程，不会从零讲变量循环。如果基础薄弱，建议先把 Go 的 goroutine、channel、接口这些概念过一遍再看，否则到并发调度部分会跟不上节奏。入门阶段优先看项目背景说明和整体步骤说明，这两块能帮你快速判断要不要继续投入；中间的 URL 和城市提取、解析器抽离是技术含量最高的部分，值得反复看；engine 总控函数实现是收尾，建议放到最后，等前面模块都跑通再看，理解会更深。整体节奏是先搭骨架再填细节，别急着一次性全看完。


分布式爬虫

课程目录

*   01 1.爬虫项目/

  *   01 1 爬虫项目背景说明.mp4 11:19

  *   02 2 爬虫项目整体步骤说明.mp4 11:55

  *   03 3 爬虫项目需求算法说明.mp4 13:30

  *   04 4 http请求简单说明.mp4 14:29

  *   05 5 获取初始页面信息.mp4 08:03

  *   06 6 提取URL和城市.mp4 34:47

  *   07 7 解析器与HTTP请求分析模块抽离.mp4 07:21

  *   08 8 Fetch模块封装.mp4 08:52

  *   09 9 城市列表解析器功能分析.mp4 09:02

  *   10 10 单任务版爬虫架构分析.mp4 08:30

  *   11 11 单任务版爬虫实现思路分析.mp4 09:54

  *   12 12 单任务版爬虫城市列表解析器实现.mp4 25:11

  *   13 13 单任务版爬虫engine总控函数实现.mp4 15:00

  *   14 14 城市解析器单元测试函数.mp4 12:48

*   02 2.分布式爬虫/

  *   01 1 城市解析与用户解析逻辑分析.mp4 13:44

  *   02 2 模拟网页请求实现.mp4 12:29

  *   03 3 爬虫性能需求分析.mp4 03:09

  *   04 4 并发版架构分析.mp4 10:08

  *   05 5 代码抽离之worker封装分析.mp4 11:43

  *   06 6 worker创建实现.mp4 14:26

  *   07 7 worker 数据交互通道实现.mp4 16:35

  *   08 8 worker通道的配置.mp4 34:31

  *   09 9 死锁bug调试与修正.mp4 19:49

  *   10 10 循环等待问题分析.mp4 14:16

  *   11 11 用户信息打印测试.mp4 14:59

  *   12 12 用户数据统计测试.mp4 15:45

  *   13 13 用户数据统计测试bug修改.mp4 03:44

  *   14 14 Scheduler实现二之worker队列说明.mp4 32:07

  *   15 15 Scheduler实现二之总控函数实现说明.mp4 37:23

*   03 3.elasticsearch与docker部署/

  *   01 1 day15回顾.mp4 06:55

  *   02 2 调度器队列控制实现(终).mp4 28:59

  *   03 3 channel request worker答疑.mp4 09:14

  *   04 4 并发队列调度结构图和流程图分析.mp4 11:17

  *   05 5 并发重构说明.mp4 21:30

  *   06 6 重构测试.mp4 04:39

  *   07 7 爬取所有城市和用户去重操作.mp4 18:35

  *   08 8 数据存储及有效数据传输通道说明.mp4 19:38

  *   09 9 ItemServer原理说明.mp4 14:15

  *   10 10 elasticsearch与docker安装.mp4 29:35

  *   11 11 docker基本操作说明.mp4 09:56

  *   12 12 elasticsearch基本操作.mp4 15:35

  *   13 13 golang连接elasticSearch测试.mp4 20:04

  *   14 14 elasticsearch数据存储.mp4 14:18

  *   15 15 item结构封装(1).mp4 09:08

  *   16 百度网盘资料下载

*   04 百度网盘资料下载/

  *   01 此课件不可用请下载第一项的网盘链接资料）资料下载新