这门课在解决什么问题
这门课针对的，是一个真实的缺口：很多开发者会写 Go，但面对一个真正需要扩展的爬虫项目，却卡在几个关键问题上——如何用 Go 高效地发出大量 HTTP 请求、如何把单进程爬虫拆成多节点协作的分布式架构、遇到反爬和超时怎么办、怎么让程序稳定可维护。
课程从 Go 语言自身的知识基础讲起，然后过渡到爬虫的工程实践，再深入到分布式系统层面的容错和一致性。它不是单纯教你"怎么写爬虫"，而是帮你把爬虫从玩具级脚本，升级成能扛住真实业务压力的生产级系统。
适合什么基础
建议你已经有 Go 基础，至少用过 fmt、net/http 这些标准库写过简单的网络请求。如果连 Go 语法还没学完，建议先补一轮基础语法，这门课不会帮你从零入门。课程里也有几讲回顾 Go 基础知识，如果你觉得自己已经掌握了，可以直接跳过，重点听爬虫和分布式相关的部分。
建议先看哪几块
- 爬虫概念与 HTTP 请求流程（06、16、17），这是理解后续所有实战的入口
- Go 高并发网络模型（07），这是性能的基础
- 分布式爬虫的架构设计（14），这是课程的核心目标
- 代理、超时控制、日志规范（23、22、24），这些是生产环境必须处理的细节
其余章节可以按顺序跟完，不需要死磕。如果某些概念你已经懂了，可以直接往后听。
学完能独立做什么
学完这门课，你可以独立完成一个分布式爬虫项目：从需求分析、架构设计，到编写具备并发采集、代理切换、超时控制、结构化日志的完整代码，并理解其中的原理。它不保证你马上找到工作，但能让你在面对真实的爬虫开发任务时，知道该往哪个方向思考、遇到性能问题往哪排查。
资料怎么配合练习
资料包里有 PDF 讲义和 MP3 音频，建议先看讲义建立概念框架，再看音频跟着讲解做实操。每讲结束后，用课程配套的练习题检验自己是否真正理解。如果某个知识点卡住了，回去再看对应的讲义，不用急于往前赶。
课程目录
MP3 01｜知识回顾：Go基础知识你真的掌握了吗？.pdf 3.10M 02｜内有乾坤：Go语言六大基础知识体系.pdf 1.58M 03｜进阶路线：如何深入学习Go语言？.pdf 8.82M 04｜敏捷之道：大型Go项目的开发流程是怎样的？.pdf 2.80M 05｜全局视野：洞悉项目开发流程与规范.pdf 3.81M 06｜免费的宝库：什么是网络爬虫？.pdf 3.23M 07｜冰川之下：深入Go高并发网络模型.pdf 4.12M 08｜高性能设计：自顶向下的高性能Go程序设计与优化.pdf 4.32M 09｜破解性能谜题：性能优化的五层境界.pdf 5.68M 10｜微服务设计：微服务架构与演进.pdf 3.79M 11｜微服务挑战：微服务治理体系与实践.pdf 3.93M 12｜分布式系统设计：数据一致性与故障容错的纠葛.pdf 3.54M 13｜智慧之火：详解分布式容错共识算法.pdf 2.80M 14｜谋定而动：爬虫项目需求分析与架构设计.pdf 2.87M 15｜众人拾柴：高效团队的Go编码规范.pdf 3.25M 16｜网络爬虫： 一次HTTP请求的魔幻旅途.pdf 4.20M 17｜巨人的肩膀：HTTP协议与Go标准库原理.pdf 2.53M 18｜依赖管理：Go Module 用法与原理.pdf 3.40M 19｜从正则表达式到CSS选择器：4种网页文本处理手段.pdf 4.57M 20｜面向组合：接口的使用场景与底层原理.pdf 2.42M 21｜采集引擎：实战接口抽象与模拟浏览器访问.pdf 3.89M 22｜优雅的离场：Context超时控制与原理.pdf 1.33M 22｜优雅地离场：Context超时控制与原理.pdf 1.53M 23｜偷梁换柱：为爬虫安上代理的翅膀.pdf 1.79M 24｜日志处理：日志规范与最佳实践.pdf 1.70M 25 - 运筹帷幄：协程的运行机制与调度器原理.pdf 2.81M 26｜高并发爬虫：模型、控制与冲突检测.pdf 2.91M 27｜掘地三尺：实战深度与广度优先搜索算法.pdf 1.81M 28｜调度引擎：负载均衡与调度器实战.pdf 2.20M 29｜细节决定成败：切片与哈希表的陷阱与原理.pdf 3.08M 30｜辅助任务管理：任务优先级、去重与失败处理.pdf 1.71M 31｜规则引擎：自定义爬虫处理规则.pdf 2.62M 32｜存储引擎：数据清洗与存储.pdf 5.51M 33｜固若金汤：限速器与错误处理.pdf 3.54M 34｜服务注册与监听：Worker节点与etcd交互.pdf 1.58M 35｜未雨绸缪：怎样通过静态与动态代码扫描保证代码质量？.pdf 2.44M 36｜测试的艺术：依赖注入、表格测试与压力测试.pdf 1.83M 37｜工具背后的工具：从代码覆盖率到模糊测试.pdf 2.18M 38｜高级调试：怎样利用Delve调试复杂的程序问题？.pdf 2.22M 39｜性能分析利器：深入pprof与trace工具.pdf 3.70M 40｜资源调度：深入内存管理与垃圾回收.pdf 3.80M 41｜线上综合案例：节约线上千台容器的性能分析实战.pdf 5.05M 42｜他山之石：etcd架构之美.pdf 1.64M 43｜分布式协调：etcd读写、MVCC原理与监听机制.pdf 2.40M 44｜一个程序多种功能：构建子命令与flags.pdf 1.01M 45｜Master高可用：怎样借助etcd实现服务选主？.pdf 1.70M 46｜Master任务调度：服务发现与资源管理.pdf 2.09M 47｜故障容错：如何在Worker崩溃时进行重新调度？.pdf 1.55M 48 - 完善核心能力：Master请求转发与Worker资源管理.pdf 1.28M 49 - 服务治理：如何进行限流、熔断与认证？.pdf 2.09M 50｜不可阻挡的容器化：Docker核心技术与原理.pdf 2.43M 51 - 多容器部署：如何利用 Docker Compose快速搭建本地爬虫环境？.pdf 2.09M 52 - 容器海洋中的舵手：Kubernetes工作机制.pdf 3.00M 53｜容器化实战：怎样搭建K8s爬虫集群？.pdf 2.47M 结束语｜登高望远，迈向新的高峰.pdf 1.22M 开篇词｜聚沙成塔，构建高性能、分布式爬虫项目.pdf 6.78M 期末测试 - 来赴一场满分之约吧～.pdf 917.24kb 特别放送｜Go泛型：用法、原理与最佳实践.pdf 1.99M 特别放送｜回头看：如何更好地组织代码？.pdf 3.18M
