解决什么痛点：从“本机跑不通”到“生产级爬虫”

很多初学者学爬虫，最大的卡点不是代码逻辑，而是环境。在不同电脑上重装Python库、处理依赖冲突、或者面对HTTPS证书验证失败，这些琐事会消耗大量时间。这门课的核心价值在于将 Docker 容器化技术与 Python 爬虫开发深度结合。它解决了爬虫工程师在“开发环境一致性”和“复杂场景部署”上的痛点。课程不只教怎么写 `requests`，而是教你如何用 Dockerfile 构建镜像、用 Docker-compose 编排服务，以及在 PyCharm 中无缝对接远程 Docker 环境。这意味着你学到的是一套可复现、可移植的工程化工作流，而非只会本地运行的脚本。

适合谁学、前置基础要求

本课程适合已经掌握 Python 基础语法（如变量、函数、类、文件读写），但希望向自动化数据采集方向进阶的上班族或转行者。如果你对 HTTP/HTTPS 协议原理、前端 HTML 结构有一定了解，学习曲线会更平滑。课程前期涉及较多 Docker 配置内容，需要你有基本的命令行操作意识。资料中包含 Charles 抓包工具的配置章节，这意味着你需要一台能安装抓包软件的电脑，以及一定的网络基础常识，以便理解 TLS 握手和数据包结构。

建议学习路径与练习方法

建议不要按顺序从头硬啃，而是分模块突破。

第一阶段：环境与协议打底。优先学习 HTTP/HTTPS 协议基础及 Python 相关模块，这是爬虫的基石。随后进入 Docker 核心章节，重点掌握 PyCharm 连接 Docker Daemon、配置远程解释器以及编写 Dockerfile。这一阶段务必亲手搭建一次 Python 运行环境，确保代码能在容器中独立运行。

第二阶段：抓包与动态渲染。掌握 Charles 在 PC 端和移动端 App 的抓包配置，这是逆向接口数据的必备技能。接着学习 Selenium + Chrome 以及 Appium + Android 在 Docker 中的自动化环境搭建。这部分视频文件较大，说明实操细节多，建议边看边在本地复现浏览器自动化脚本。

第三阶段：高阶协议与项目实战。了解 WebSocket 协议在爬虫中的应用场景，最后通过“最高人民法院失信人被执行人名单”项目进行整体串联。该项目涉及数据去重等实际工程问题，是检验你是否能独立产出可用数据的试金石。

练习建议：资料包中的源码课件是必须跟随敲写的，尤其是 Docker 配置文件和抓包脚本，光看不练无法形成肌肉记忆。建议将每个章节的 Dockerfile 保存下来，作为以后搭建环境的模板库。

课程目录

📁 02_Python爬虫开发环境与Docker 📁 05WebSocket协议与爬虫 30WebSocket客户端工具使用介绍与总结.flv [84.3 MB] 29.WebSocket协议介绍.flv [32.5 MB] 📁 04数据抓包与环境配置 25.数据抓包介绍.flv [68.8 MB] 28.数据抓包小结.flv [6.4 MB] 26.利用Charles配置PC端web抓包.flv [81.7 MB] 27.利用Charles配置移动端app抓包.flv [80.2 MB] 📁 01课程介绍 1.Python爬虫开发环境与Docker课程介绍.mp4
 [21.6 MB] 📁 03HTTP、HTTPS协议与爬虫 20.Docker中appium与android爬虫开发环境搭建与使用(二).flv [100.7 MB] 23.Docker中appium与android爬虫开发环境搭建与使用(五).flv [58.2 MB] 16.Docker中selenium与chrome爬虫开发环境搭建与使用(二).flv [114.1 MB] 17.Docker中selenium与chrome爬虫开发环境搭建与使用(三).flv [135.2 MB] 15.Docker中selenium与chrome爬虫开发环境搭建与使用(一).flv [100.0 MB] 11.HTTPS协议基本原理介绍.flv [47.5 MB] 21.Docker中appium与android爬虫开发环境搭建与使用(三).flv [29.4 MB] 24.爬虫开发环境搭建小结.flv [17.6 MB] 14.利用Dockerfile配置安装Python环境(二).flv [67.6 MB] 19.Docker中appium与android爬虫开发环境搭建与使用(一).flv [70.1 MB] 12.Python中HTTP？HTTPS相关模块介绍.flv [89.3 MB] 13.利用Dockerfile配置安装Python环境(一).flv [79.4 MB] 10.HTTP协议基本原理介绍.flv [93.5 MB] 22.Docker中appium与android爬虫开发环境搭建与使用(四).flv [37.3 MB] 18.Docker中selenium与chrome爬虫开发环境搭建与使用(四).flv [98.2 MB] 📁 02Python开发与Docker 3.Pycharm与Docker开发思路和原理.flv [23.8 MB] 7.配置代码自动上传与运行(二).flv [52.9 MB] 6.配置代码自动上传与运行(一).flv [53.1 MB] 9.Pycharm中docker-compose-file的配置与使用.flv [37.7 MB] 2.系统环境介绍.mp4
 [18.5 MB] 4.Pycharm中配置Docker-Daemon的连接.flv [68.0 MB] 8.Pycharm中Dockerfile的配置与使用.flv [73.6 MB] 5.配置远程Docker的镜像作为Pycharm的python解释器.flv [62.2 MB] 📁 10_爬虫项目之失信人被执行人名单 📁 03最高人民法院失信人信息爬取 10_最高人民法院失信人爬虫信息去重.flv [46.3 MB] 下载必看.txt [259.0 B] 08_最高人民法院失信人页面分析确定URL.flv [70.7 MB] 09_最高人民法院失信人信息爬虫.flv [71.7 MB] 📁 02百度失信人信息爬取 07_下载器中间件.flv [64.6 MB] 下载必看.txt [259.0 B] 06_保存失信人信息.flv [116.5 MB] 05_百度失信人信息爬虫实现.flv [92.2 MB] 04_百度失信人信息爬虫URL分析.flv [66.3 MB] 📁 04国家企业信用公告系统失信人信息爬取 16_国家企业信用公告系统爬虫_完善爬虫.flv [131.2 MB] 13_国家企业信用公告系统爬虫_生成爬虫与跳过原有的下载器中间件.flv [28.8 MB] 15_国家企业信用公告系统爬虫_实现公告系统中间件.flv [65.6 MB] 12_国家企业信用公告系统爬虫_解决传递cookie问题.flv [196.3 MB] 11_国家企业信用公告系统爬虫_确定请求.flv [104.1 MB] 14_国家企业信用公告系统爬虫_实现生成cookie的脚本.flv [114.3 MB] 下载必看.txt [259.0 B] 📁 05总结 下载必看.txt [259.0 B] 17_失信人名单爬虫项目总结.flv [66.2 MB] 📁 01需求与开发准备 02_开发环境与技术选择.flv [11.5 MB] 01_需求.mp4
 [50.9 MB] 下载必看.txt [259.0 B] 03_创建项目与定义数据模型.flv [32.7 MB] _批量解压.bat [252.0 B] 📁 07_爬虫技术架构及实战 📁 05项目实战-豆瓣爬虫改造 4.案例-doubanbook爬虫改造(四).flv [112.0 MB] 1.案例-doubanbook爬虫改造(一).flv [157.9 MB] 5.案例-doubanbook爬虫改造(五).flv [151.0 MB] 3.案例-doubanbook爬虫改造(三).flv [121.0 MB] 2.案例-doubanbook爬虫改造(二).flv [149.5 MB] 6.案例-doubanbook爬虫改造(六).flv [100.3 MB] 📁 04爬虫系统与架构方案设计实现 8.代码运行测试.flv [247.4 MB] 15.丢失请求与失败请求的捕获(一).flv [242.8 MB] 21.Selenium与Chrome-Headless并发下载(三).flv [346.7 MB] 28.ELK启动运行(二).flv [218.5 MB] 32.logstash数据过滤与定向输出(一).flv [62.9 MB] 11.异步并发代码改造优化.flv [159.6 MB] 29.logstash向kafka生成日志数据(一).flv [207.8 MB] 33.logstash数据过滤与定向输出(二).flv [84.3 MB] 5.爬虫逻辑与基类实现.flv [167.1 MB] 34.将日志发送到微信实现警报.flv [242.6 MB] 31.logstash向kafka生成日志数据(三).flv [44.8 MB] 26.Logstash的工作原理.flv [215.5 MB] 6.主逻辑实现(一).flv [383.2 MB] 4.下载器对象实现.flv [200.8 MB] 3.Request对象和Response对象实现.flv [229.5 MB] 12.基础策略代码实现优化.flv [101.8 MB] 30.logstash向kafka生成日志数据(二).flv [101.4 MB] 22.模块安装.flv [264.0 MB] 23.日志收集和监控的必要性.flv [116.6 MB] 14.使用布隆过滤器进行请求过滤(二).flv [102.4 MB] 1.爬虫系统架构实现与request_manager回顾.flv [194.4 MB] 17.丢失请求与失败请求的捕获(三).flv [187.2 MB] 10.异步并发代码实现.flv [316.7 MB] 18.丢失请求与失败请求的捕获(四).flv [261.5 MB] 9.新增下载器组件实现请求发出.flv [214.6 MB] 19.Selenium与Chrome-Headless并发下载(一).flv [243.7 MB] 20.Selenium与Chrome-Headless并发下载(二).flv [177.5 MB] 27.ELK启动运行(一).flv [212.1 MB] 2.基础策略实现代码结构介绍.flv [74.3 MB] 13.使用布隆过滤器进行请求过滤(一).flv [102.9 MB] 16.丢失请求与失败请求的捕获(二).flv [225.2 MB] 24.日志模块的简单使用.flv [150.8 MB] 📁 02爬虫系统与架构介绍 3.爬虫系统架构中需要实现的主要爬虫业务.flv [215.3 MB] 11.爬虫系统架构介绍小结.flv [43.6 MB] 2.为什么要自行实现一个爬虫系统架构.flv [158.4 MB] 7.爬虫系统架构设计方案1优化策略(二).flv [163.7 MB] 4.爬虫系统架构设计方案1.flv [153.0 MB] 9.爬虫系统架构设计方案1优化策略(四).flv [128.7 MB] 6.爬虫系统架构设计方案1优化策略(一).flv [107.5 MB] 8.爬虫系统架构设计方案1优化策略(三).flv [96.4 MB] 5.爬虫系统架构设计方案1内部逻辑.flv [108.9 MB] 10.爬虫系统架构设计方案2简介.flv [82.9 MB] 1.爬虫系统架构概念介绍.flv [169.1 MB] 📁 06总结 1.课程总结.flv [130.0 MB] 📁 01课程内容和系统环境介绍 1.课程内容与系统环境介绍.mp4
 [18.0 MB] 📁 03爬虫系统与架构组件介绍 3.爬虫系统架构组件介绍(二).flv [83.9 MB] 2.爬虫系统架构组件介绍(一).flv [135.1 MB] 5.爬虫系统架构组件介绍(四).flv [158.3 MB] 1.爬虫系统架构组件整体掌握.flv [63.5 MB] 4.爬虫系统架构组件介绍(三).flv [119.2 MB] 6.爬虫系统架构组件介绍(五).flv [76.5 MB] 📁 06_爬虫异步任务设计 📁 03操作系统IO模型 6.同步IO和异步IO.flv [85.2 MB] 5.异步IO.flv [118.0 MB] 1.IO操作本质.flv [112.7 MB] 4.IO多路复用.flv [130.4 MB] 2.阻塞模式IO.flv [89.5 MB] 3.非阻塞模式IO.flv [77.2 MB] 📁 04IO设计模式 IO设计模式了解.flv [213.0 MB] 📁 01课程介绍 1.课程内容与环境介绍.mp4
 [7.7 MB] 📁 02进程、线程与协程 4.IO密集与计算密集.flv [95.3 MB] 1.进程与线程简单对比.flv [75.2 MB] 3.协程的实现方式.flv [80.5 MB] 2.协程介绍.flv [132.7 MB] 📁 06总结 总结.flv [114.9 MB] 📁 05Python爬虫与IO库 18.Twisted的Defered.flv [37.4 MB] 5.协程的嵌套.flv [163.8 MB] 21.Twisted并发.flv [47.0 MB] 10.Greenlet与Yield对比.flv [143.1 MB] 16.Twisted模块介绍.flv [89.1 MB] 13.Gevent的协程池.flv [102.4 MB] 17.Twisted的抽象层.flv [87.2 MB] 15.tornado的httpclient模块使用介绍.flv [123.9 MB] 6.Task的取消.flv [57.3 MB] 2.Asyncio模块介绍.flv [128.3 MB] 9.Asyncio实现爬虫异步的方案.flv [79.9 MB] 11.Gevent中的Greenlet.flv [47.3 MB] 12.Gevent的猴子补丁.flv [52.6 MB] 19.Agent模块发送请求.flv [134.6 MB] 23.Celery模块介绍.flv [85.5 MB] 22.Twisted使用总结.flv [73.9 MB] 3.Asyncio事件驱动代码练习.flv [204.6 MB] 1.Python异步库使用介绍.flv [51.7 MB] 14.Tornado了解.flv [53.5 MB] 24.Celery使用(一).flv [54.0 MB] 7.EventLoop显示关闭.flv [58.7 MB] 20.Twisted获取响应数据.flv [124.6 MB] 4.利用线程池执行Task.flv [170.6 MB] 8.子线程中的EventLoop.flv [139.6 MB] 📁 04_爬虫请求管理 📁 04消息队列与Python 35.kafka工作原理介绍(三).flv [96.1 MB] 34.kafka工作原理介绍(二)(1).flv [53.2 MB] 53.消息队列与请求管理实现总结.flv [104.2 MB] 45.rabbitmq工作环境搭建介绍.flv [157.1 MB] 32.消息队列介绍.flv [78.0 MB] 48.rabbitmq中消费者的ack确认机制.flv [196.5 MB] 39.Docker中利用桥接网络模式启动kafka.flv [113.3 MB] 37.利用docker-compose启动kafka.flv [190.1 MB] 43.kafka中消费者数量与topic分区数之间的关系.flv [125.1 MB] 42.kafka的消费者组的特征(1).flv [72.7 MB] 40.kafka的分区特征介绍.flv [201.0 MB] 51.rabbitmq中的扇形交换机.flv [71.9 MB] 38.confluent-kafka-python安装与使用.flv [193.8 MB] 52.rabbitmq中的首部交换机.flv [100.5 MB] 33.kafka工作原理介绍(一).flv [51.3 MB] 50.rabbitmq中的主题交换机.flv [89.0 MB] 42.kafka的消费者组的特征.flv [72.7 MB] 36.kafka工作环境搭建介绍.flv [122.5 MB] 34.kafka工作原理介绍(二).flv [53.2 MB] 49.rabbitmq中的直连交换机.flv [265.2 MB] 41.向指定的分区生产和消费数据.flv [229.6 MB] 47.rabbitmq中队列的特征.flv [152.6 MB] 44.rabbitmq工作原理介绍.flv [216.7 MB] 📁 03队列与Python 19.redis共享资源竞争问题.flv [171.5 MB] … 其余 3

04 项略，目录共 504 项