这门课解决什么问题:把爬虫开发环境彻底理顺
很多人学爬虫,卡住的地方不是网页解析,而是环境配置。本地能跑、换台机器就报错;依赖冲突;想用远程服务器又不知道怎么同步代码。这门课聚焦的就是这个痛点:用 Docker 把 Python 爬虫的开发环境标准化,同时把 HTTP/HTTPS 协议的基础原理和 Python 里的请求模块讲透。它不是教你写多复杂的反爬对抗,而是帮你把"开发环境搭建"和"协议基础"这两块地基打牢,让你以后写任何爬虫脚本都有一个干净、可复用、可迁移的工作底座。
适合什么基础,建议先看哪几块
这门课适合已经能写基础 Python 语法、但没怎么碰过 Docker 的读者。如果你连函数和模块导入都不熟,建议先补 Python 基础再看。如果你已经熟悉 Dockerfile 和 docker-compose,这部分内容可能偏浅。课程编排上,建议先看系统环境介绍那节,理解为什么要用容器隔离爬虫环境;然后直接跳到 HTTP/HTTPS 协议原理两节,把请求响应模型和 TLS 握手过程过一遍,这部分决定了你后面遇到反爬时能不能快速判断是协议层面的问题还是代码逻辑的问题。Docker 配合 PyCharm 的那几节可以边操作边看,属于配置流程演示,不需要一口气看完。
学完能独立做什么,资料怎么配合练习
学完之后,你应该能独立完成这几件事:第一,用 Dockerfile 构建一个带所需依赖的 Python 爬虫镜像,换机器直接拉镜像就能跑;第二,在 PyCharm 里配置远程 Docker 解释器,实现本地写代码、容器里运行;第三,用 docker-compose 管理爬虫服务,比如同时跑爬虫进程和存储服务;第四,看懂一个 HTTP 请求的完整结构,知道 headers、cookies、请求体分别在哪起作用,能据此用 Python 的请求库构造合法请求。资料配合练习的建议是:Docker 配置部分一定要自己跟着敲一遍,光看视频会觉得"好像懂了",实际操作时网络模式、端口映射、卷挂载这些细节很容易卡住。协议原理部分可以配合抓包工具一起看,对着真实的请求报文理解每个字段,比单纯听概念有效得多。
举一反三快速掌握爬虫开发环境及工作原理
课程目录
* 第一章 Python爬虫开发环境及docker/
* 课程介绍/
* 1.课程介绍
* 系统环境介绍/
* 2.系统环境介绍
* Python项目开发与Docker/
* 3.Pycharm与Docker开发思路和原理
* 4.Pycharm中配置Docker-Daemon的连接
* 5.配置远程Docker的镜像作为Pycharm的python解释器
* 6.配置代码自动上传与运行(一)
* 7.配置代码自动上传与运行(二)
* 8.Pycharm中Dockerfile的配置与使用
* 9.Pycharm中docker-compose-file的配置与使用
* HTTP/HTTPS协议爬虫开发环境/
* 10.HTTP协议基本原理介绍
* 11.HTTPS协议基本原理介绍
* 12.Python中HTTP?HTTPS相关模块介绍
* 13.利用Dockerfile配置安装Python环境(一)
* 14.利用Dockerfile配置安装Python环境(二)
* 爬虫开发环境搭建与使用/
* 15.Docker中selenium与chrome爬虫开发环境搭建与使用(一)
* 16.Docker中selenium与chrome爬虫开发环境搭建与使用(二)
* 17.Docker中selenium与chrome爬虫开发环境搭建与使用(三)
* 18.Docker中selenium与chrome爬虫开发环境搭建与使用(四)
* 19.Docker中appium与android爬虫开发环境搭建与使用(一)
* 20.Docker中appium与android爬虫开发环境搭建与使用(二)
* 21.Docker中appium与android爬虫开发环境搭建与使用(三)
* 22.Docker中appium与android爬虫开发环境搭建与使用(四)
* 23.Docker中appium与android爬虫开发环境搭建与使用(五)
* 24.爬虫开发环境搭建小结
* 数据抓包环境/
* 25.数据抓包介绍
* 26.利用Charles配置PC端web抓包
* 27.利用Charles配置移动端app抓包
* 28.数据抓包小结
* WebSocket协议爬虫开发环境/
* 29.WebSocket协议介绍
* 30WebSocket客户端工具使用介绍与总结






