这门课解决什么问题:把卡住的数据拿下来
很多做运营、市场或数据分析的上班族,平时用 Python 写点简单的 requests 脚本没问题,但一遇到真实的业务场景,比如要批量抓取某个电商平台的商品评价、或者去竞品网站扒公开的报价单,往往跑没几次就被封了。这门课聚焦的就是这个痛点:怎么对付网站的反爬机制。它不教你基础的 Python 语法,而是直接切入图形验证码、滑动拼图、JS 加密参数以及 IP 代理池构建。如果你平时写爬虫总是卡在“能抓到首页但抓不到列表页”“跑两次就被限制”这一步,这门课就是帮你补上从“玩具脚本”到“能稳定跑通的业务工具”这段距离。资料里的内容偏向实战排错,适合已经能独立写简单爬虫、想往数据采集或自动化运维方向转岗的读者,完全零基础的话建议先补基础再来看。
建议先看哪几块:按拦截类型对号入座
拿到资料不要顺着视频从头看,建议按你当前遇到的实际拦截类型对号入座。如果你抓取时频繁遇到 IP 被封,先看 IP 代理池构建相关的章节,搞懂怎么搭建本地代理池并轮换调用;如果卡在登录环节,重点看图形验证码和滑动验证码的破解思路,这部分讲了怎么对接打码平台以及模拟滑动轨迹。另外,资料里有一大块内容是关于 Splash 渲染服务的,这部分建议重点跟练。现在很多网站的数据是动态加载的,requests 根本拿不到源码,用 Splash 配合 Scrapy 框架去执行页面 JS 是非常务实的解法。先在 Docker 里把环境配通,再去研究怎么把它和现有的爬虫框架整合,这样遇到动态页面就不会无从下手。
资料怎么配合练习与学完能做什么
学反爬技术光看视频绝对学不会,必须跟着动手。建议的练习方式是:找两三个你自己工作中真实需要抓取、但一直没抓下来的网站作为靶子。看视频里讲到某种验证码或加密参数的解决思路时,立刻去你的目标网站上抓包分析,对比请求头和载荷,试着复现课里的操作。遇到 Splash 整合的部分,一定要自己在本地把 Docker 环境跑起来,把视频里的配置步骤完整敲一遍,不要只看不做。把这套资料啃下来并配合实操,你能独立写出一套带自动换 IP、能处理常见动态渲染和验证码的采集脚本。往后在工作中,无论是做竞品价格监控、公开舆情数据汇总,还是给业务报表自动准备底层数据,你都不用再依赖别人现成的接口,能自己把数据链路打通。
从0到1掌握Python反爬与反反爬技巧,图形验证码、滑动验证码、加密解密以及IP代理池轻松搞定
课程目录
* 01 Python反爬与反反爬学习目标.mp4 (14.80 MB), 04:44
* 02 常见的反爬手段和解决思路.mp4 (120.83 MB), 22:43
* 03 Splash-安装Docker并配置镜像加速.mp4 (114.79 MB), 22:04
* 04 Splash-在Docker中安装Splash.mp4 (54.71 MB), 11:34
* 05 Splash-常用属性和方法.mp4 (26.72 MB), 04:30
* 06 Splash-Splash与requests模块整合.mp4 (110.73 MB), 18:14
* 07 Splash-Splash与Scrapy框架整合.mp4 (111.07 MB), 17:38
* 08 图片验证码-打码平台超级鹰快速入门.mp4 (83.27 MB), 14:35
* 09 图片验证码-案例练习-超级鹰.mp4 (76.33 MB), 11:37
* 10 图片验证码-案例练习-百世快运.mp4 (106.99 MB), 17:52
* 11 滑动验证码-顺丰速运-案例分析.mp4 (29.61 MB), 04:48
* 12 滑动验证码-顺丰速运-获娶滑动验证码图片与图块的地址.mp4 (82.76 MB), 12:03
* 13 滑动验证码-顺丰速运-下载验证码图片.mp4 (21.86 MB), 03:52
* 14 滑动验证码-顺丰速运-对图片验证码进行二值化处理.mp4 (71.39 MB), 12:36
* 15 滑动验证码-顺丰速运-计算滑动距离.mp4 (103.30 MB), 17:14
* 16 滑动验证码-顺丰速运-获娶移动轨迹并滑动按钮实现最终效果.mp4 (71.32 MB), 11:00
* 17 动态数据分析-王者荣耀-案例分析.mp4 (87.71 MB), 13:10
* 18 动态数据分析-王者荣耀-编码实现.mp4 (228.19 MB), 36:47
* 19 动态数据分析-作业-英雄联盟皮肤海报获取思路分析.mp4 (60.21 MB), 08:56
* 20 Python调用JS-PyExecJS和js2py的使用.mp4 (55.51 MB), 11:16
* 21 Python调用JS-使用Node调用JS.mp4 (39.27 MB), 07:04
* 22 Python调用JS-案例练习-微信公众号.mp4 (83.70 MB), 13:21
* 23 Python调用JS-案例练习-京东商城.mp4 (143.75 MB), 23:32
* 24 加密解密-Base64编码解码.mp4 (32.13 MB), 06:47
* 25 加密解密-散列算法.mp4 (62.17 MB), 12:01
* 26 加密解密-对称加密算法.mp4 (82.70 MB), 13:54
* 27 加密解密-非对称加密算法.mp4 (55.01 MB), 08:13
* 28 IP代理池-代理池如何设计.mp4 (32.51 MB), 09:28
* 29 IP代理池-logging日志的基本使用.mp4 (48.33 MB), 10:29
* 30 IP代理池-封装请求工具类.mp4 (49.98 MB), 08:02
* 31 IP代理池-封装MongoDB工具类.mp4 (177.26 MB), 29:29
* 32 IP代理池-封装验证IP工具类.mp4 (69.71 MB), 10:59
* 33 IP代理池-封装抓取IP工具类-快代理云代理.mp4 (106.89 MB), 15:46
* 34 IP代理池-封装抓取IP工具类-芝麻HTTP.mp4 (60.55 MB), 10:05
* 35 IP代理池-编写调度器.mp4 (38.01 MB), 06:26
* 36 IP代理池-FastAPI快速入门.mp4 (77.15 MB), 13:34
* 37 IP代理池-通过FastAPI暴露获取IP的接口.mp4 (108.58 MB), 17:52






