先看清这门课能解决什么工作痛点

在数据处理和自动化办公场景中，手工复制粘贴不仅低效且容易出错，遇到反爬机制时更是束手无策。这门课的核心价值在于，它不教枯燥的语法理论，而是直接拆解从目标网站分析到数据落地的完整链路。你会学到如何编写脚本自动抓取网页信息，如何处理动态加载和验证码等拦路虎，以及将抓取的数据清洗后存入 MySQL 数据库。学完这套内容，你能独立搭建一个自动化数据采集系统，把原本需要几天的人工调研工作压缩到几小时内完成，极大提升职场效率。

评估自身基础与资料配合策略

课程建议具备 Python 基础再开始，若完全零基础需先自学变量、循环等概念，否则面对网络请求和异常处理时会感到吃力。资料包中的笔记不是用来读完的，而是配合视频代码跟着敲的“对照表”。学习初期，先利用笔记理解 HTTP 请求原理和 DOM 解析逻辑；遇到代码报错时，拿着笔记里的注释去排查；实战阶段则需脱离笔记，尝试自己编写脚本。资料里的数据库连接部分，建议在实际环境中手动建表，不要只依赖虚拟环境，这样能真正理解数据流向，为后续独立开发打牢根基。

明确学完后的独立交付能力

完成本课程后，你不再是只会调用现成 API 的“搬运工”，而是具备从 0 到 1 定制数据采集方案的能力。具体而言，你能独立分析陌生网站的网页结构，编写 Python 脚本应对不同的反爬策略，并将最终数据以 CSV 或数据库形式规范存储。这种“发现问题 - 定制方案 - 落地执行 - 数据验证”的闭环能力，是后端开发岗位非常看重的实战技能。无论是对接公司内部报表系统，还是处理竞品分析数据，你都能拿出一套可运行的代码方案，而不仅仅是一个 Demo。这才是这门课真正能给你的职场底气。

视频目录（121 节）

13小时掌握python爬虫必杀技

课程目录

*   1 0.1 爬虫是什么鬼？它能做什么？.mp4

*   2 0.2 本课程将怎么教会你自己写爬虫程序.mp4

*   3 1.1 Python语言介绍.mp4

*   4 1.2 安装Python（Windows）.mp4

*   5 1.3 安装开发IDE—PyCharm（Windows）.mp4

*   6 1.4 安装数据库MySQL（Windows）.mp4

*   7 1.5 安装数据库远程控制工具SQLYog（Windows）.mp4

*   8 1.6 安装python3（Mac）.mp4

*   9 1.7 安装Pycharm（Mac）.mp4

*   10 1.8 安装Mysql（Mac）.mp4

*   11 1.9 安装Mysql连接工具（Mac）.mp4

*   12 2.1 我们每天使用的网络是如何工作的？.mp4

*   13 2.2 IP：网络成员的收货地址.mp4

*   14 2.3 DNS：网络域名与IP地址映射关系的管理员.mp4

*   15 2.4 路由：网络数据的中转站.mp4

*   16 2.5 协议：网络成员间的沟通语言.mp4

*   17 2.6 HTTP协议：浏览器能正常显示网页信息都是它的功劳.mp4

*   18 2.7 TCP IP协议：HTTP协议的地基.mp4

*   19 2.8 用Python实现一个简单的Web Server.mp4

*   20 2.9 用Python实现Socket编程-服务端.mp4

*   21 2.10 用Python实现Socket编程-客户端.mp4

*   22 3.1 什么是HTML？.mp4

*   23 3.2 什么是CSS？.mp4

*   24 3.3 什么是JavaScript？.mp4

*   25 3.4-1 手写一个HTML页面（HTML标签部分）.mp4

*   26 3.4-2 手写一个HTML页面（CSS美化和JS交互）.mp4

*   27 3.4-3 手写一个HTML页面（引用CSS文件和JS文件）.mp4

*   28 3.5 浏览器F12查看自己写的HTML.mp4

*   29 3.6 什么是dom树？.mp4

*   30 3.7 人们常说的静态网页和动态网页有什么区别？.mp4

*   31 3.8 Get请求和Post请求有什么区别？.mp4

*   32 3.9 什么是同步请求？什么是异步请求？.mp4

*   33 3.10 如何用Ajax实现异步请求？.mp4

*   34 3.11 Http请求中常见的Header内容有哪些？.mp4

*   35 3.12 什么是json数据格式？.mp4

*   36 3.13 什么是XPATH.mp4

*   37 3.14 什么是CSS选择器.mp4

*   38 4.1 request：处理http请求.mp4

*   39 4.2 re：正则表达式.mp4

*   40 4.3 pymyql：使用SQL语句操作数据库.mp4

*   41 4.4 peewee：ORM方式操作数据库.mp4

*   42 4.5 beautifulsoup（BS4）：HTML解析器.mp4

*   43 4.6 lxml：xpath方式解析HTML.mp4

*   44 4.7 css选择器方式解析HTML.mp4

*   45 4.8 urllib.parse：解析和封装URL.mp4

*   46 4.9 pickle：将python对象写入本地磁盘文件.mp4

*   47 5.1 需求分析：爬取哪些内容，如何设计爬取流程.mp4

*   48 5.2 数据库设计：设计新闻列表的表结构.mp4

*   49 5.3 页面分析：找到数据的css选择器.mp4

*   50 5.4 页面分析：F12找到数据接口.mp4

*   51 5.5 实现编码：解析JSON数据.mp4

*   52 5.6 实现编码：入库新闻列表.mp4

*   53 5.7 实现编码：入库关键字.mp4

*   54 5.8 实现编码：已存在的数据不重复写入.mp4

*   55 5.9 实现编码：增加数据库事务.mp4

*   56 5.10 总结：爬虫其实就是如此的简单.mp4

*   57 6.01 什么是多线程？.mp4

*   58 6.02 threading库：启动线程.mp4

*   59 6.03 线程同步：线程Lock.mp4

*   60 6.04 什么是线程池？.mp4

*   61 6.05 concurrent.futures库：操作线程池.mp4

*   62 6.06 对比单线程、多线程、线程池的执行时间.mp4

*   63 6.07 需求分析：爬取网易新闻详情页内容.mp4

*   64 6.08 数据库设计：设计新闻详情的表结构.mp4

*   65 6.09 页面分析：找到数据的css选择器和xpath.mp4

*   66 6.10-01 获得需要爬取数据的新闻详情列表.mp4

*   67 6.10-02 解析页面内容并生成对应的ORM对象.mp4

*   68 6.10-03 编写入库代码（事务、线程池）.mp4

*   69 6.10-04 运行程序并解决遇到的问题.mp4

*   70 6.11 增加数据是否重复爬取的校验逻辑.mp4

*   71 7.1 模拟登录前必须了解什么是cookie和session.mp4

*   72 7.2 模拟登录豆瓣网，将登录成功的cookie保存在本地.mp4

*   73 7.3 读取本地cookie，用已登录状态访问网站.mp4

*   74 7.4 selenium：Web应用测试工具.mp4

*   75 7.5 使用selenium模拟登录豆瓣.mp4

*   76 7.6-01 滑动验证码-处理流程.mp4

*   77 7.6-02 滑动验证码-模拟输入用户名和密码.mp4

*   78 7.6-03 滑动验证码-找到无缺口的原始背景图.mp4

*   79 7.6-04 滑动验证码-截取并保存图片.mp4

*   80 7.6-05 滑动验证码-比较图片RGB并找到缺口的移动距离.mp4

*   81 7.6-06 滑动验证码-实现滑块拖动逻辑.mp4

*   82 7.6-07 滑动验证码-运行代码并修改BUG.mp4

*   83 7.6-08 滑动验证码-增加重试逻辑.mp4

*   84 8.1 什么是数据清洗和数据分析？.mp4

*   85 8.2-01 确认需求：新闻详情的清洗范围.mp4

*   86 8.2-02 实施需求：SQLYog创建一张与原始表结构一样的新表.mp4

*   87 8.2-03 编码：创建ORM对象并写入数据.mp4

*   88 8.2-04 编码：peewee实现三张表的left join查询.mp4

*   89 8.2-05 清洗编码：数据入库.mp4

*   90 8.3-01 编码：解析HTML中的详情内容并组合为新闻文本.mp4

*   91 8.3-02 编码：将新闻文本存储到本地TXT文件.mp4

*   92 8.4-01 smtplib库：发送纯文本内容的email.mp4

*   93 8.4-02 smtplib库：发送带附件的email.mp4

*   94 8.5 解决163邮箱SMTP时的554垃圾邮件问题.mp4

*   95 8.6 将新闻详情txt文件发送到Kindle.mp4

*   96 8.7 实现微信实时接收爬虫通知.mp4

*   97 9.1 各大网站为什么设置反爬虫机制？.mp4

*   98 9.2 反爬虫机制一般有哪些手段.mp4

*   99 9.3 什么是user-agent.mp4

*   100 9.4 类库fake_useragent：随机模拟user-agent.mp4

*   101 10.1 什么是Scrapy？.mp4

*   102 10.2 创建并运行第一个Scrapy项目.mp4

*   103 10.3 使用Scrapy重新爬取网易要闻.mp4

*   104 10.4 使用item和pipeline实现数据入库.mp4

*   105 10.5 在Spider中发起异步Request.mp4

*   106 10.6 通过AllowDomain过滤域名.mp4

*   107 11.1 课程总结.mp4

*   108 11.2 如何将所学到的知识应用到其它网站？.mp4

*   109 11.3 爬虫还有哪些高级应用？.mp4

*   110 05.编码：将接口返回值转化为Json列表.mp4

*   111 06.编码：解析Json数据并计算平均年化收益率.mp4

*   112 07.编码：排序并输出Top20的基金数据.mp4

*   113 08.编码：以表格形式数据基金数据.mp4

*   114 01.需求分析.mp4

*   115 02.判断页面数据的加载方式.mp4

*   116 03.判断返回值是否可被Json类库解析.mp4

*   117 04.编码：调用接口获得基金数据.mp4

*   118 04.实现分页爬取逻辑并输出全部课程信息.mp4

*   119 01.需求分析.mp4

*   120 02.寻找数据接口.mp4

*   121 03.调用接口获得课程数据.mp4