这门课解决什么工作场景

这套资料聚焦于Python全栈开发中的高阶爬虫实战，主要解决复杂数据抓取场景下的工程化问题。它不局限于简单的页面抓取，而是深入企业级应用中的难点：如何应对反爬机制（代理池、UA池、验证码识别）、如何处理动态渲染页面（Selenium与Scrapy的整合）、以及如何实现大规模数据采集（分布式爬虫）。学完这部分，你能独立搭建具备高容错、高并发的数据采集系统，处理网易新闻、古诗文网等真实业务场景中的数据获取需求，而不是只能写几行脚本抓静态HTML。

适合什么基础，建议先看哪几块

资料内容跨度较大，从基础复习到分布式部署，适合已经掌握Python基础语法、熟悉 requests 模块和正则表达式，且了解 XPath/CSS 选择器的学习者。对于零基础用户，前几个“预热”模块是必要的补盲课，必须从 requests 回顾和正则解析开始，否则后续直接讲 Scrapy 组件时会因概念断层而难以跟进。

建议的学习顺序如下：首先通过 day130 和预热模块夯实数据解析基础；接着进入 day131 学习应对登录、验证码和代理的反爬策略；随后在 day132 至 day135 中，重点攻克 Scrapy 框架的核心组件、持久化存储以及 Selenium 在 Scrapy 中的混合使用，这是整套课程的核心工作量所在；最后通过 day136 的分布式爬虫方案，理解如何扩展采集能力。day155 的就业指导内容可放在技术学习完成后再看，用于面试准备。

学完能独立做什么，资料怎么配合练习

完成这套资料的学习后，你将能够独立设计并实现一个完整的 Scrapy 爬虫项目。具体包括：能够自主配置中间件以处理请求异常，能够使用 XPath 提取加密或复杂结构的数据，能够结合 Selenium 解决 JavaScript 动态加载页面的抓取难题，以及能够搭建分布式集群进行全站数据爬取。此外，day152 中涉及日志记录、错误监控（Sentry）和邮件报警等内容，能让你学会如何运维一个长期稳定运行的爬虫服务。

在实际练习中，不要只看不练。课程中的视频文件体积较大，说明包含大量实操演示。建议对照 day135 中的网易新闻和古诗文网案例，复现其中的登录模拟和全站爬取逻辑；针对 day136 的分布式部分，需自行部署多台爬虫节点进行测试。视频仅作思路引导，真正的技能掌握依赖于你将代码跑通，并处理其中遇到的反爬报错和解析失败问题。

课程目录

📁 10-爬虫 📁 day132 day132-1.selenium+线程池.mp4
 [285.1 MB] day132-2.selenium02.mp4
 [281.0 MB] day132-4.scrapy初识01.mp4
 [145.1 MB] day132-3.移动端数据抓取.mp4
 [124.6 MB] 📁 day136 day136-1.pm补充.mp4
 [162.0 MB] day136-1.分布式01.mp4
 [343.3 MB] day136-2.分布式02+增量式爬虫方案制定.mp4
 [381.4 MB] 📁 day133 day133-2.持久化存储02.mp4
 [247.9 MB] day133-3.手动请求发送+递归解析.mp4
 [144.9 MB] day133-1.scrapy数据解析+持久化存储01.mp4
 [403.5 MB] 📁 day135 day135-3.crawlSpider全站数据爬取.mp4
 [299.6 MB] day135-2.网易新闻爬取.mp4
 [641.9 MB] day135-1.selenium在scrapy中应用01.mp4
 [573.4 MB] 📁 day131 day131-02.cookie+验证码01.mp4
 [128.0 MB] day131-01.代理+乱码处理.mp4
 [229.0 MB] day131-03.验证码识别+人人网模拟登录.mp4
 [268.2 MB] day131-04.古诗文网模拟登录.mp4
 [233.8 MB] 📁 day134 day134-1.post请求+五大核心组件.mp4
 [293.6 MB] day134-2.请求传参.mp4
 [253.9 MB] day134-4.UA池和代理池.mp4
 [242.6 MB] day134-3.提升scrapy爬取数据效率.mp4
 [285.4 MB] 📁 预热2 1.requests模块回顾.mp4
 [344.2 MB] 2.正则解析.mp4
 [252.6 MB] 📁 day130 day130-01.xpath解析01(58二手房).mp4
 [396.6 MB] day130-03.简历模板爬取.mp4
 [160.2 MB] day130-02.xpath解析-数据加密.mp4
 [248.9 MB] 📁 14-复习 📁 day152-下午村长分享 day152-5-logging+保利威视+sentry+email+ck-editor.mp4
 [543.2 MB] 📁 day155-上午,武沛齐 day155-

03 python fullstack s14就业指导 面试题问答（二）.mp4
 [170.3 MB] day155-

05 python fullstack s14就业指导 简历示例.mp4
 [106.3 MB] day155-

06 python fullstack s14就业指导 面试注意事项.mp4
 [47.8 MB] day155-

02 python fullstack s14就业指导 面试题问答（一）.mp4
 [81.2 MB] day155-

07 python fullstack s14就业指导 现阶段要求.mp4
 [30.0 MB] day155-

04 python fullstack s14就业指导 就业标准.mp4
 [14.9 MB] day155-

01 python fullstack s14就业指导 今日内容概要.mp4
 [49.7 MB] 📁 day153 day153-03.Flask-2-特殊装饰器.mp4
 [44.2 MB] day153-04.Flask上下文.mp4
 [158.2 MB] day153-02.Flask-1-Blueprint.mp4
 [186.3 MB] day153-05.智能玩具回顾.mp4
 [68.6 MB] day153-01.今日串讲内容.mp4
 [12.3 MB] 📁 day151-第三部分串讲 day151-07 Django_debug_tool_bar.mp4
 [63.5 MB] day151-05 Django02.mp4
 [207.8 MB] day151-03 Vue.mp4
 [196.2 MB] day151-06 Django日志配置.mp4
 [101.9 MB] day151-01 HTMLCSSJavaScript.mp4
 [239.5 MB] day151-02 jQueryBootsstrapES6.mp4
 [233.0 MB] day151-04 Django01.mp4
 [197.9 MB] 📁 day149-女神-网络并发 📁 视频 day149-011.讲在课前.mp4
 [14.9 MB] day149-3.进程线程和协程的概念.mp4
 [259.3 MB] day149-4.协程模块.mp4
 [126.9 MB] day149-2.网络编程(各种协议).mp4
 [203.8 MB] 📁 day155 day154-01 linux基础回顾.mp4
 [242.6 MB] day154-04 linux技术回顾4.mp4
 [171.4 MB] day154-03 linux技术回顾3.mp4
 [247.7 MB] day154-02 linux技术回顾.mp4
 [90.6 MB] 📁 day154 day154-2.scrapy回顾.mp4
 [175.3 MB] day154-1.requests回顾.mp4
 [87.8 MB] day154-3.面试题+数据清洗.mp4
 [65.1 MB] 📁 day148-基础回顾_

01 📁 video day148-0106.mp4
 [174.5 MB] day148-01.mp4
 [127.2 MB] day148-0104.mp4
 [193.3 MB] day148-0103.mp4
 [110.3 MB] day148-0105.mp4
 [179.8 MB] day148-0102.mp4
 [222.5 MB] 📁 day150-数据库 📁 视频 day150-4.async.mp4
 [125.4 MB] day150-1.数据库基础概念和基础操作.mp4
 [287.6 MB] day150-2.数据库的索引.mp4
 [220.6 MB] day150-3.面试题总结05851.mp4
 [205.9 MB] 📁 day152 day152-01 CRM.mp4
 [158.7 MB] day152-03 DRF.mp4
 [77.0 MB] day152-02 批量权限管理.mp4
 [49.5 MB] day152-04单元测试.mp4
 [96.2 MB] 📁 06-Django 📁 django-4-权限管理-肖锋 📁 day85 day85-03 缓存的配置.mp4
 [25.3 MB] day85-01 今日内容回顾.mp4
 [1.6 MB] day85-02 缓存的介绍及简单应用.mp4
 [64.7 MB] day85-07 ORM操作性能相关.mp4
 [66.6 MB] day85-08 随机验证码.mp4
 [143.6 MB] day85-04 缓存的应用.mp4
 [25.8 MB] day85-05 序列化.mp4
 [48.7 MB] day85-06 django的内置信号和自定义信号.mp4
 [82.0 MB] 📁 day82 day82-03 权限管理之角色管理.mp4
 [97.2 MB] day82-02 权限控制流程及知识点梳理.mp4
 [45.9 MB] day82-01 今后内容概要.mp4
 [23.4 MB] day82-04 权限管理之菜单和权限信息展示.mp4
 [106.6 MB] day82-05 权限信息展示要求.mp4
 [2.6 MB] day82-06 权限信息展示功能实现.mp4
 [118.5 MB] 📁 day80 day80-02 今日内容概要.mp4
 [2.4 MB] day80-07 上午内容小结.mp4
 [2.2 MB] day80-03 动态生成一级菜单.mp4
 [76.6 MB] day80-05 rbac组件功能整合.mp4
 [35.2 MB] day80-04 动态菜单优化.mp4
 [39.0 MB] day80-08 动态生成二级菜单.mp4
 [123.0 MB] day80-01 内容回顾.mp4
 [6.4 MB] day80-06 权限组件应用到新项目.mp4
 [76.2 MB] 📁 day79 day79-02 model书写、权限信息录入、登录后将权限写入session.mp4
 [897.5 MB] day79-04 今日总结.mp4
 [65.6 MB] day79-03 中间件中校验权限.mp4
 [542.4 MB] day79-01 权限的引入及表结构设计.mp4
 [552.6 MB] 📁 day81 dayy81-04 访问子权限时父权限菜单展开.mp4
 [78.5 MB] dayy81-06 面包屑（路径）导航.mp4
 [80.8 MB] dayy81-07 权限控制到按钮级别.mp4
 [71.8 MB] dayy81-03 二级菜单默认选中及展开.mp4
 [72.7 MB] dayy81-05 上午问题解答.mp4
 [22.8 MB] dayy81-02 今日内容概要.mp4
 [5.9 MB] day81-01 内容回顾及权限控制流程梳理.mp4
 [43.7 MB] 📁 day84 day84-02 权限系统内容梳理.mp4
 [87.3 MB] day84-01CRM内容梳理.mp4
 [56.9 MB] day84-03 CRM项目应用权限.mp4
 [170.4 MB] 📁 day83 day83-02 权限表的增加、编辑、删除.mp4
 [39.5 MB] day83-04 权限的分配.mp4
 [112.9 MB] day83-03 权限的批量操作.mp4
 [160.3 MB] day83-01 权限流程和今日内容概要.mp4
 [8.4 MB] 📁 django-2-进阶-肖锋 📁 day72 day72-04 auth模块的使用方法.mp4
 [281.4 MB] day72-01 内容回顾.mp4
 [153.2 MB] day72-03 auth模块介绍.mp4
 [132.6 MB] day72-02 注册示例（form组件）.mp4
 [165.9 MB] day72-05 扩展默认user表.mp4
 [69.0 MB] 📁 day66 day66-02 路由系统之介绍和正则表达式.mp4
 [77.1 MB] day66-05 路由系统之include.mp4
 [45.8 MB] day66-03 路由系统之分组和命名分组.mp4
 [52.4 MB] day66-08 删除功能三合一的实现.mp4
 [98.6 MB] day66-06 路由系统之URL命名和反向解析.mp4
 [174.5 MB] day66-04 路由系统之函数指定默认参数.mp4
 [7.5 MB] day66-01 内容回顾.mp4
 [183.2 MB] day66-07 路由系统之namespace.mp4
 [42.0 MB] 📁 day64 day64-04 模板语法之tags（for_if_with）.mp4
 [89.9 MB] day64-03 模板语法之变量回顾.mp4
 [119.2 MB] day64-05 模板语法之tags（csrf_token）.mp4
 [30.6 MB] day64-06 模板语法之母版和继承.mp4
 python fullstack s14 day64 06模板语法之母版和继承.mp4
 [117.1 MB] day64-02 装饰器.mp4
 [107.1 MB] day64-01 内容回顾.mp4
 [229.3 MB] 📁 day65 day65-08 视图之request和response对象.mp4
 [235.8 MB] day65-01 内容回顾.mp4
 [101.8 MB] day65-07 视图之使用装饰器的方法.mp4
 [79.8 MB] day65-05 视图之介绍和FBV及CBV的使用.mp4
 [73.9 MB] day65-03 模板语法之组件、静态文件相关小总结.mp4
 [15.7 MB] day65-04 模板语法之自定义simple_tag和inclusion_tag.mp4
 [133.4 MB] day65-02 模板语法之组件、静态文件相关.mp4
 [103.7 MB] day65-06 视图之CBV源码流程.mp4
 [138.4 MB] 📁 day67 day67-01 内容回顾.mp4
 [29.6 MB] day67-02 今日内容概要.mp4
 [6.4 MB] day67-04 字段参数以及Meta配置.mp4
 [102.3 MB] day67-05 必知必会13条查询.mp4
 [135.5 MB] day67-07 外键查询.mp4
 [136.1 MB] day67-06 单表查询之双下划綫.mp4
 [33.2 MB] day67-08 多对多查询.mp4
 [112.5 MB] day67-03 model的字段类型.mp4
 [154.2 MB] 📁 day68 day68-02 今日内容概要.mp4
 [2.5 MB] day68-04 ORM操作之F和Q查询及事务.mp4
 [141.0 MB] day68-05 cookie介绍及登录示例.mp4
 [181.0 MB] day68-06 登录示例（问题解决）.mp4
 [5.4 MB] day68-01 内容回顾.mp4
 [106.3 MB] day68-03 ORM操作之聚合和分组.mp4
 [180.4 MB] day68-07 django中cookie操作.mp4
 [64.1 MB] day68-09 session介绍及操作.mp4
 [160.1 MB] 📁 day70 day70-02 中间件中限制访问频率.mp4
 [167.2 MB] day70-01 内容回顾.mp4
 [81.9 MB] day70-05 ajax的参数.mp4
 [70.4 MB] day70-03 csrf中间件源码分析.mp4
 [176.0 MB] day70-06 ajax提交POST请求通过CSRF验证的方式.mp4
 [124.9 MB] day70-07 今日作业.mp4
 [14.0 MB] … 其余 10

49 项略，目录共 1249 项