解决数据获取的合规与效率难题
很多职场人在处理行业调研、竞品分析或公开数据统计时，常面临两个痛点：手动复制粘贴效率极低，且无法应对动态网页或反爬机制。这门课的核心价值在于，它将 Python 爬虫从“尝鲜玩具”转化为“生产工具”。课程不追求编写复杂的分布式系统，而是聚焦于利用 Python 标准库和常用第三方组件，稳定获取结构化数据。它解决的是“如何在不违反相关法律法规、不干扰目标服务器正常运行的前提下，高效提取指定页面信息”这一具体工程问题。对于需要定期更新数据表的运营、产品经理或初级分析师，这套技能能直接将数小时的重复劳动压缩至分钟级，并建立可复用的脚本资产。
适合零基础但有Python入门基础者
这门课明确标注从零基础出发，但实际门槛是“有一点 Python 基础”。这意味着你不需要从语法定义讲起，但必须熟悉变量、循环、函数、列表与字典等基本数据结构，并能使用编辑器运行简单脚本。如果你连 `print("hello")` 都没跑通过，建议先花两周补齐 Python 入门课，否则爬虫中的正则表达式和异常处理会难以消化。课程逻辑是从静态 HTML 解析入手，逐步过渡到 JSON 接口分析和 JS 渲染页面处理。这种进阶路径适合转行者理解 HTTP 协议与网页结构的映射关系，也适合在职工程师快速掌握自动化数据抓取范式，无需具备后端开发经验。
建议优先攻克基础解析与异常处理模块
学习路径上，建议先集中攻克前几章关于 `requests` 库发送请求和 `BeautifulSoup` 解析节点的内容。这是爬虫的骨架，掌握了它就能处理 80% 的静态页面需求。重点理解 HTTP 状态码、User-Agent 伪装、Cookie 维持会话以及时间间隔控制等合规细节，这些往往被初学者忽视，却是项目稳定性的关键。第二阶段再学习正则表达式的进阶应用和异步爬虫概念，这部分用于处理非结构化文本和提速场景。资料包中应包含案例代码和练习数据，建议每学完一个章节，立即用本地保存的网页快照复现案例，再替换为自己的合法目标源进行测试。学完并能独立实现：根据给定 URL 列表，自动抓取标题、正文、发布时间，处理 404 和超时异常，最终输出为 CSV 或 Excel 文件，并附带上简单的错误日志。这套能力可直接应用于日常数据监控，无需依赖黑灰产工具链。
课程目录
21天.png (90.
46 KB, ) 2024-4-12 15:
50 上传 课程介绍： 本课程完全从零基础出发，只要你有一点Python基础就可以听懂本课程！课程从基础到高级，让你快速破茧成蝶成为高级爬虫工程师！ 课程目录： ├─2020新版21天搞定Python分布爬虫 课件.zip
287.99MB ├─DPL_PYJUN 27.48KB ├─{1}--课程 │ ├─{1}--爬虫前奏 │ │ ├─00【爬虫前奏】HTTP协议介绍.mp4
49.33MB │ │ ├─[1.1]--【爬虫前奏】什么是网络爬虫.mp4
152.53MB │ │ ├─[1.2]--【爬虫前奏】HTTP协议介绍.mp4
201.1MB │ │ └─[1.3]--【爬虫前奏】抓包工具的使用.mp4
350.9MB │ ├─{2}--网络请求 │ │ ├─[2.10]--【urllib库】实战-爬虫自动登录访问授权页面.mp4
300.76MB │ │ ├─[2.11]--【urllib库】cookie信息的加载与保存.mp4
125.84MB │ │ ├─[2.12]--【requests库】requests库的基本使用.mp4
196.13MB │ │ ├─[2.13]--【requests库】requests发送post请求.mp4
14.62MB │ │ ├─[2.14]--【requests库】requests使用代理ip.mp4
133.46MB │ │ ├─[2.15]--【requests库】requests处理cookie信息.mp4
92.55MB │ │ ├─[2.16]--【requests库】requests处理不信任的ssl证书.mp4
23.05MB │ │ ├─[2.1]--【urllib库】urlopen函数用法.mp4
117.59MB │ │ ├─[2.2]--【urllib库】urlretrieve函数用法.mp4
54.16MB │ │ ├─[2.3]--【urllib库】参数编码和解码函数.mp4
122.89MB │ │ ├─[2.4]--【urllib库】urlparse和urlsplit函数用法.mp4
113.14MB │ │ ├─[2.5]--【urllib库】实战-用Request爬取网易云音乐.mp4
98.12MB │ │ ├─[2.6]--【urllib库】作业-糗事百科爬虫作业.mp4
11.04MB │ │ ├─[2.7]--【urllib库】ProxyHandler实现代理ip.mp4
197.32MB │ │ ├─[2.8]--【urllib库】cookie原理和格式详解.mp4
122.54MB │ │ └─[2.9]--【urllib库】实战-爬虫使用cookie模拟登录.mp4
178.06MB │ ├─{3}--数据解析 │ │ ├─[3.10]--【xpath解析】实战-电影天堂爬虫之爬虫完成.mp4
169.45MB │ │ ├─[3.11]--【xpath解析】实战-电影天堂爬虫_bug解决.mp4
21.85MB │ │ ├─[3.12]--【BeautifulSoup库】bs4库的基本介绍.mp4
78.69MB │ │ ├─[3.13]--【BeautifulSoup库】bs4库的基本使用.mp4
89.16MB │ │ ├─[3.14]--【BeautifulSoup库】bs4库提取数据详解.mp4
424.17MB │ │ ├─[3.15]--【BeautifulSoup库】css常用选择器介绍.mp4
175.41MB │ │ ├─[3.16]--【BeautifulSoup库】select和css选择器提取元.mp4
144MB │ │ ├─[3.17]--【BeautifulSoup库】bs4库拾遗.mp4
271.06MB │ │ ├─[3.18]--【BeautifulSoup库】实战-中国天气网爬虫之页面分析.mp4
143.88MB │ │ ├─[3.19]--【BeautifulSoup库】实战-中国天气网爬虫之华北城市数.mp4
255.54MB │ │ ├─[3.1]--【xpath解析】xpath介绍和工具安装.mp4
111.15MB │ │ ├─[3.20]--【BeautifulSoup库】实战-中国天气网爬虫之所有城市数.mp4
281.35MB │ │ ├─[3.21]--【BeautifulSoup库】实战-中国天气网爬虫_bug解决.mp4
35.8MB │ │ ├─[3.22]--【正则表达式】单字符匹配规则.mp4
200.3MB │ │ ├─[3.23]--【正则表达式】匹配多个字符.mp4
63MB │ │ ├─[3.24]--【正则表达式】常用匹配小案例.mp4
111.32MB │ │ ├─[3.25]--【正则表达式】开始结束和或语法.mp4
174.68MB │ │ ├─[3.26]--【正则表达式】转义字符和原生字符串.mp4
115.67MB │ │ ├─[3.27]--【正则表达式】group分组.mp4
66.86MB │ │ ├─[3.28]--【正则表达式】re模块常用函数.mp4
146.29MB │ │ ├─[3.29]--【正则表达式】实战-古诗文网爬虫实战.mp4
408.44MB │ │ ├─[3.2]--【xpath解析】xpath语法详解.mp4
271.85MB │ │ ├─[3.30]--【正则表达式】作业-糗事百科爬虫作业.mp4
18.19MB │ │ ├─[3.3]--【xpath解析】lxml解析html代码和文件.mp4
256.27MB │ │ ├─[3.4]--【xpath解析】lxml和xpath结合使用详解.mp4
384.6MB │ │ ├─[3.5]--【xpath解析】实战-豆瓣电影爬虫.mp4
331.24MB │ │ ├─[3.6]--【xpath解析】实战-豆瓣电影爬虫_bug解决.mp4
17.08MB │ │ ├─[3.7]--【xpath解析】实战-电影天堂爬虫之网页分析.mp4
268.9MB │ │ ├─[3.8]--【xpath解析】实战-电影天堂爬虫之爬取详情页url.mp4
107.25MB │ │ └─[3.9]--【xpath解析】实战-电影天堂爬虫之解析详情页.mp4
555.31MB │ ├─{4}--数据存储 │ │ ├─[4.10]--【MySQL数据库】使用代码删除和更新数据.mp4
36.6MB │ │ ├─[4.11]--【MongoDB数据库】mongodb数据库的安装.mp4
47.63MB │ │ ├─[4.12]--【MongoDB数据库】mongodb数据库启动和连接.mp4
101.41MB │ │ ├─[4.13]--【MongoDB数据库】将mongodb制作成服务.mp4
61.48MB │ │ ├─[4.14]--【MongoDB数据库】mongodb常用概念介绍.mp4
37.88MB │ │ ├─[4.15]--【MongoDB数据库】mongodb的基本操作命令.mp4
61.39MB │ │ ├─[4.16]--【MongoDB数据库】python操作mongodb.mp4
157.58MB │ │ ├─[4.17]--【Excel文件】读取Excel文件.mp4
49.97MB │ │ ├─[4.18]--【Excel文件】操作Cell.mp4
82.46MB │ │ ├─[4.19]--【Excel文件】Cell的数据类型.mp4
41.62MB │ │ ├─[4.1]--【json文件】json字符串介绍.mp4
52.3MB │ │ ├─[4.20]--【Excel文件】excel文件的写入.mp4
28.54MB │ │ ├─[4.21]--【Excel文件】编辑excel文件.mp4
97.05MB │ │ ├─[4.2]--【json文件】dump成json字符串以及编码问题.mp4
93.74MB │ │ ├─[4.3]--【json文件】load成Python对象.mp4
29.02MB │ │ ├─[4.4]--【csv文件】读取csv文件的两种方式.mp4
192.67MB │ │ ├─[4.5]--【csv文件】写入csv文件的两种方式.mp4
99.82MB │ │ ├─[4.6]--【MySQL数据库】windows下安装MySQL数据库.mp4
69.3MB │ │ ├─[4.7]--【MySQL数据库】使用软件和代码连接数据库.mp4
114.03MB │ │ ├─[4.8]--【MySQL数据库】使用代码插入数据的两种方式.mp4
71.87MB │ │ └─[4.9]--【MySQL数据库】使用代码查找数据的三种方式.mp4
77.31MB │ ├─{5}--爬虫进阶 │ │ ├─[5.10]--【多线程】作业-多线程下载百思不得姐段子爬虫作业.mp4
59.98MB │ │ ├─[5.11]--【动态网页爬虫】ajax介绍和爬取ajax数据的两种方式.mp4
262.12MB │ │ ├─[5.12]--【动态网页爬虫】selenium+chromedriver安装和.mp4
118.15MB │ │ ├─[5.13]--【动态网页爬虫】selenium关闭页面和浏览器.mp4
38.61MB │ │ ├─[5.14]--【动态网页爬虫】selenium定位元素的方法详解.mp4
144.01MB │ │ ├─[5.15]--【动态网页爬虫】selenium操作表单元素.mp4
242.47MB │ │ ├─[5.16]--【动态网页爬虫】selenium行为链.mp4
61.47MB │ │ ├─[5.17]--【动态网页爬虫】selenium操作cookie.mp4
73.35MB │ │ ├─[5.18]--【动态网页爬虫】selenium的隐式等待和显式等待.mp4
124.92MB │ │ ├─[5.19]--【动态网页爬虫】selenium的隐式等待和显式等待_bug解决.mp4
38.36MB │ │ ├─[5.1]--【多线程】多线程概念和threading模块介绍.mp4
101.4MB │ │ ├─[5.20]--【动态网页爬虫】selenium打开多窗口和切换窗口.mp4
119.7MB │ │ ├─[5.21]--【动态网页爬虫】selenium打开多窗口和切换_新方法.mp4
14.75MB │ │ ├─[5.22]--【动态网页爬虫】selenium使用代理ip.mp4
109.02MB │ │ ├─[5.23]--【动态网页爬虫】selenium中的WebElement类补充.mp4
100.37MB │ │ ├─[5.24]--【动态网页爬虫】实战-selenium完美实现拉勾网列表页之爬虫.mp4
314.86MB │ │ ├─[5.25]--【动态网页爬虫】实战-selenium完美实现拉勾网详情页之爬虫.mp4
297.9MB │ │ ├─[5.26]--【动态网页爬虫】实战-selenium完美实现拉勾网爬虫之跑通流.mp4
486.44MB │ │ ├─[5.27]--【动态网页爬虫】实战-selenium完美实现拉勾网爬虫之细节处.mp4
152.58MB │ │ ├─[5.28]--【动态网页爬虫】实战-selenium完美实现拉勾往爬虫_bug.mp4
25.4MB │ │ ├─[5.29]--【动态网页爬虫】作业-使用selenium实现boss直聘爬虫作.mp4
75.59MB │ │ ├─[5.2]--【多线程】使用Thread类创建多线程.mp4
64.75MB │ │ ├─[5.30]--【验证码识别】tesseract库介绍.mp4
77.43MB │ │ ├─[5.31]--【验证码识别】tesseract在终端下识别图片.mp4
166.04MB │ │ ├─[5.32]--【验证码识别】tesseract代码识别图片.mp4
74.35MB │ │ ├─[5.33]--【验证码识别】tesseract处理拉勾网验证码.mp4
81.44MB │ │ ├─[5.34]--【12306自动抢票】12306抢票流程分析.mp4
147.07MB │ │ ├─[5.35]--【12306自动抢票】登录12306功能完成.mp4
161.45MB │ │ ├─[5.36]--【12306自动抢票】购票信息输入功能完成.mp4
254.47MB │ │ ├─[5.37]--【12306自动抢票】自动查询余票功能完成.mp4
158.49MB │ │ ├─[5.38]--【12306自动抢票】自动提交订单功能完成.mp4
230.85MB │ │ ├─[5.39]--【字体反爬】字体反爬原理分析（1）.mp4
199.69MB │ │ ├─[5.3]--【多线程】多线程共享全局变量以及锁机制.mp4
117MB │ │ ├─[5.40]--【字体反爬】字体反爬原理分析（2）.mp4
79.52MB │ │ ├─[5.41]--【字体反爬】字体反爬原理分析（3）.mp4
132.8MB │ │ ├─[5.42]--【字体反爬】字体反爬原理分析（4）.mp4
34.15MB │ │ ├─[5.43]--【字体反爬】字体反爬原理分析（5）.mp4
228.76MB │ │ ├─[5.44]--【字体反爬】作业-字体反爬作业要求.mp4
38.56MB │ │ ├─[5.4]--【多线程】Lock版生产者和消费者模式.mp4
291.57MB │ │ ├─[5.5]--【多线程】Condition版生产者与消费者模式.mp4
218.6MB │ │ ├─[5.6]--【多线程】Queue线程安全队列讲解.mp4
180.17MB │ │ ├─[5.7]--【多线程】实战-下载表情包之同步爬虫完成.mp4
346.16MB │ │ ├─[5.8]--【多线程】实战-下载表情包之异步爬虫完成.mp4
247.49MB │ │ └─[5.9]--【多线程】GIL全局解释器锁详解.mp4
113.77MB │ ├─{6}--Scrapy框架 │ │ ├─[6.10]--【Scrapy框架】ScrapyShell的使用.mp4
90.49MB │ │ ├─[6.11]--【Scrapy框架】Request和Response对象讲解.mp4
85.88MB │ │ ├─[6.12]--【Scrapy框架】实战-scrapy模拟登录某社交网.mp4
160.84MB │ │ ├─[6.13]--【Scrapy框架】实战-scrapy模拟登录某社交网（bug解.mp4
67.36MB │ │ ├─[6.14]--【Scrapy框架】实战-scrapy模拟登录豆瓣网.mp4
378.59MB │ │ ├─[6.15]--【Scrapy框架】实战-自动识别豆瓣网验证码.mp4
172.4MB │ │ ├─[6.16]--【Scrapy框架】实战-汽车之家宝马5系图片下载爬虫（1）.mp4
296.85MB │ │ ├─[6.17]--【Scrapy框架】实战-汽车之家宝马5系图片下载爬虫（2）.mp4
140.92MB │ │ ├─[6.18]--【Scrapy框架】实战-汽车之家宝马5系图片下载爬虫（3）.mp4
321.97MB │ │ ├─[6.19]--【Scrapy框架】实战-汽车之家宝马5系图片下载爬虫（4）.mp4
385.36MB │ │ ├─[6.1]--【Scrapy框架】scrapy框架架构详解.mp4
62.96MB │ │ ├─[6.20]--【Scrapy框架】实战-汽车之家宝马5系图片下载_bug解决.mp4
21.6MB │ │ ├─[6.21]--【Scrapy框架】下载器中间件讲解.mp4
121.36MB │ │ ├─[6.22]--【Scrapy框架】反爬虫-设置随机请求头.mp4
196.69MB │ │ ├─[6.23]--【Scrapy框架】反爬虫-开放ip代理池和独享代理配置.mp4
272.77MB │ │ ├─[6.24]--【Scrapy框架】简书网整站爬虫之页面解析.mp4
416.51MB │ │ ├─[6.25]--【Scrapy框架】实战-简书网整站爬虫之保存数据到Mysql.mp4
338.13MB │ │ ├─[6.26]--【Scrapy框架】实战-简书网整站爬虫之爬取ajax数据.mp4
384.67MB │ │ ├─[6.27]--【Scrapy框架】简书网整站爬虫_bug解决.mp4
195.84MB │ │ ├─[6.28]--【分布式爬虫】分布式爬虫介绍.mp4
82.67MB │ │ ├─[6.29]--【分布式爬虫】redis介绍.mp4
57.77MB │ │ ├─[6.2]--【Scrapy框架】scrapy框架快速入门.mp4
165.25MB │ │ ├─[6.30]--【分布式爬虫】linux下安装redis.mp4
57.56MB │ │ ├─[6.31]--【分布式爬虫】windows下redis安装与配置.mp4
91.31MB │ │ ├─[6.32]--【分布式爬虫】配置其他机器连接本机redis服务器.mp4
107.15MB │ │ ├─[6.33]--【分布式爬虫】redis的字符串操作.mp4
35.45MB │ │ ├─[6.34]--【分布式爬虫】redis的列表操作.mp4
86.89MB │ │ ├─[6.35]--【分布式爬虫】redis的集合操作.mp4
49.62MB │ │ ├─[6.36]--【分布式爬虫】redis的哈希操作.mp4
46.11MB │ │ ├─[6.37]--【分布式爬虫】实战-房天下全国658城市房源信息抓取（1）.mp4
142.88MB │ │ ├─[6.38]--【分布式爬虫】实战-房天下全国658城市房源信息抓取（2）.mp4
163.25MB │ │ ├─[6.39]--【分布式爬虫】实战-房天下全国658城市房源信息抓取（3）.mp4
369.3MB │ │ ├─[6.3]--【Scrapy框架】实战-糗事百科之爬虫编写.mp4
371.97MB │ │ ├─[6.40]--【分布式爬虫】实战-房天下全国658城市房源信息抓取（4）.mp4
580.58MB │ │ ├─[6.41]--【分布式爬虫】实战-房天下全国658城市房源信息抓取（5）.mp4
467.09MB │ │ ├─[6.42]--【分布式爬虫】实战-房天下全国658城市房源信息抓取（6）.mp4
183.15MB │ │ ├─[6.43]--【分布式爬虫】实战-房天下全国658城市房源信息抓取（7）.mp4
305.06MB │ │ ├─[6.44]--【分布式爬虫】实战-房天下全国658城市爬虫_bug解决.mp4
20.12MB │ │ ├─[6.4]--【Scrapy框架】实战-糗事百科之pipeline保存数据.mp4
224.38MB │ │ ├─[6.5]--【Scrapy框架】实战-糗事百科之优化数据存储的方式.mp4
171.32MB │ │ ├─[6.6]--【Scrapy框架】实战-糗事百科之抓取多个页面.mp4
106.9MB │ │ ├─[6.7]--【Scrapy框架】实战-糗事百科_bug解决.mp4
18.18MB │ │ ├─[6.8]--【Scrapy框架】CrawlSpider讲解.mp4
69.3MB │ │ └─[6.9]--【Scrapy框架】实战-CrawlSpider实现微信小程序社.mp4
479.3MB │ └─{7}--直播课程
