这门课解决什么问题

Python爬虫是职场常见的数据采集工具。你可能在工作中遇到过这些场景:需要定期从网站采集数据、竞争对手的价格变动、行业报告里的统计数字、或者某个平台的用户反馈。手工复制粘贴低效且容易出错,这时写个爬虫脚本就能自动解决。但爬虫不是越复杂越好——大多数职场应用其实只需要掌握基础的HTTP请求和数据提取,就能独立完成80%的任务。

适合什么基础,建议先看哪几块

这门课假设你有Python基础(能写函数、理解字典和列表)。如果Python还不熟,建议先单独补一下基础语法,再来学爬虫。

学习顺序很重要。先从第一模块的爬虫概念和HTTP协议开始——这部分看似理论,但理解了请求-响应的原理,后面写代码时才知道自己在做什么,避免遇到问题时一脸懵。然后重点投入第二模块的requests库,这是Python爬虫的核心工具,通过百度翻译、豆瓣电影这类真实案例,你会快速掌握如何构造请求、处理响应。第三模块的数据解析(正则、BeautifulSoup、XPath)是关键难点——网页数据千差万别,学会用不同工具从HTML里精准提取信息,才能应对各种网站。

学完能独立做什么

课程的最后几个模块用药监总局数据采集作为综合案例,模拟真实工作流:分析网站结构、编写采集脚本、处理数据异常。学完这套,你基本能:从结构相对规则的网站采集数据(如价格表、名单列表),用正则或BeautifulSoup从HTML中提取需要的字段,处理常见的反爬问题(User-Agent、延迟请求),把数据保存到本地或数据库。这些能力足以应对企业里的大多数数据采集需求——财务部门要竞品价格、市场部要舆情数据、运营要用户评价,都能自己写脚本搞定,而不是每次都等IT或找外包。

资料怎么配合练习

这套课程的特点是案例驱动。不要只看视频,要跟着边看边写代码。requests模块那一块有多个实战案例(破解翻译API、爬豆瓣电影),每个都对应一个常见的数据采集场景,照着思路自己敲一遍。数据解析部分正则和BeautifulSoup容易混淆,建议找几个你感兴趣的网站,试试用不同方法提取同一个信息,对比哪种效率最高。最后的药监数据采集综合练习是检验成果的好机会——如果能独立完成这个项目,说明你已经掌握了爬虫的完整流程。

学到一半可能会遇到网站反爬、编码问题、数据格式混乱这些坑。不要直接看答案,先自己调试,这个过程本身就是最好的学习。如果真的卡住了,再参考课程的讲解思路。

课程目录

课程目录82 集
  • 1-1 [爬虫基础简介] 爬虫简介-爬虫的概念和价值 (09:12).mp4
  • 1-2 [爬虫基础简介] 爬虫合法性探究 (09:30).mp4
  • 1-3 [爬虫基础简介] 爬虫初始深入 (18:35).mp4
  • 1-4 [爬虫基础简介] (23:45).mp4
  • 2-1 [requests模块] requests一血 (22:51).mp4
  • 2-2 [requests模块] requests巩固深入案例介绍 (03:59).mp4
  • 2-3 [requests模块] requests模块巩固深入案例之简易网页采集器 (22:23).mp4
  • 2-4 [requests模块] requests模块巩固深入案例之破解百度翻译 (24:01).mp4
  • 2-5 [requests模块] requests模块巩固深入案例之豆瓣电影 (13:06).mp4
  • 2-6 [requests模块] 作业 (06:02).mp4
  • 2-7 [requests模块] 综合练习之药监总局01 (13:10).mp4
  • 2-8 [requests模块] 综合练习之药监总局02 (13:36).mp4
  • 2-9 [requests模块] 综合练习之药监总局03screenflow (21:25).mp4
  • 2-10 [requests模块] 综合练习之药监总局04screenflow (04:03).mp4
  • 2-11 [requests模块] 总结回顾 (03:42).mp4
  • 3-1 [数据解析] 数据解析概述 (11:48).mp4
  • 3-2 [数据解析] 图片数据爬取 (06:47).mp4
  • 3-3 [数据解析] 正则解析案例01 (22:38).mp4
  • 3-4 [数据解析] 正则解析案例02 (09:18).mp4
  • 3-5 [数据解析] bs4解析概述 (12:50).mp4
  • 3-6 [数据解析] bs4解析具体使用讲解 (25:56).mp4
  • 3-7 [数据解析] bs4解析案例实战 (19:09).mp4
  • 3-8 [数据解析] xpath解析基础01 (08:11).mp4
  • 3-9 [数据解析] xpath解析基础02 (28:24).mp4
  • 3-10 [数据解析] xpath实战-58二手房 (17:39).mp4
  • 3-11 [数据解析] xpath解析案例-4k图片解析下载 (19:17).mp4
  • 3-12 [数据解析] xpath解析案例-全国城市名称爬取 (16:22).mp4
  • 3-13 [数据解析] xpath作业 (03:31).mp4
  • 4-1 [验证码识别] 验证码识别简介 (07:45).mp4
  • 4-2 [验证码识别] 云打码使用流程 (22:10).mp4
  • 4-3 [验证码识别] 古诗文网验证码识别 (19:25).mp4
  • 5-1 [requests模块高级操作] 模拟登录实现流程梳理 (13:10).mp4
  • 5-2 [requests模块高级操作] 人人网模拟登录01 (06:53).mp4
  • 5-3 [requests模块高级操作] 人人网模拟登录02 (08:51).mp4
  • 5-4 [requests模块高级操作] 模拟登录cookie操作01 (06:53).mp4
  • 5-5 [requests模块高级操作] 模拟登录cookie操作02 (22:58).mp4
  • 5-6 [requests模块高级操作] 代理理论讲解 (07:34).mp4
  • 5-7 [requests模块高级操作] 代理在爬虫中的应用 (12:05).mp4
  • 6-1 [高性能异步爬虫] 异步爬虫概述 (09:45).mp4
  • 6-2 [高性能异步爬虫] 异步爬虫之多进程and多线程 (05:55).mp4
  • 6-3 [高性能异步爬虫] 异步爬虫之线程池and进程池概述 (02:33).mp4
  • 6-4 [高性能异步爬虫] 异步爬虫之线程池的基本使用 (09:20).mp4
  • 6-5 [高性能异步爬虫] 异步爬虫之线程池案例应用 (30:35).mp4
  • 6-6 [高性能异步爬虫] 协程相关概念回顾 (04:57).mp4
  • 6-7 [高性能异步爬虫] 协程相关操作回顾 (18:46).mp4
  • 6-8 [高性能异步爬虫] 多任务异步协程实现 (11:39).mp4
  • 6-9 [高性能异步爬虫] aiohttp模块引出 (10:08).mp4
  • 6-10 [高性能异步爬虫] aiohttp+多任务异步协程实现异步爬虫 (10:54).mp4
  • 7-1 [selenium模块应用] selenium简介 (11:45).mp4
  • 7-2 [selenium模块应用] seleniun初试 (16:34).mp4
  • 7-3 [selenium模块应用] selenium其他自动化操作 (15:07).mp4
  • 7-4 [selenium模块应用] iframe处理+动作链 (17:18).mp4
  • 7-5 [selenium模块应用] selenium的模拟登陆 (07:21).mp4
  • 7-6 [selenium模块应用] 无头浏览器+规避检测 (09:58).mp4
  • 7-7 [selenium模块应用] 超级鹰的基本使用 (17:46).mp4
  • 7-8 [selenium模块应用] 12306模拟登录01 (27:08).mp4
  • 7-9 [selenium模块应用] 12306模拟登录02 (14:00).mp4
  • 8-1 [scrapy框架] scrapy框架初识 (06:21).mp4
  • 8-2 [scrapy框架] scrapy环境安装 (07:28).mp4
  • 8-3 [scrapy框架] scrapy基本使用 (24:59).mp4
  • 8-4 [scrapy框架] scrapy数据解析操作 (20:20).mp4
  • 8-5 [scrapy框架] 基于终端指令的持久化存储 (09:14).mp4
  • 8-6 [scrapy框架] 基于管道持久化存储操作01 (29:18).mp4
  • 8-7 [scrapy框架] 基于管道持久化存储操作02 (17:10).mp4
  • 8-8 [scrapy框架] 全站数据爬取 (23:31).mp4
  • 8-9 [scrapy框架] 五大核心组件 (13:39).mp4
  • 8-10 [scrapy框架] 请求传参01 (20:18).mp4
  • 8-11 [scrapy框架] 请求传参02 (05:06).mp4
  • 8-12 [scrapy框架] scrapy图片爬取01 (21:17).mp4
  • 8-13 [scrapy框架] scrapy图片爬取02 (10:36).mp4
  • 8-14 [scrapy框架] 中间件初始 (12:23).mp4
  • 8-15 [scrapy框架] 中间件-处理请求 (20:40).mp4
  • 9-1 [增量式爬虫] 网易新闻01-01 (07:56).mp4
  • 9-2 [增量式爬虫] 网易新闻02 (09:54).mp4
  • 9-3 [增量式爬虫] 网易新闻03 (15:16).mp4
  • 9-4 [增量式爬虫] 网易新闻04 (20:33).mp4
  • 9-5 [增量式爬虫] CrawlSpider的全站数据爬取01 (26:36).mp4
  • 9-6 [增量式爬虫] CrawlSpider的全站数据爬取02 (09:45).mp4
  • 9-7 [增量式爬虫] CrawlSpider的全站数据爬取03 (32:04).mp4
  • 9-8 [增量式爬虫] 分布式概述 (17:01).mp4
  • 9-9 [增量式爬虫] 分布式搭建 (33:23).mp4
  • 9-10 [增量式爬虫] 增量式爬虫 (26:59).mp4