这门课解决什么问题

日常工作里,很多人会遇到这类场景:需要把某个网站上的几百条商品信息整理到表格里,或者把一个公开资料站的文档批量下载下来。如果手动复制粘贴,耗时且容易出错。这门课的主题正是针对这类需求,教你用代码自动抓取网页内容并保存为结构化数据。它不涉及高深的算法,而是聚焦在具体的操作流程:怎么发请求、怎么解析页面、怎么把结果存下来。如果你的工作经常需要处理这类重复性的数据收集任务,这门课能直接帮你省下大量时间。

适合什么基础与建议先看哪几块

课程默认你已经装好了 Python 环境,能看懂最基本的语法,比如变量、循环和函数。如果你完全没写过代码,建议先补一下基础,否则到了解析 HTML 那部分会有点吃力。资料的结构是按技术栈递进的,建议先看爬虫基础部分,理解请求和响应的流程,然后直接进入 Beautiful Soup 那块。这个库是处理静态页面的核心工具,课程里对节点、属性、子节点的操作讲得很细,跟着敲一遍代码,比看十遍视频都管用。等这两块弄熟了,再回头看怎么把抓到的数据存成文件,这样顺序更合理。

资料怎么配合练习与学完能做什么

看视频的时候,不要只盯着屏幕,得自己开一个编辑器同步操作。课程里演示的代码片段,自己手动敲一遍,改改参数,看看结果有什么不同。比如讲到用解析库读取京东首页时,你可以换一个结构类似的网站,试试能不能把标题和价格抓下来。这种替换练习能帮你理解代码的通用性。学完之后,你应该能独立写一个脚本,去抓取一个结构相对简单的静态网站,把内容提取出来存成文本或者表格。虽然它不会教你应对反爬机制或者动态加载的复杂情况,但对于日常那些不需要登录、页面结构固定的公开数据,这套流程已经够用了。如果你之后想处理更复杂的场景,比如需要登录或者数据是动态加载的,那得再补一些进阶内容,但这门课作为起点,足够扎实。


让学员了解编写Python爬虫需要使用到的核心技术,以及学习编写复杂的Python爬虫

课程目录

*   01 爬虫基础/

  *   01 什么是爬虫.mp4 16:09

  *   02 编写第1个网络爬虫.mp4 31:36

  *   03 保存爬取的数据(url和html页面).mp4 09:49

  *   04 【实战】从百度爬取比基尼美女图片.mp4 45:21

*   02 HTML代码分析库:Beautiful Soup基础/

  *   01 如何使用Beautiful Soup.mp4 17:28

  *   02 Tag对象的name与text属性.mp4 08:39

  *   03 读取和设置节点属性.mp4 14:52

  *   04 用Beautiful Soup分析京东首页的HTML代码.mp4 05:03

  *   05 获取所有的节点(Tag对象).mp4 07:13

  *   06 获取所有的子节点.mp4 08:23

  *   07 获取节点中的所有文本内容.mp4 12:07

  *   08 获取直接父节点和祖先父节点.mp4 05:03

  *   09 获取兄弟节点.mp4 09:20

*   03 Beautiful Soup过滤器与实战/

  *   01 使用正则表达式过滤节点.mp4 04:56

  *   02 使用函数过滤节点.mp4 06:59

  *   03 【实战】抓取淘宝首页菜单文本.mp4 18:07

  *   04 【实战】抓取京东图书信息的3种方式.mp4 18:19

  *   05 【实战】抓取实时PM2.5数据:JavaScript脚本分析.mp4 30:24

*   04 Beautiful Soup CSS选择器与实战/

  *   01 CSS选择器基础.mp4 07:17

  *   02 嵌套选择节点.mp4 05:03

  *   03 获取节点属性值与文本内容.mp4 02:24

  *   04 自动获取CSS选择器.mp4 05:36

  *   05 项目实战:抓取酷狗Top500音乐榜.mp4 20:42

*   05 pyquery应用与实战/

  *   01 pyquery的基本用法.mp4 07:26

  *   02 使用find和children方法查找子节点.mp4 07:08

  *   03 使用parent和parents方法查找父节点.mp4 05:45

  *   04 使用siblings方法查找兄弟节点.mp4 02:49

  *   05 获取节点信息.mp4 11:41

  *   06 添加和移除节点的样式(class属性).mp4 06:02

  *   07 修改节点的属性和内容.mp4 09:07

  *   08 删除节点.mp4 03:15

  *   09 伪类选择器.mp4 11:44

  *   10 项目实战:抓取当当图书排行榜.mp4 24:19

*   06 抓取异步数据/

  *   01 异步页面编写和抓取.mp4 18:47

  *   02 项目实战:搜索并抓取图片.mp4 18:37

  *   03 项目实战:抓取京东图书评论信息.mp4 17:22

*   07 基于Selenium的爬虫/

  *   01 安装Selenium.mp4 07:42

  *   02 安装WebDriver.mp4 07:19

  *   03 Selenium的基本用法.mp4 14:42

  *   04 查找单个节点.mp4 05:55

  *   05 查找多个节点.mp4 03:39

*   08 项目实战:可视化爬虫/

  *   01 项目演示.mp4 06:54

  *   02 设计和运行主界面.mp4 10:45

  *   03 绑定事件.mp4 05:58

  *   04 抓取商品信息.mp4 10:35

  *   05 显示搜索商品的总页数和每页商品数.mp4 05:12

  *   06 打开、创建、插入数据和关闭数据库.mp4 04:51

  *   07 抓取商品数据,并将数据保存到数据库中.mp4 17:47

  *   08 从数据库中装载商品列表.mp4 05:41

  *   09 用多线程抓取和分析评论.mp4 07:55

  *   10 可视化评论数据.mp4 08:07