先搞清楚：这门爬虫课值不值得你花时间

很多上班族想学爬虫，出发点往往是日常工作里遇到信息收集的瓶颈：需要把某个新闻网站的几百篇文章批量存下来做行业分析，或者把竞品的公开商品信息整理成表格。手动复制粘贴费时费力，还容易出错。这门 Python 爬虫课解决的就是这个具体场景——它不教怎么去破解有高强度反爬措施的大型商业平台，而是带你弄懂网络爬虫的基本流程和搜索策略，用原生的 Python 代码去抓取公开网页数据。如果你指望学完就能去爬取各类受严密保护的私域数据，这门课做不到，也不应该去做。但如果你只是想自动化处理日常的公开信息采集，摆脱手工搬运，那这门课的定位是非常务实的。

适合什么基础：别指望零基础直接上代码

从资料包的结构来看，这门课虽然从 Python 环境搭建讲起，但节奏并不慢。它更适合已经掌握 Python 基础语法（比如变量、循环、函数）的人。如果你连写个简单的判断逻辑都费劲，建议先去补基础语法，否则讲到正则表达式和请求库参数时很容易卡壳。但如果你是有一点语法基础、却不知道怎么把代码和网页结合起来的转行者，这门课的衔接就刚刚好。它直接切入怎么用代码模拟浏览器行为，怎么解析返回的网页结构，没有太多虚的理论铺垫。

资料怎么配合练习：先看这几块，学完能做什么

建议不要从头到尾顺着看，而是优先啃下三个核心板块：第一是网络请求库的使用，这是和服务器打交道的基础；第二是正则表达式及其在爬虫中的应用，这是从杂乱的网页源码里提取目标文本的关键；第三是 Excel 调用部分，因为爬下来的数据只有存成表格才对日常工作真正有用。练习时，不要只看视频，一定要跟着把环境搭起来。视频里演示了怎么抓取公开新闻资讯，你学完后完全可以照葫芦画瓢，自己去写一个原生态爬虫，把某个指定资讯站点的标题、时间、正文批量抓取下来，并自动导出成一份 Excel 文档。能独立跑通这个流程，就算把这门课的核心价值吃透了。


学会网络爬虫的基本流程、搜索和策略；学会使用python编写原生爬虫；掌握python爬虫的基础模块

课程目录

*   01 网络爬虫/

  *   01 课程大纲

  *   02 1-网络爬虫的定位以及概念.mp4 07:55

  *   03 2-网络爬虫的基本流程.mp4 07:13

  *   04 3-数据采集的基本思想及爬虫的搜索策略.mp4 08:02

*   02 爬虫开发前置基础知识/

  *   01 实验01-Python环境的基本搭建.mp4 42:59

  *   02 实验02 爬虫开发基础库与百度新闻的爬取.mp4 42:31

*   03 原生态爬虫的编写/

  *   01 1、正则表达式.mp4 08:55

  *   02 3、Request库安装以及使用.mp4 08:13

  *   03 2、re库在爬虫中的使用.mp4 05:35

  *   04 4、Request库参数以及excel调用.mp4 14:09

  *   05 实验01- 环球新闻的爬取.mp4 42:04

*   04 HTML内容解析/

  *   01 实验01-Beautiful soup的安装和使用.mp4 21:50

  *   02 实验02-小说网站的爬取.mp4 16:10

*   05 页面请求与json/

  *   01 1、简单的的页面请求.mp4 06:58

  *   02 2、Json的介绍与应用.mp4 06:55

  *   03 3、Get请求与Post请求.mp4 11:16

  *   04 4、Selenium的介绍与安装Ajax结果提取.mp4 09:35

*   06 模拟登陆与验证/

  *   01 实验01-模拟登陆与验证（模拟登录）.mp4 31:09

  *   02 实验02-模拟登陆与验证（滑动式验证码）.mp4 35:35

*   07 模拟登陆与验证/

  *   01 1、MySQL数据库概述.mp4 07:33

  *   02 2、MySQL数据库安装与应用.mp4 10:23

  *   03 3、MongeDB的连接.mp4 11:56

  *   04 实验01-Python与数据库.mp4 38:03

*   08 初识爬虫框架/

  *   01 1、Python爬虫的常见框架.mp4 14:31

  *   02 2、Pyspider爬虫框架简介.mp4 09:52

  *   03 3、Scarpy爬虫框架简介与其他框架的对比.mp4 13:30

*   09 Pyspider爬虫框架的使用/

  *   01 1、pyspider界面介绍.mp4 12:41

  *   02 2、Pyspider多线程爬虫.mp4 06:25

  *   03 3、Pyspider爬虫时间控制.mp4 06:05

  *   04 4、RabbitMQ队列去重.mp4 07:22

  *   05 实验01-Pyspider爬虫框架的使用.mp4 01:42:36

*   10 Scrapy爬虫框架的使用/

  *   01 1、Scrapy的简介与安装.mp4 06:33

  *   02 2、Scrapy的使用.mp4 15:07

  *   03 实验01-Scrapy爬虫框架的使用.mp4 01:15:37

*   11 Scrapy爬虫管理与部署/

  *   01 实验01-Scrapy爬虫管理与部署.mp4 34:17

*   12 项目和案例/

  *   01 项目案例01-瀑布流爬虫.mp4 21:39

  *   02 项目案例02-爬虫攻防战.mp4 33:36

  *   03 项目案例03-分布式爬虫.mp4 41:13

  *   04 项目案例04-使用代理爬取微信公众号文章.mp4 01:14:25