如果你已经会用 Python 写一点脚本,却一直卡在「网页能爬、App 爬不动」这一步,这套资料值得花时间看。它不讲泛泛的爬虫原理,而是把重点放在移动端:App 的数据不在 HTML 里,而在加密的请求和私有接口里,抓取思路和网页完全不同。课程要解决的就是这个断层——让你从会写 requests 请求,过渡到能独立完成一个 App 数据抓取任务。

适合什么基础,不适合什么基础

前提是你能读懂 Python 代码、知道 HTTP 请求长什么样,最好自己写过简单的网页爬虫。完全零基础不建议直接上,因为课程不会重讲语法。反过来,如果你已经做过 App 抓取,只是想找高级反爬对抗,这套内容偏入门到进阶,深度有限,也不必重复看。真正对口的是中间那批人:会 Python、懂网页爬虫、但没碰过移动端抓包和自动化控制。

建议先看哪几块,怎么配合练习

不要按顺序从头刷。第二章的环境搭建和第三章的抓包工具是地基,其中模拟器安装那部分可以按需跳过,用真机也能走通流程。抓包工具的配置和使用要亲手做一遍,这是后面所有环节的前提。第五章的移动端自动化控制工具是核心,它决定了你能不能稳定地驱动 App 完成操作,而不是靠手动点击。第六章的实战进阶和第七章的多任务系统,才是真正把零散技能串成完整流程的地方,建议放在你已经能单独抓到一个接口之后再进入。

练习方式很关键:每学一个工具,就找一个自己常用的、数据量不大的 App 去复现,不要只看视频。抓包、定位接口、构造请求、处理返回数据,这四步走通一次,比看十节课有用。多任务那部分可以等单个任务跑稳之后再动手,否则容易在并发问题上卡住,误以为是工具没学会。

学完能独立做什么

比较现实的目标是:能自己搭好抓包环境,分析出一个 App 的数据请求,用自动化工具驱动它完成指定操作,并把拿到的数据落成结构化结果。再往上一层,能把这套流程改造成可重复运行的多任务脚本。需要说明的是,App 的反爬和风控一直在变,课程给的是方法和工具链,不是一劳永逸的脚本,遇到加固或强校验的场景,仍然要自己查资料补课。把它当成一套可迁移的抓取思路来学,收益会比当成模板抄代码大得多。

课程目录

266 集
  • 15 Python爬虫工程师必学——App数据抓取实战 📁 第4章 app应用数据抓取入门 📁 第2章 windows下搭建开发环境 📁 第3章 爬虫必备利器、抓包工具的使用 📁 第8章 总结 📁 第1章 课程介绍 📁 资料 📁 第6章 app应用数据抓取实战进阶 📁 第5章 移动端自动化控制工具详讲 📁 第7章 打造多任务端app应用数据抓取系统 📄 2-3 介绍genymotion和模拟器的安装(选择观看)【会员免费】.mp4
  • 📄 2-5 mitmproxy介绍&安装&如何在linux操作系统中安装【会员免费】.mp4
  • 📄 2-2 夜神模拟器设置介绍&在夜神模拟器内部安装App【会员免费】.mp4
  • 📄 2-9 安装docker以及docker运行ubuntu以及简单命令维护【会员免费】.mp4
  • 📄 2-6 mitmproxy在Linux操作系统中的使用【会员免费】.mp4
  • 📄 2-1 夜神模拟器安装&介绍【会员免费】.mp4
  • 📄 2-8 介绍appium环境搭建的两种方法【会员免费】.mp4
  • 📄 2-7 packet capture开头,抓包工具介绍,安装,使用【会员免费】.mp4
  • 📄 2-4 fiddler软件介绍&下载&安装&软件设置【会员免费】.mp4
  • 📄 4-1 抓取前设置,启动豆果美食app并抓包【会员免费】.mp4
  • 📄 4-2 分析fiddler抓取到的豆果美食数据包1【会员免费】.mp4
  • 📄 4-10 本章爬虫总结【会员免费】.mp4
  • 📄 4-6 编写爬虫脚本4-详情页数据抓取逻辑编写【会员免费】.mp4
  • 📄 4-3 编写爬虫脚本1-项目需求、请求函数编写、请求头伪造【会员免费】.mp4
  • 📄 4-9 编写爬虫脚本7-伪装爬虫-编写代理逻辑【会员免费】.mp4
  • 📄 4-7 编写爬虫脚本5-数据入库逻辑编写【会员免费】.mp4
  • 📄 4-8 编写爬虫脚本6-多线程逻辑编写【会员免费】.mp4
  • 📄 4-2 分析fiddler抓取到的豆果美食数据包2【会员免费】.mp4
  • 📄 4-4 编写爬虫脚本2-食材页面解析、队列逻辑编写【会员免费】.mp4
  • 📄 4-5 编写爬虫脚本3-获取菜谱列表数据逻辑编写【会员免费】.mp4
  • 📄 8-1 第八章总结【会员免费】.mp4
  • 📄 3-3 rules功能使用&工具栏详讲【会员免费】.mp4
  • 📄 3-2 tooles功能使用【会员免费】.mp4
  • 📄 3-1 fiddler抓包工具介绍,file&&edit功能使用【会员免费】.mp4
  • 📄 3-8 mitmproxy数据包过滤【会员免费】.mp4
  • 📄 3-9 mitmdump详讲【会员免费】.mp4
  • 📄 3-5 请求前断点设置,响应后断点,命令行请求前后断点设置,网页重定向【会员免费】.mp4
  • 📄 3-6 手机安装证书,设置fiddler抓取移动端数据包【会员免费】.mp4
  • 📄 3-4 会话列表-请求头、响应头介绍【会员免费】.mp4
  • 📄 3-7 mitmproxy软件移动设备安装证书、移动设备抓包【会员免费】.mp4
  • 📄 1-1导学【会员免费】.mp4
  • 📄 5-3 adb工具详讲1【会员免费】.mp4
  • 📄 5-6 sdk下uiautomatorviewer工具使用【会员免费】.mp4
  • 📄 5-
  • 10 登录考研帮app并实现模拟滑动操作 (2)【会员免费】.mp4
  • 📄 5-9 inspector录制功能【会员免费】.mp4
  • 📄 5-8 inspector介绍【会员免费】.mp4
  • 📄 5-2 安装sdk工具包【会员免费】.mp4
  • 📄 5-1 安装JDK环境【会员免费】.mp4
  • 📄 5-4 adb工具详讲2【会员免费】.mp4
  • 📄 5-5 adb工具详讲3【会员免费】.mp4
  • 📄 5-7 appium介绍【会员免费】.mp4
  • 📁 软件 📄 python-appium-app-master【会员免费】.zip
  • 📄 6-
  • 15 第六章总结【会员免费】.mp4
  • 📄 6-8 抖音分析接口数据分析【会员免费】.mp4
  • 📄 6-12 抖音视频抓取&signarure加密字段破解-1【会员免费】.mp4
  • 📄 6-14 抖音视频抓取&signarure加密字段破解-3【会员免费】.mp4
  • 📄 6-7 ssl pining技术分析与xponsed框架安装【会员免费】.mp4
  • 📄 6-13 抖音视频抓取&signarure加密字段破解-2【会员免费】.mp4
  • 📄 6-4 6-5 抖音分享id存储数据库逻辑代码编写1 解析抖音分享页面数据3【会员免费】.mp4
  • 📄 6-3 解析抖音分享页面数据2【会员免费】.mp4
  • 📄 6-1 抖音数据抓取实战介绍【会员免费】.mp4
  • 📄 6-11 多设备端并发抓取抖音粉丝数据【会员免费】.mp4
  • 📄 6-2 解析抖音分享页面数据1【会员免费】.mp4
  • 📄 6-9 抖音appium模拟滑动操作1【会员免费】.mp4
  • 📄 6-6 抖音分享id存储数据库逻辑代码编写2【会员免费】.mp4
  • 📄 6-10 抖音appium模拟滑动操作2【会员免费】.mp4
  • 📄 6-6 抖音分享id存储数据库逻辑代码编写2(1)【会员免费】.mp4
  • 📄 7-9 打造多任务端app应用数据抓取系统-1【会员免费】.mp4
  • 📄 7-8 docker镜像的创建使用dockerfile【会员免费】.mp4
  • 📄 7-2 、docker系统管理-基础概念【会员免费】.mp4
  • 📄 7-6 创建appium容器以及设置appium容器连接安卓模拟器【会员免费】.mp4
  • 📄 7-4 、docker系统管理-基础命令-2【会员免费】.mp4
  • 📄 7-7 docker镜像的创建使用docker commit命令【会员免费】.mp4
  • 📄 7-1 、打造多任务端app应用数据抓取系统-系统介绍【会员免费】.mp4
  • 📄 7-5 docker系统管理-基础命令以及docker-appium镜像下载【会员免费】.mp4
  • 📄 7-3 、docker系统管理-基础命令-1【会员免费】.mp4
app包 📁 高级版uiautomatorviewer-master 📁 visual studio community 2010 条
  • 17 📁 PPT 📁 vmware workstation pro 📁 appium-desktop 📁 android SDK 📁 ssh管理工具securecrt-杀软报毒 📁 pycharm 📁 docker 📁 java 📁 抓包工具 📁 genymotion转换文件 📁 python安装包 📁 安卓模拟器 📁 nodejs 📁 第二章 📁 第四章 📁 第三章 📁 第五章 📁 lazyuiautomatorviewer-master 📄 使用方法:替换所有的jar包【会员免费】.txt 📄 kaoyanbang【会员免费】.apk 📄 douguomeishi【会员免费】.apk 📄 vs_community__1229872941.1512460494-v15.5.0【会员免费】.exe 📄 VMware-workstation-full-14.1.1-7528167-14.1.1.28517【会员免费】.exe 📄 appium-desktop-setup-1.7.0【会员免费】.exe 📄 installer_r24.4.1-windows【会员免费】.exe 📄 PacketCapture_23【会员免费】.apk 📄 FiddlerSetup-5.0.20173.50948【会员免费】.exe 📄 DockerToolbox【会员免费】.exe 📁 破解文件 📄 pycharm-professional-2018.2.4【会员免费】.exe 📄 pycharm-community-2018.2.3【会员免费】.exe 📄 python-3.7.0-amd64【会员免费】.exe 📄 gapps-x86-6.0_20160402【会员免费】.zip
  • 📄 gapps-x86-5.0_20160402【会员免费】.zip
  • 📄 ARM_Translation_Lollipop【会员免费】.zip
  • 📄 ARM_Translation_Lollipop_20160402【会员免费】.zip
  • 📄 SuperSU_v2.65_20160402【会员免费】.zip
  • 📄 gapps-x86-5.1_20160402【会员免费】.zip
  • 📄 ARM_Translation_Marshmallow【会员免费】.zip
  • 📄 ARM_Translation_Oreo【会员免费】.zip
  • 📄 夜神模拟器-nox_setup_v6.2.3.0_full【会员免费】.exe 📄 genymotion-2.12.2-vbox【会员免费】.exe 📄 node-v8.12.0-x64【会员免费】.msi 📄 豆果美食_fiddler抓包文件【会员免费】.saz 📄 01爬虫实战-python实现app数据抓取【会员免费】.pptx 📁
  • 03 📁
  • 06 📁
  • 04 📁
  • 02 📁
  • 05 📁
  • 01 📁
  • 05 📁
  • 06 📁
  • 04 📁
  • 02 📁
  • 01 📁
  • 03 📁
  • 02 📁
  • 01 📁
  • 03 📁
  • 04 📄 JetbrainsCrack-3.1-release-enc【会员免费】.jar 📄 01爬虫实战-python实现app数据抓取【会员免费】.pptx 📄 01爬虫实战-python实现app数据抓取【会员免费】.pptx 📁 com 📁 images 📁 lib 📄 README【会员免费】.md 📄 uiautomatorviewer【会员免费】.jar 📄 01爬虫实战-python实现app数据抓取【会员免费】.pptx 📄 01爬虫实战-python实现app数据抓取【会员免费】.pptx 📄 01爬虫实战-python实现app数据抓取【会员免费】.pptx 📄 01爬虫实战-python实现app数据抓取【会员免费】.pptx 📄 01爬虫实战-python实现app数据抓取【会员免费】.pptx 📄 01爬虫实战-python实现app数据抓取【会员免费】.pptx 📄 01爬虫实战-python实现app数据抓取【会员免费】.pptx 📄 01爬虫实战-python实现app数据抓取【会员免费】.pptx 📄 02爬虫实战-python实现app数据抓取【会员免费】.pptx 📄 01爬虫实战-python实现app数据抓取【会员免费】.pptx 📄 01爬虫实战-python实现app数据抓取【会员免费】.pptx 📄 01爬虫实战-python实现app数据抓取【会员免费】.pptx 📄 01爬虫实战-python实现app数据抓取【会员免费】.pptx 📁 android 📄 01爬虫实战-python实现app数据抓取【会员免费】.pptx 📄 01爬虫实战-python实现app数据抓取【会员免费】.pptx 📄 warning【会员免费】.png 📄 generateFile【会员免费】.png 📄 save【会员免费】.png 📄 delete【会员免费】.png 📄 prev【会员免费】.png 📄 next【会员免费】.png 📄 screenshotcompressed【会员免费】.png 📄 screenshot【会员免费】.png 📄 expandall【会员免费】.png 📄 open-folder【会员免费】.png 📄 wx2【会员免费】.png 📁 uiautomator 📄 dom4j-1.6.1【会员免费】.jar 📄 jaxen-1.1-beta-7【会员免费】.jar 📄 swt【会员免费】.jar 📄 org-eclipse-jface-3.6.2【会员免费】.jar 📄 common(1)【会员免费】.jar 📄 ddmlib【会员免费】.jar 📄 org-eclipse-core-commands-3.6.0【会员免费】.jar 📄 guava-17.0【会员免费】.jar 📄 org-eclipse-equinox-common-3.6.0【会员免费】.jar 📁 util 📁 actions 📁 tree 📄 GenerateFile【会员免费】.java 📄 UiAutomatorViewer【会员免费】.java 📄 Const【会员免费】.java 📄 DebugBridge【会员免费】.java 📄 OpenDialog【会员免费】.java 📄 UiAutomatorModel【会员免费】.java 📄 UiAutomatorHelper【会员免费】.java 📄 UiAutomatorView【会员免费】.java 📄 ControlDefineDialog【会员免费】.java 📄 SaveScreenShotAction【会员免费】.java 📄 ScreenshotAction【会员免费】.java 📄 GenerateXpathFileAction【会员免费】.java 📄 ExpandAllAction【会员免费】.java 📄 ToggleNafAction【会员免费】.java 📄 ControlDefineAction(1)【会员免费】.java 📄 ImageHelper【会员免费】.java 📄 OpenFilesAction【会员免费】.java 📄 verifyJavaName【会员免费】.java 📄 UiNode【会员免费】.java 📄 UiHierarchyXmlLoader【会员免费】.java 📄 BasicTreeNodeContentProvider【会员免费】.java 📄 RootWindowNode【会员免费】.java 📄 AttributePair【会员免费】.java 📄 BasicTreeNode【会员免费】.java