【饥人谷】Node.js 项目实战手把手教你开发网络爬虫项目

实战Node.js网络爬虫开发

编辑点评

系统讲解Node.js爬虫开发,从搭建HTTP服务到数据存储,再到爬虫协议实现,实战性强。

⭐ 编辑推荐

系统学习Node.js爬虫开发,实战项目驱动,掌握爬虫架构和实战技巧。

通过本课程,你可以:
1. 掌握Node.js搭建HTTP服务的基本方法;
2. 熟悉MongoDB和Redis等数据库的使用;
3. 理解爬虫协议和爬虫系统的架构。

课程亮点

Node.js爬虫实战
HTTP服务搭建
数据库应用
爬虫协议实现

课程目录

📁 20 评分完结篇和实战
    20 评分完结篇和实战资料.png  [493.5 KB]
    2.视频:使用内嵌文档实现数组元素分值的算分【公众号:密知圈】.mp4  [136.2 MB]
    4.视频:对爬取内容标签评分进行归一化2【公众号:密知圈】.mp4  [333.3 MB]
    5.视频:整合ES到推荐项目,拉取spider提供的内容【公众号:密知圈】.mp4  [191.4 MB]
    3.视频:对爬取内容标签评分进行归一化【公众号:密知圈】.mp4  [238.9 MB]
    1.视频:课程简结【公众号:密知圈】.mp4  [83.3 MB]
📁 05 mongoose
    05 mongoose文档.zip  [1.8 MB]
    3.视频:mongoose构建的model层【公众号:密知圈】.mp4  [302.6 MB]
    文章:讲义【公众号:密知圈】.docx  [14.9 KB]
    2.视频:mongoose的基本使用-答疑【公众号:密知圈】.mp4  [68.0 MB]
    1.视频:mongoose的基本使用【公众号:密知圈】.mp4  [324.3 MB]
📁 01 搭建http服务
    01 搭建http服务说明.zip  [1.8 MB]
    1. 视频:搭建http服务-1【公众号:密知圈】.mp4  [711.0 MB]
    3. 视频:搭建http服务-2【公众号:密知圈】.mp4  [1.2 GB]
    2. 视频:搭建http服务-答疑1【公众号:密知圈】.mp4  [220.3 MB]
    6. 文章:第一课讲义.md  [2.2 KB]
    simple_http_server.js  [2.5 KB]
📁 16 推荐系统实战-爬虫协议的实现
    16 推荐系统实战-爬虫协议的实现文档.png  [493.5 KB]
    2.视频:校验数据并开始爬取【公众号:密知圈】.mp4  [307.5 MB]
    3.视频:持续自动爬取【公众号:密知圈】.mp4  [387.4 MB]
    1.视频:服务发现与注册【公众号:密知圈】.mp4  [313.4 MB]
📁 09 爬虫系统初步
    09 爬虫系统初步说明.zip  [1.8 MB]
    文章:讲义【公众号:密知圈】.docx  [13.5 KB]
    视频:爬虫系统架构初步【公众号:密知圈】.mp4  [301.9 MB]
    视频:Acfun文章爬取-1【公众号:密知圈】.mp4  [392.2 MB]
    视频:Acfun文章爬取-2【公众号:密知圈】.mp4  [222.5 MB]
📁 04 MongoDB实操
    1.视频:MongoDB实操-1 QQ709639943【公众号:密知圈】.mp4  [373.2 MB]
    3.视频:MongoDB实操-2【公众号:密知圈】.mp4  [317.0 MB]
    2.视频:MongoDB实操1-答疑【公众号:密知圈】.mp4  [80.0 MB]
📁 11 Redis+爬虫实战
    3.视频:爬虫实战【公众号:密知圈】.mp4  [404.2 MB]
    2.视频:Redis-2【公众号:密知圈】.mp4  [319.8 MB]
    1.视频:Redis-1【公众号:密知圈】.mp4  [323.0 MB]
📁 07 错误处理和日志
    3.视频:日志处理【公众号:密知圈】.mp4  [298.7 MB]
    1.视频:错误处理-1【公众号:密知圈】.mp4  [345.2 MB]
    2.视频:错误处理-2【公众号:密知圈】.mp4  [305.6 MB]
    文章:讲义.docx  [18.4 KB]
📁 12 使用pm2管理爬虫进程
    视频:爬虫实战-1【公众号:密知圈】.mp4  [326.8 MB]
    视频:爬虫实战-2【公众号:密知圈】.mp4  [320.4 MB]
📁 14 微服务初步和实战
    文章:自定义协议-可以最后看【公众号:密知圈】.docx  [13.6 KB]
    视频:微服务和实战-2【公众号:密知圈】.mp4  [328.7 MB]
    视频:微服务和实战-1【公众号:密知圈】.mp4  [328.5 MB]
    文章:自定义协议.docx  [13.6 KB]
📁 13 推荐系统初步
    13 推荐系统初步文档.zip  [1.8 MB]
    2.视频:爬虫实战【公众号:密知圈】.mp4  [328.6 MB]
    1.视频:推荐系统初步【公众号:密知圈】.mp4  [320.7 MB]
    3.视频:部署爬虫【公众号:密知圈】.mp4  [318.9 MB]
📁 06 Node.js异步最佳实践
    视频:异步基础-2【公众号:密知圈】.mp4  [337.8 MB]
    视频:异步基础-2-答疑【公众号:密知圈】.mp4  [132.7 MB]
    视频:异步基础-3【公众号:密知圈】.mp4  [330.6 MB]
    视频:异步基础-1【公众号:密知圈】.mp4  [308.3 MB]
    文章:异步基础讲义.docx  [17.0 KB]
📁 18 OAuth2.0 和微信登录
    3.视频:ES评分初步-1【公众号:密知圈】.mp4  [297.6 MB]
    2.视频:OAuth2.0和微信登陆-2【公众号:密知圈】.mp4  [324.2 MB]
    1.视频:OAuth2.0和微信登陆-1【公众号:密知圈】.mp4  [294.7 MB]
📁 10 鉴权实战和爬虫实战
    视频:鉴权实战和爬虫实战1【公众号:密知圈】.mp4  [862.7 MB]
📁 08 鉴权
    1.视频:鉴权-1【公众号:密知圈】.mp4  [299.9 MB]
    4.视频:session bug解决篇(可以跳过)【公众号:密知圈】.mp4  [213.8 MB]
    2.视频:鉴权-2【公众号:密知圈】.mp4  [347.8 MB]
    3.视频:session bug终结篇【公众号:密知圈】.mp4  [10.6 MB]
    文章:讲义.docx  [14.2 KB]
📁 17 ElasticSearch 基础
    2.视频:ES的使用-文档管理和搜索【公众号:密知圈】.mp4  [318.5 MB]
    3.视频:搜索中的分数【公众号:密知圈】.mp4  [313.1 MB]
    1.视频:ES的安装与使用【公众号:密知圈】.mp4  [306.6 MB]
📁 15 在AWS部署服务
    1.视频:部署服务-1【公众号:密知圈】.mp4  [347.5 MB]
    2.视频:部署服务-2【公众号:密知圈】.mp4  [389.1 MB]
📁 19 使用单元测试风格调试ES相关代码
    3.视频:单元测试风格调试ES的CRUD【公众号:密知圈】.mp4  [209.8 MB]
    1.视频:NCR的处理【公众号:密知圈】.mp4  [140.8 MB]
    4.视频:调试ES评分【公众号:密知圈】.mp4  [264.2 MB]
    2.视频:Mocha初探【公众号:密知圈】.mp4  [78.7 MB]
📁 03 Express中的MVC
    1. Express复习和拾遗【公众号:密知圈】.mp4  [827.8 MB]
    03Express中的MVC实战-2【公众号:密知圈】.mp4  [274.2 MB]
    文章:讲义【公众号:密知圈】.txt  [1.6 KB]
    2. Express中的MVC实战-1【公众号:密知圈】.mp4  [847.7 MB]
📁 02 Express基础
    2. 视频:Express-1 答疑【公众号:密知圈】.mp4  [141.6 MB]
    4. 视频:Express-2 答疑【公众号:密知圈】.mp4  [421.8 MB]
    1. 视频:Express-1【公众号:密知圈】.mp4  [963.7 MB]
    3. 视频:Express-2【公众号:密知圈】.mp4  [827.8 MB]
    1. 文章:讲义.md  [3.1 KB]
📁 00【先导】课前预习内容
    3. 视频:Git Bash 安装【公众号:密知圈】.mp4  [252.5 MB]
    4. 视频:命令行基本概念【公众号:密知圈】.mp4  [229.7 MB]
    2. 文章:Git命令行讲义.md  [4.7 KB]
    1. 文章:课前预习内容.md  [2.0 KB]
课程简介.md  [783.0 B]

适合人群

  • Node.js开发者
  • 爬虫爱好者
  • 后端开发人员

学习收获

搭建HTTP服务
实现数据存储
掌握爬虫协议

祝您学习愉快!

学有所成,前程似锦!