轻松入门Python网络爬虫

*   第一章 解析Python网络爬虫：核心技术、Scrapy框架、分布式爬虫/

  *   初识爬虫/

    *   1.1-爬虫产生背景

    *   1.2-什么是网络爬虫

    *   1.3-爬虫的用途

    *   1.4-爬虫分类

  *   爬虫的实现原理和技术/

    *   2.1-通用爬虫的工作原理

    *   2.2-聚焦爬虫工作流程

    *   2.3-通用爬虫抓取网页的详细流程

    *   2.4-通用爬虫网页分类

    *   2.5-robots.txt文件

    *   2.6-sitemap.xml文件

    *   2.7-反爬应对策略

    *   2.8-为什么选择Python作为爬虫开发语言

  *   网页请求原理/

    *   3.1_浏览网页的过程

    *   3.2_统一资源定位符URL

    *   3.3_计算机域名系统DNS

    *   3.4_浏览器显示完整页面的过程

    *   3.5_Fiddler工作原理_备份

    *   3.5_客户端HTTP请求的格式

    *   3.6_服务端HTTP响应格式

    *   3.7_Fillder代理服务的工作原理

    *   3.8_fidder的下载与安装

    *   3.9_Fiddle界面详解

    *   3.10_Fiddler_https配置

    *   3.11_使用Fiddler捕获Chrome的会话

  *   抓取网页数据/

    *   4.1_什么是urllib库

    *   4.2_快速抓取一个网页

    *   4.3_分析urlopen方法

    *   4.4_HTTPResponse对象的使用

    *   4.5_构造Request对象

    *   4.6_URL编码转换

    *   4.7_处理GET请求

    *   4.8_处理POST请求

    *   4.9_添加特定Headers—请求伪装

    *   4.10_简单的自定义opener

    *   4.11_设置代理服务器

    *   4.12_超时设置

    *   4.13_URLError异常和捕获

    *   4.14_HttpError异常和捕获

    *   4.15_什么是requests库

    *   4.16_requests库发送请求

    *   4.17_requests库返回响应

  *   数据解析/

    *   5.1_网页数据格式

    *   5.2_查看网页结构

    *   5.3_数据解析技术

    *   5.4_正则表达式备份

    *   5.5_什么是Xpath备分

    *   5.6_XPath开发工具

    *   5.7_XPath语法

    *   5.8_什么是lxml库

    *   5.9_lxml的基本使用

    *   5.10_什么是BeautifulSoup

    *   5.11_构建BeautifulSoup对象

    *   5.12_通过操作方法进行解读搜索

    *   5.13_通过CSS选择器进行搜索

    *   5.14_什么是JSON

    *   5.15_JSON与XML语言比较

    *   5.16_json模块介绍

    *   5.17_json模块基本使用

    *   5.18_jsonpath介绍

    *   5.19_JSONPath与XPath语法对比

  *   并发下载/

    *   6.1_多线程爬虫流程分析

    *   6.2_queue（队列）模块简介

    *   6.3_Queue类简介

    *   6.4_协程爬虫的流程分析

    *   6.5_第三方库gevent

  *   抓取动态内容/

    *   7.1_动态网页介绍

    *   7.2_selenium和PhantomJS概述

    *   7.3_selenium_PhantomJS安装配置

    *   7.4_入门操作

    *   7.5_定位页面元素

    *   7.6_鼠标动作链

    *   7.7_填充表单

    *   7.8_弹窗处理

    *   7.9_弹窗处理

    *   7.10_页面的前进和后退

    *   7.11_获取页面Cookies

    *   7.12_页面等待

  *   图像识别与文字处理/

    *   8.1_OCR技术简介

    *   8.2_tesseract下载与安装

    *   8.3_tesseract下载与安装

    *   8.4_PIL库简介

    *   8.5_读取图像中格式规范的文字

    *   8.6_对图片进行阈值过滤和降噪处理

    *   8.7_识别图像的中文字符

    *   8.8_验证码分类

    *   8.9_简单识别图形验证码

  *   存储爬虫数据/

    *   9.1_数据存储简介

    *   9.2_什么是MongoDB

    *   9.3_Windows平台安装MongoDB数据库

    *   9.4_比较MongoDB和MySQL的术语

    *   9.5_什么是PyMongo

    *   9.6_PyMongo的基本操作

  *   初识爬虫框架Scrapy/

    *   10.1_常见爬虫框架介绍

    *   10.2_Scrapy框架的架构

    *   10.3_Scrapy框架的运作流程

    *   10.4_安装Scrapy框架

    *   10.5_新建一个Scrapy项目

    *   10.6_明确抓取目标

    *   10.7_制作Spiders爬取网页

    *   10.8_永久性存储数据

  *   Scrapy终端与核心组件/

    *   11.1_启用Scrapy shell

    *   11.2_使用Scrapy shell

    *   11.3_Spiders—抓取和提取结构化数据

    *   11.4_自定义Item Pipeline

    *   11.5_Downloader Middlewares—防止反爬虫

    *   11.6_Settings—定制Scrapy组件

  *   自动抓取网页的爬虫CrawlSpider/

    *   12.1_初识爬虫类CrawlSpider

    *   12.2_CrawlSpider类的工作原理

    *   12.3_通过Rule类决定爬取规则

    *   12.4_通过LinkExtractor类提取链接

  *   Scrapy-Redis分布式爬虫/

    *   13.1_Scrapy-Redis简介

    *   13.2_Scrapy-Redis的完整架构

    *   13.3_Scrapy-Redis的运作流程

    *   13.4_Scrapy-Redis的主要组件

    *   13.5_安装Scrapy-Redis

    *   13.6_安装和启动Redis数据库

    *   13.7_修改配置文件 redis.conf

    *   13.8_分布式策略

    *   13.9_测试Slave端远程连接Master端

    *   13.10_创建Scrapy项目和设置Scrapy-Redis组件

    *   13.11_明确抓取目标

    *   13.12_制作Spider爬取网页

    *   13.13_执行分布式爬虫

    *   13.14_使用多个管道存储

    *   13.15_处理Redis数据库里的数据