(特价书)精通Python网络爬虫：核心技术、框架与项目实战

3.5　身份识别 21
3.6　网络爬虫实现技术 21
3.7　实例——metaseeker 22
3.8　小结 27
第4章　Urllib库与URLError异常处理 29
4.1　什么是Urllib库 29
4.2　快速使用Urllib爬取网页 30
4.3　浏览器的模拟——Headers属性 34
4.4　超时设置 37
4.5　HTTP协议请求实战 39
4.6　代理服务器的设置 44
4.7　DebugLog实战 45
4.8　异常处理神器——URLError实战 46
4.9　小结 51
第5章　正则表达式与Cookie的使用 52
5.1　什么是正则表达式 52
5.2　正则表达式基础知识 52
5.3　正则表达式常见函数 61
5.4　常见实例解析 64
5.5　什么是Cookie 66
5.6　Cookiejar实战精析 66
5.7　小结 71
第6章　手写Python爬虫 73
6.1　图片爬虫实战 73
6.2　链接爬虫实战 78
6.3　糗事百科爬虫实战 80
6.4　微信爬虫实战 82
6.5　什么是多线程爬虫 89
6.6　多线程爬虫实战 90
6.7　小结 98
第7章　学会使用Fiddler 99
7.1　什么是Fiddler 99
7.2　爬虫与Fiddler的关系 100
7.3　Fiddler的基本原理与基本界面 100
7.4　Fiddler捕获会话功能 102
7.5　使用QuickExec命令行 104
7.6　Fiddler断点功能 106
7.7　Fiddler会话查找功能 111
7.8　Fiddler的其他功能 111
7.9　小结 113
第8章　爬虫的浏览器伪装技术 114
8.1　什么是浏览器伪装技术 114
8.2　浏览器伪装技术准备工作 115
8.3　爬虫的浏览器伪装技术实战 117
8.4　小结 121
第9章　爬虫的定向爬取技术 122
9.1　什么是爬虫的定向爬取技术 122
9.2　定向爬取的相关步骤与策略 123
9.3　定向爬取实战 124
9.4　小结 130
第三篇　框架实现篇
第10章　了解Python爬虫框架 133
10.1　什么是Python爬虫框架 133
10.2　常见的Python爬虫框架 133
10.3　认识Scrapy框架 134
10.4　认识Crawley框架 135
10.5　认识Portia框架 136
10.6　认识newspaper框架 138
10.7　认识Python-goose框架 139
10.8　小结 140
第11章　爬虫利器——Scrapy安装与配置 141
11.1　在Windows7下安装及配置Scrapy实战详解 141
11.2　在Linux（Centos）下安装及配置Scrapy实战详解 147
11.3　在MAC下安装及配置Scrapy实战详解 158
11.4　小结 161
第12章　开启Scrapy爬虫项目之旅 162
12.1　认识Scrapy项目的目录结构 162
12.2　用Scrapy进行爬虫项目管理 163
12.3　常用工具命令 166
12.4　实战：Items的编写 181
12.5　实战：Spider的编写 183
12.6　XPath基础 187
12.7　Spider类参数传递 188
12.8　用XMLFeedSpider来分析XML源 191
12.9　学会使用CSVFeedSpider 197
12.10　Scrapy爬虫多开技能 200
12.11　避免被禁止 206
12.12　小结 212
第13章　Scrapy核心架构 214
13.1　初识Scrapy架构 214
13.2　常用的Scrapy组件详解 215
13.3　Scrapy工作流 217
13.4　小结 219
第14章　Scrapy中文输出与存储 220
14.1　Scrapy的中文输出 220
14.2　Scrapy的中文存储 223
14.3　输出中文到JSON文件 225
14.4　小结 230
第15章　编写自动爬取网页的爬虫 231
15.1　实战：items的编写 231
15.2　实战：pipelines的编写 233
15.3　实战：settings的编写 234
15.4　自动爬虫编写实战 234
15.5　调试与运行 239
15.6　小结 242
第16章　CrawlSpider 243
16.1　初识CrawlSpider 243
16.2　链接提取器 244
16.3　实战：CrawlSpider实例 245
16.4　小结 249
第17章　Scrapy高级应用 250
17.1　如何在Python3中操作数据库 250
17.2　爬取内容写进MySQL 254
17.3　小结 259
第四篇　项目实战篇
第18章　博客类爬虫项目 263
18.1　博客类爬虫项目功能分析 263
18.2　博客类爬虫项目实现思路 264
18.3　博客类爬虫项目编写实战 264
18.4　调试与运行 274
18.5　小结 275
第19章　图片类爬虫项目 276
19.1　图片类爬虫项目功能分析 276
19.2　图片类爬虫项目实现思路 277
19.3　图片类爬虫项目编写实战 277
19.4　调试与运行 281
19.5　小结 282
第20章　模拟登录爬虫项目 283
20.1　模拟登录爬虫项目功能分析 283
20.2　模拟登录爬虫项目实现思路 283
20.3　模拟登录爬虫项目编写实战 284
20.4　调试与运行 292
20.5　小结 294

.　　如何阅读本书
　　本书分为四篇，共计20章。
　　第一篇为理论基础篇（第1～2章），主要介绍了网络爬虫的基础知识，让大家从零开始对网络爬虫有一个比较清晰的认识。
　　第二篇为核心技术篇（第3～9章），详细介绍了网络爬虫实现的核心技术，包括网络爬虫的工作原理、如何用Urllib库编写网络爬虫、爬虫的异常处理、正则表达式、爬虫中Cookie的使用、手写糗事百科爬虫、手写链接爬虫、手写微信爬虫、手写多线程爬虫、浏览器伪装技术、Python网络爬虫的定向爬取技术及实例等。学完这一部分内容，读者就可以写出自己的爬虫了。这部分的爬虫编写采用的是一步步纯手写的方式进行的，没有采用框架。
　　第三篇为框架实现篇（第10～17章），主要详细介绍了如何用框架实现Python网络爬虫项目。使用框架实现Python网络爬虫项目相较于手写方式更加便捷，主要包括Python爬虫框架分类、Scrapy框架在各系统中的安装以及如何避免各种“坑”、如何用Scrapy框架编写爬虫项目、Scrapy框架架构详解、Scrapy的中文输出与存储、在Scrapy中如何使用for循环实现自动网页爬虫、如何通过CrawlSpider实现自动网页爬虫、如何将爬取的内容写进数据库等。其中第12章为基础部分，读者需要着重掌握。
　　第四篇为项目实战篇（第18～20章），分别讲述了博客类爬虫项目、图片类爬虫项目、模拟登录爬虫项目的编程及实现。其中，也会涉及验证码处理等方面的难点知识，帮助读者通过实际的项目掌握网络爬虫项目的编写。
　　勘误和支持
　　由于作者的水平有限，书中难免有一些错误或不准确的地方，恳请各位读者不吝指正。
　　相关建议各位可以通过微博@韦玮pig或通过QQ公众号a67899或微信公众平台weijc7789（可以直接扫描下方二维码添加）进行反馈，也可以直接向邮箱ceo@iqianyue.com发送邮件，期待能够收到各位读者的意见和建议，欢迎来信。
　　致谢
　　感谢机械工业出版社华章公司的副总编杨福川老师与编辑李艺老师，在近一年的时间里，是你们一次次在我遇到困难的时候，给予我鼓励，让我可以坚持写下去。创作一本图书是非常艰苦的，除了技术知识等因素之外，还需要非常大的毅力。特别感谢杨福川在写作过程中对我各方面的支持，尤其是对我毅力的培养。
　　感谢CSDN、51CTO与极客学院，因为你们，让我在这个领域获得了更多的学员与支持。
　　感谢恩师何云景教授对我创业方面的帮助，因为有您，我才拥有了一个更好的创业开端及工作环境。
　　特别致谢
　　最后，需要特别感谢的是我的女友，因为编写这本书，少了很多陪你的时间，感谢你的不离不弃与理解包容。希望未来可以加倍弥补你那些错过吃的美食和那些错过逛的街道。
　　同时，也要感谢你帮我完成书稿的校对工作，谢谢你的付出与支持。因为有了你默默的付出，我才能坚定地走下去；因为有了你不断的支持，我才可以安心地往前冲。
　　感谢爷爷从小对我人生观、价值观的培养，您是一个非常有思想的人。
　　感谢远方的父母、叔叔、姐姐，那些亲情的陪伴是我最珍贵的财富。
　　谨以此书献给热爱Python的朋友们！