Apache源代码全景分析第1卷：体系结构与核心模块

2.2.1 操作系统支持层 27
2.2.2 可移植运行库层 27
2.2.3 核心功能层 28
2.2.4 可选功能层 29
2.2.5 第三方支持库 29
2.2.6 Apache工具包 30
2.3 APACHE核心功能层 30
2.3.1 核心与可选模块的关系 30
2.3.2 核心组件 30
2.4 APACHE运行流程 34
2.4.1 Apache启动过程 35
2.4.2 HTTP连接处理 36
2.4.3 请求报文读取 36
2.4.4 请求处理 37
2.4.5 内容生成 39
2.4.6 关闭与重启 40
2.5 主程序MAIN 41
2.5.1 主程序概要 41
2.5.2 主程序细节 42
第3章 配置文件管理 51
3.1 APACHE配置系统 52
3.2 配置文件 52
3.2.1 配置文件类 52
3.2.2 配置文件处理时机 54
3.3 指令相关概念 56
3.3.1 指令概述 56
3.3.2 指令参数 57
3.3.3 指令上下文 59
3.3.4 指令参数类型 73
3.4 指令配置 76
3.4.1 指令结构 76
3.4.2 指令定义 77
3.4.3 预定义指令函数 79
3.4.4 指令表 80
3.5 APACHE配置处理 81
3.5.1 指令保存 81
3.5.2 指令读取 83
3.5.3 配置指令处理 98
3.5.4 特殊指令 112
3.6 .HTACCESS处理 115
3.6.1 .htaccess使用场合 115
3.6.2 指令的覆盖 116
3.6.3 处理.htaccess 117
3.7 实现自己的配置段 120
第4章 APACHE模块化体系结构 123
4.1 APACHE模块概述 124
4.1.1 Apache模块组成 124
4.1.2 Apache核心与模块交互 125
4.2 APACHE模块结构 127
4.3 模块的加载 132
4.3.1 模块变量 132
4.3.2 DSO（Dynamic Shared Object，动态共享对象）的概念 134
4.3.3 静态模块加载 137
4.3.4 动态模块加载 141
4.3.5 模块卸载 146
4.4 指令表 147
4.4.1 指令表概述 147
4.4.2 指令处理函数 148
4.4.3 指令共享 151
4.5 挂钩（HOOK） 154
4.5.1 为什么引入挂钩 154
4.5.2 声明挂钩 158
4.5.3 挂钩数组声明（APR_HOOK_LINK） 162
4.5.4 挂钩结构（APR_HOOK_STRUCT） 162
4.5.5 挂钩函数注册（APR_IMPLEMENT_EXTERNAL_HOOK_BASE） 164
4.5.6 使用挂钩 165
4.5.7 挂钩排序 168
4.5.8 可选挂钩 179
4.5.9 挂钩纵览 184
4.5.10 自己编写挂钩 191
4.6 模块与配置文件 192
4.6.1 概述 192
4.6.2 如何描述配置信息 194
4.6.3 目录相关配置（Per-Directory Config） 195
4.6.4 服务器配置（Per-Server Config） 198
4.7 配置存储和使用 199
4.7.1 配置向量 199
4.7.2 配置存储体系结构 201
4.7.3 虚拟主机配置存储 202
4.7.4 目录配置存储 203
4.7.5 Location配置存储 205
4.7.6 文件配置存储 205
4.7.7 总体存储示意 206
4.8 模块通信 207
4.8.1 简单通信方式 208
4.8.2 可选函数 209
4.8.3 提供者API 212
4.9 常用模块 216
4.9.1 缓存模块 216
4.9.2 URL映射模块.. 217
4.9.3 内容生成模块 219
4.9.4 安全模块 221
4.9.5 代理模块 223
4.9.6 其余模块 224
第5章 多任务并发处理 227
5.1 多进程并发处理 228
5.1.1 概述 228
5.1.2 MPM在Apache中的位置 229
5.2 MPM数据结构 231
5.2.1 记分板 231
5.2.2 终止管道（Pipe of Death） 244
5.3 INETD：通用的多任务处理结构 247
5.3.1 服务器程序概述 247
5.3.2 INETD 249
5.4 预创建（PREFORK）MPM分析 249
5.4.1 Leader/Follow模式 249
5.4.2 Prefork MPM概述 250
5.4.3 Prefork MPM实现 253
5.5 工作者（WORKER）MPM分析 291
5.5.1 Worker MPM概述 291
5.5.2 Worker主进程 294
5.5.3 子进程管理 305
5.5.4 线程管理 310
5.5.5 信号处理 323
5.6 WinNT MPM分析 326
5.6.1 WinNT MPM概述 326
5.6.2 完成端口相关概念 328
5.6.3 WinNT MPM主程序 330
5.6.4 监控主进程 332
5.6.5 工作进程 336
5.6.6 线程处理 345
第6章 网络连接 359
6.1 网络连接概述 360
6.1.1 网络连接上下文环境 360
6.1.2 等待连接 361
6.1.3 接受连接 361
6.1.4 创建连接 361
6.2 连接数据结构 361
6.3 等待连接 364
6.3.1 概述 364
6.3.2 套接字创建 365
6.3.3 套接字侦听 369
6.4 连接处理 376
6.4.1 连接处理概述 376
6.4.2 创建连接 377
6.4.3 连接处理 379
6.5 请求读取 385
6.5.1 请求读取概述 385
6.5.2 HTTP请求报文 386
6.5.3 request_rec结构 388
6.5.4 请求读取实现 395
6.5.5 请求行读取 402
6.5.6 请求头读取 404
6.5.7 网络IO读写 408
第7章 过滤器 409
7.1 过滤器概述 410
7.2 过滤器类型 412
7.3 过滤器结构 414
7.4 过滤器协议 416
7.5 过滤器使用 418
7.5.1 静态过滤器使用 418
7.5.2 动态过滤器使用 419
7.6 过滤器操作 419
7.6.1 过滤器注册概述 419
7.6.2 数据结构描述 420
7.6.3 过滤器结点 422
7.6.4 过滤器注册 424
7.6.5 过滤器的查找 428
7.6.6 添加过滤器至指定请求或连接 429
7.6.7 从连接中删除过滤器 436
7.6.8 过滤器初始化 437
7.7 智能过滤器 438
7.7.1 何谓智能过滤器 438
7.7.2 智能过滤器的使用 442
7.7.3 智能过滤器的实现 442
7.8 过滤器函数 457
7.8.1 输出过滤器 457
7.8.2 输入过滤器 457
第8章 存储段和存储段组 459
8.1 什么是存储段和存储段组 460
8.1.1 存储段和存储段组 460
8.1.2 为什么需要存储段组 463
8.2 存储段分配子 465
8.2.1 概述 465
8.2.2 分配子创建 466
8.2.3 存储段内存分配 467
8.2.4 存储段内存释放 471
8.3 存储段操作概述 471
8.3.1 存储段接口 471
8.3.2 存储段空接口 476
8.4 存储段类型 482
8.4.1 堆存储段（Heap Bucket） 483
8.4.2 内存池存储段（Pool Bucket） 487
8.4.3 文件存储段（File Bucket） 490
8.4.4 MMAP存储段（MMAP Bucket） 494
8.4.5 套接字存储段（Socket Bucket） 497
8.4.6 管道存储段（Pipe Bucket） 499
8.4.7 持久存储段（Immortal Bucket） 500
8.4.8 临时存储段（Transient Bucket） 502
8.4.9 刷新存储段（Flush Bucket） 503
8.4.10 流终止（EOS）存储段 505
8.4.11 HTTP错误存储段 507
8.5 存储段操作 508
8.6 存储段组操作 511
8.6.1 创建存储段组 512
8.6.2 存储段组的销毁 512
8.6.3 存储段组的分裂 513
8.6.4 统计存储段长度 517
8.6.5 存储段转换 518
8.6.6 数据写入 520
8.6.7 ap_r*函数写入 526
8.7 存储段组和过滤器 528
8.7.1 存储段组和过滤器的关系 528
8.7.2 获取存储段组 528
8.7.3 存储段组传递 529
第9章 常用过滤器 531
9.1 概述 532
9.2 输入过滤器 532
9.2.1 CORE_IN输入过滤器 534
9.2.2 HTTP_IN过滤器 545
9.2.3 创建自己的输入过滤器 556
9.3 输出过滤器 558
9.3.1 资源过滤器 559
9.3.2 内容过滤器 563
9.3.3 协议过滤器 564
9.3.4 编码转换过滤器 580
9.3.5 网络过滤器（CORE） 583
9.3.6 编写输出过滤器 591
索引... 603

.　　Apache的所有源代码都是使用C语言开发的。因此，如果你不熟悉C语言，则最好不要阅读本书。如果你熟悉C++，则会更好。Apache中的很多设计都借鉴了C++的一些思想，了解C++，会让你更容易理解这些设计。
　　2. 了解HTTP协议相关的内容
　　Apache Web服务器本质上是处理HTTP协议的服务器，因此，如果我们想理解Apache的链接请求处理细节，则必须了解HTTP协议。当你阅读本书的时候，手上最好能有一个HTTP协议规范参考。
　　3. 了解Apache配置
　　对Apache配置文件和配置指令的处理贯穿于整个Apache的运行期间。Apache启动的时候将构建配置树，在对请求处理的时候将读取配置信息。如果对Apache的配置指令体系不熟悉，则会妨碍你的阅读和理解。
　　本书的主要内容
　　本书是Apache源代码全景分析系列的第1卷——体系结构与核心模块，全书分为9章。
　　第1章 Web服务器概述
　　本章简要介绍了整个Internet的发展历史及Apache服务器的发展历史，并简要介绍了HTTP服务器的工作方式。在本章的最后部分，我们重点讲述了Apache服务器所具备的功能。
　　第2章 Apache体系结构
　　本章从整体上介绍了Apache的三层体系结构，并着重介绍了核心功能层，分析了核心功能层中各个重要的组件及它们之间的相互依赖关系。另外本章还讲述了Apache的运行流程及主函数的实现细节。
　　第3章 配置文件管理
　　配置文件管理是Apache的基础核心模块。本章详细介绍了配置文件中指令的相关概念，包括指令的上下文、指令参数，同时详细分析了Apache中对指令的实现。基于指令的概念，本章的另外一个讨论重点就是Apache中对配置文件的读取，读取后指令在内存中的组织方式，以及指令如何被调用执行。本章最后还介绍了自行增加一个Apache中并不存在的新的指令配置段。
　　第4章 Apache模块化体系结构..
　　Apache模块化体系结构是本书介绍的重点内容之一，通过模块化，Apache可以很方便地进行第三方扩展及裁剪。本章详细介绍了模块数据结构，并对模块结构中成员的上下文进行介绍，包括指令表、挂钩、配置结构操作指针，可让读者能够透彻理解与模块相关的方方面面，不仅知其然，而且知其所以然。除此之外，本章还介绍了核心模块如何加载的过程，以及Apache模块通信所采用的各种策略，包括简单通信方式、可选函数通信方式及提供者API方式。本章最后对Apache中的一些常用模块进行了简单介绍。
　　第5章 多任务并发处理
　　Apache能够同时处理大量的并发连接，这得益于Apache的MPM模块。MPM将网络连接相关的处理独立成为模块的形式，这样不同的平台可以使用不同的并发模型，从而达到最优的效果。本章重点讨论了Prefork MPM、Worker MPM和WinNT MPM三种并发模型。
　　第6章 网络连接
　　本章介绍了连接处理相关的内容。首先介绍了连接处理的4个阶段，并详细介绍了等待连接阶段的创建套接字和侦听套接字的流程。在连接处理阶段则介绍了创建连接和读取连接的细节。在接收到连接后，就需要从连接中读取HTTP请求。本章最后一节讨论了请求读取的细节，包括如何读取HTTP请求行、请求头及请求报文体。
　　第7章 过滤器
　　对于客户端输入，Apache并不一定会原封不动地提交给核心模块去处理，它可能要经过一些其他处理后才会提交给核心模块；与此相同，核心生成的内容也不会原封不动地发送给客户端，也可能会经过一些转换。对于输入和输出的内容进行转换处理是由过滤器完成的。本章详细介绍了过滤器的基本概念、过滤器在核心的组织结构、过滤器的使用及智能过滤器的概念和使用。
　　第8章 存储段和存储段组
　　当数据在过滤器中流动传递的时候，数据是以存储段组的形式组织的。每一个存储段组包含多个存储段，每一个存储段是一种数据类型的抽象。本章详细介绍了核心提供的11种存储段类型及它们的操作接口。同时还介绍了存储段的操作细节和内部实现细节。本章最后介绍了存储段组是如何与过滤器结合在一起使用的。
　　第9章 常用过滤器
　　本章介绍了常用的过滤器，包括网络处理的CORE_IN、CORE过滤器，Chunk编码的Chunk过滤器。本章最后，我们引导读者编写了一个关键字高亮过滤器和题头题尾添加过滤器。通过本章的学习，读者可以很容易实现自己的新的过滤器。
　　本书的阅读方法
　　本书的厚度和难度并不适合一口气读完，而且本书源代码分析的特性决定了仅仅阅读本书还不够，必须在基于浏览代码的基础上同步阅读本书。
　　本书的Apache代码基于2.2.8版本，读者在阅读之前请去http://httpd.apache.org下载一份代码。对于阅读和分析代码，笔者推荐使用的工具是SourceInsight。
　　理解代码的最好方式就是跟踪和调试。因此勤于调试能有助于你对Apache源代码和本书内容的理解。
　　另外本书中的代码并不是与实际代码一一对应的。为了节省版面，大部分代码中的注释和日志记录代码都被剔除，不过日志对于阅读代码还是非常有益的，通过错误提示，能够帮助你理解上下文操作的背景。
　　作者联系方式
　　本书大部分内容都可以在笔者的博客（http://blog.csdn.net/tingya）上找到，只是没有经过整理。如果您有什么想法和意见可以到博客上去留言。
　　感谢
　　从2003年开始酝酿到本书出版，已经整整6年过去了。在这6年里，真心感谢那些陪伴自己走过的人。
　　首先要感谢的是我的妻子。每个夜晚，每个周末我伏案写作无暇陪她，她也毫无怨言。
　　感谢我的导师齐勇教授，在我读研没空顾及项目的时候，他给了我一次又一次的鼓励，他甚至想为我的兴趣单独申请一个课题。在齐勇教授的身边，我学会了很多专业知识以外的东西。
　　感谢我的同学和朋友温辉敏，每当我几乎要退却的时候，他总能及时提醒我，督促我，没有他，也许大家还要多等一些时候。
　　感谢腾讯的刘海宝，当本书还是草稿的时候，他就是本书的第一个忠实读者，并且为本书提供了一些有价值的意见。
　　感谢51.com IM事业部的同事们，在与你们相处的工作中非常愉快和开心，也希望你们能够谅解我在本书上投入的过多精力，他们是但汉权、胡佳佳、胡名雨、郭祥洲、刘庆平、尹波、易念华、张剑波、赵宏华。
　　感谢本书的编辑周筠和陈元玉，感谢她们给我的一贯支持，在因故延后交稿的时候，她们仍然在耐心地等待，感谢她们编辑本书付出的辛勤劳动！感谢杨福川编辑，正是他才使得本书的出版成为可能。
　　感谢您在茫茫的书海中选择了本书，并衷心祝愿您能从本书中受益。
　　升东网络科技发展（上海）有限公司
　　高级工程师 张中庆
　　2009年3月于上海...