云计算核心技术剖析(一线云计算专家倾情奉献)

.1.5.4 云供应商　　11
1.5.5 整个it 产业　　 12
1.6 云计算的使用场景　　 12
1.6.1 idc 云　　12
1.6.2 企业云　　12
1.6.3 云存储系统　　 12
1.6.4 虚拟桌面云　　 13
1.6.5 开发测试云　　 13
1.6.6 大规模数据处理云　　13
1.6.7 协作云　　13
1.6.8 游戏云　　14
1.6.9 hpc 云　　14
1.6.10 云杀毒　　14
第2 章 云计算的架构　　16
2.1 云的架构　　16
2.1.1 saas　　17
2.1.2 paas　　19
2.1.3 iaas　　21
2.1.4 云管理层　　22
2.1.5 架构示例　　25
2.2 云的4 种模式　　27
2.21 公有云　　27
2.2.2 私有云　　29
2.2.3 混合云　　30
2.2.4 行业云　　31
第二部分 产品与技术篇
第3 章 google app engine　　 34
31 google 的云计算产品　　 34
3.1.1 saas 层　　34
3.1.2 paas 层　　36
3.1.3 iaas 层　　36
3.1.4 云客户端　　36
3.2 google 的核心技术　　 39
3.2.1 分布式基础设施　　39
3.2.2 分布式大规模数据处理 42
3.2.3 分布式数据库技术　　43
3.2.4 数据中心优化技术　　45
3.3 google 的设计思想和整体架构 46
3.3.1 设计思想　　46
3.3.2 整体架构　　48
3.4 google app engine 简介　　50
3.4.1 历史　　50
3.4.2 功能　　51
3.4.3 使用流程　　51
3.4.4 主要组成部分　　 51
3.4.5 编程模型　　54
3.4.6 限制和资费　　 55
3.5 google app engine 的使用　　56
3.5.1 例子　　56
3.5.2 搭建环境　　56
3.5.3 初始化项目　　 56
3.5.4 编写数据库代码　　58
3.5.5 添加web 处理方法　　 59
3.5.6 测试和部署　　 60
3.6 google app engine 的架构　　62
3.6.1 设计理念　　62
3.6.2 架构　　62
3.6.3 流程　　63
3.6.4 python 版和java 版的区别 64
3.7 本地测试服务器的设计　　64
3.7.1 架构　　64
3.7.2 工作流程　　65
3.8 datastore 的设计　　66
3.8.1 使用方面　　66
3.8.2 实现方面　　67
3.9 总结　　　　69
3.9.1 注意点　　69
3.9.2 最佳实践　　69
3.9.3 适用场景　　70
3.9.4 对未来的期望　　 70
第4 章 salesforce forcecom　　 72
4.1 salesforce 简介　　72
4.1.1 公司历史　　72
4.1.2 salesforce 的整体架构　　73
4.1.3 forcecom　　73
4.2 多租户的介绍　　74
4.2.1 概念　　74
4.2.2 多租户技术的优缺点　　 75
4.2.3 常见的多租户模型　　75
4.3 forcecom 的多租户架构（上）76
4.3.1 总体架构　　76
4.3.2 元数据驱动　　 77
4.3.3 应用服务器　　 77
4.3.4 共享数据库　　 78
4.4 forcecom 的多租户架构（下）78
4.4.1 应用服务器的模块　　78
4.4.2 数据库表的设计　　79
4.4.3 apex 　　80
4.5 总结　　　　81
4.5.1 设计理念　　81
4.5.2 经验教训　　81
第5 章 系统虚拟化　　83
5.1 系统虚拟化简介　　83
5.1.1 虚拟化的概念　　 83
5.1.2 系统虚拟化的概念　　83
5.1.3 系统虚拟化技术的分类 84
5.1.4 系统虚拟化的用处　　87
5.2 x86 虚拟化技术　　88
5.2.1 虚拟机的3 大特征　　88
5.2.2 为什么x86 架构很难被虚拟化 88
5.2.3 cpu 虚拟化　　89
5.2.4 内存虚拟化　　 89
5.2.5 i/o 虚拟化　　90
5.2.6 总结与预测　　 90
5.3 vmware vsphere 的简介　　 91
5.3.1 vmware 的思路　　 91
5.3.2 vmware vsphere　　92
5.4 vmware esx 的架构　　95
5.4.1 service console 　　95
5.4.2 vmkernel　　96
5.5 虚拟网络　　99
5.5.1 简介　　99
5.5.2 虚拟网卡　　100
5.5.3 虚拟交换机　　 101
5.6 动态迁移背后的奥秘　　105
5.6.1 动态迁移的实现机制　　 105
5.6.2 动态迁移今后的挑战　　 106
5.7 虚拟器件　　107
5.7.1 虚拟器件的定义　　108
5.7.2 虚拟器件的主要组成部分108
5.7.3 虚拟器件的生命周期　　 109
5.7.4 虚拟器件的好处　　110
5.7.5 虚拟器件的不足之处　　 111
5.7.6 业界支持　　112
5.7.7 虚拟器件与云计算　　 112
5.8 ovf 协议　　112
5.8.1 ovf 信封　　113
5.8.2 ovf 环境文件　　 113
5.8.3 使用流程　　114
5.9 vmware 的云计算计划　　115
5.9.1 vmware vcloud express 115
5.9.2 vmware vcloud director 116
5.9.3 vmforce 　　119
5.10 xen 的架构　　119
5.10.1 xen 简介　　120
5.10.2 半虚拟化技术介绍　　120
5.10.3 xen 的架构　　 121
5.11 xen 的实现机制　　122
5.11.1 超级调用　　 122
5.11.2 vcpu 调度　　 123
5.11.3 中断虚拟化　　 123
5.11.4 内存管理　　 124
5.11.5 i/o 系统　　 124
5.11.6 信息传递　　 124
5.11.7 时间管理　　 125
5.12 intel vt 技术　　125
5.12.1 vt-x　　126
5.12.2 ept 　　129
5.12.3 vt-d　　130
5.12.4 vt-c　　131
5.13 最新的进展　　132
5.13.1 vmware vsphere 41 132
5.13.2 xen 40　　133
5.13.3 intel vt 的ple 技术134
第6 章 amazon ec2　　 135
6.1 aws 的概况　　135
6.1.1 简介　　135
6.1.2 产品类别　　136
6.1.3 产品特点　　137
6.1.4 成功案例　　138
6.2 amazon ec2 简介　　 138
6.3 amazon ec2 的主要模块　　139
6.3.1 ami　　139
6.3.2 实例　　140
6.3.3 存储　　140
6.3.4 安全方面　　141
6.3.5 可用区　　142
6.3.6 网络方面　　142
6.3.7 web 管理界面　　142
6.3.8 api 　　143
6.4 amazon ec2 的使用　　 143
6.4.1 准备账号　　143
6.4.2 创建实例　　144
6.4.3 启动服务　　148
6.5 amazon ec2 的优缺点　　148
6.5.1 优点　　148
6.5.2 不足之处　　149
第7 章 cisco ucs 　　151
7.1 什么是ucs 　　151
7.2 ucs 的架构　　151
7.2.1 cisco ucs 6100 系列互联阵列 152
7.2.2 cisco ucs 管理程序　　 152
7.2.3 cisco ucs 2100 系列扩展模块 153
7.2.4 cisco ucs 5100 系列刀片机箱 153
7.2.5 cisco b 系列刀片服务器 153
7.2.6 cisco ucs 网络适配器154
7.3 ucs 的核心技术之内存扩展　　 154
7.3.1 xeon 5500 内存架构　　 154
7.3.2 思科的内存扩展技术　　 156
7.4 ucs 的核心技术之vn-link 　　 157
7.4.1 虚拟网络的难题　　157
7.4.2 cisco nexus 1000v 的方案 157
7.4.3 niv 的方案　　 158
7.5 ucs 的核心技术之统一网络　　 159
7.5.1 数据中心的现状　　159
7.5.2 统一网络简介　　160
7.5.3 统一网络的基石　　160
7.5.4 不足之处　　162
7.6 为虚拟化而生　　162
7.6.1 虚拟化的目标　　163
7.6.2 服务器整合　　 163
7.6.3 简化系统管理　　163
7.6.4 加速应有部署　　164
第8 章 云计算的安全　　165
8.1 云计算安全的概念　　 165
8.1.1 新的挑战　　166
8.1.2 现有安全系统的不足　　 166
8.1.3 云计算的优势　　167
8.2 云计算安全的架构　　 167
8.2.1 云客户端　　168
8.2.2 云端　　168
8.2.3 第三方机构　　 170
8.3 salesforce forcecom 的安全机制 170
8.3.1 整体监管和合规性　　 170
8.3.2 用户管理　　171
8.3.3 数据管理　　171
8.3.4 系统和网络　　 171
8.3.5 物理设施　　171
8.4 aws 的安全机制　　172
8.4.1 整体监管和合规性　　 172
8.4.2 用户管理　　172
8.4.3 数据管理　　172
8.4.4 应用保护　　173
8.4.5 系统与网络　　 173
8.4.6 物理设施　　174
8.5 为什么云计算更安全　　174
8.5.1 安全管理方面　　174
8.5.2 高可用性方面　　174
8.5.3 数据安全方面　　175
8.5.4 人才方面　　175
8.5.5 广域网方面　　 175
8.5.6 总结　　175
第三部分 实践篇
第9 章 深入分析bigtable 　　 178
9.1 bigtable 简介　　178
9.2 bigtable 的架构　　178
9.3 bigtable 的数据模型和调用接口 179
9.3.1 数据模型　　180
9.3.2 调用接口　　181
9.4 bigtable 的存储模型　　 181
9.4.1 tablet 的运行机制　　 182
9.4.2 sstable 的介绍　　182
9.4.3 compaction 机制　　183
9.5 bigtable 的分布式模型　　 183
9.5.1 综述　　184
9.5.2 chubby 　　184
9.5.3 如何定位tablet　　 185
9.5.4 如何分配tablet　　 186
9.6 bigtable 的文件系统　　 187
9.6.1 gfs 简介　　187
9.6.2 gfs 的架构　　 188
9.6.3 gfs 与bigtable 的协作 191
9.7 bigtable 的优化技术　　 191
9.7.1 局部性群组　　 191
9.7.2 压缩　　192
9.7.3 通过缓存提高读操作的性能192
9.7.4 bloom 过滤器　　192
9.7.5 提交日志的实现　　193
9.7.6 利用不变性　　 193
9.8 bigtable 的功能集　　194
9.8.1 论文中提到的特性　　 194
9.8.2 新特性　　195
第10 章 yuntable 概览　　197
10.1 为什么要开发yuntable 　　197
10.2 yuntable 的目标　　 198
10.2.1 02 版的主要目标　　 198
10.2.2 一些限制　　 199
10.3 yuntable 的数据模型　　199
10.4 yuntable 的命令行　　 199
10.4.1 add 命令　　 200
10.4.2 put 命令　　 200
10.4.3 get 命令　　 200
10.5 yuntable 的架构　　 200
10.5.1 master 节点　　201
10.5.2 region 节点　　201
10.5.3 客户端　　202
10.6 工作流程　　202
10.6.1 流程1：启动master 节点202
10.6.2 流程2：启动region 节点203
10.6.3 流程3：启动客户端203
10.6.4 流程4：添加master 节点203
10.6.5 流程5：添加region 节点204
10.6.6 流程6：创建表格　　204
10.6.7 流程7：创建列组　　204
10.6.8 流程8：添加数据　　205
10.6.9 流程9：根据row key 查询205
10.7 yuntable 的使用　　 205
10.7.1 准备环境　　 205
10.7.2 测试用例　　 206
10.8 yuntable 的规划　　 207
第11 章 yuntable 的代码剖析209
11.1 基础知识　　209
11.1 编程规范　　 209
11.1.2 代码结构　　 209
11.1.3 开发环境　　 210
11.1.4 重要设定　　 211
11.2 基础部分　　211
11.2.1 utils 　　212
11.2.2 list　　215
11.2.3 item　　216
11.2.4 conf　　219
11.2.5 rpc 　　220
11.3 master 部分　　222
11.3.1 数据结构部分　　222
11.3.2 对外接口部分　　223
11.3.3 实现部分　　 223
11.4 region 部分　　226
11.4.1 region 　　227
11.4.2 wal　　233
11.4.3 tablet　　236
11.4.4 memstore　　 242
11.4.5 yfile　　244
11.5 客户端部分　　251
11.5.1 数据结构部分　　251
11.5.2 实现部分　　 252
第四部分 展望篇
第12 章 云计算的未来　　 264
12.1 云计算的服务模式　　 264
12.1.1 比较　　264
12.1.2 未来的竞争　　265
12.2 云计算的商业模式　　 266
12.2.1 “超市”模式　　266
12.2.2 “电厂”模式　　267
12.2.3 “超市”模式和“电厂”模式的区别　　269
12.2.4 超市还是电厂　　269
12.3 云计算与中国　　270
12.3.1 现状　　270
12.3.2 对未来的期望　　271
12.4 云计算最新技术　　 272
12.4.1 facebook 的open compute项目　　272
12.4.2 vmware 的开源paas cloudfoundry 　　 273
12.4.3 yunengine 　　 273
12.5 聊聊科技产业的未来　　274
12.5.1 潜在的优势　　275
12.5.2 主要方向　　 275
12.5.3 驱动力　　276
结尾　　　　277
附录　　　　278