Greenplum企业应用实战[按需印刷]

2.2　安装Greenplum的常见问题 22
2.2.1　/etc/hosts配置错误 22
2.2.2　MASTER_DATA_DIRECTORY设置错误 24
2.3　畅游Greenplum 25
2.3.1　如何访问Greenplum 25
2.3.2　数据库整体概况 27
2.3.3　基本语法介绍 28
2.3.4　常用数据类型 35
2.3.5　常用函数 37
2.3.6　分析函数 43
2.3.7　分区表 46
2.3.8　外部表 49
2.3.9　COPY命令 51
2.4　小结 52
第3章　Greenplum实战 53
3.1　历史拉链表 53
3.1.1　应用场景描述 53
3.1.2　原理及步骤 54
3.1.3　表结构 55
3.1.4　Demo数据准备 57
3.1.5　数据加载 58
3.1.6　数据刷新 61
3.1.7　分区裁剪 64
3.1.8　数据导出 64
3.2　日志分析 65
3.2.1　应用场景描述 65
3.2.2　数据Demo 65
3.2.3　日志分析实战 66
3.3　数据分布 68
3.3.1　数据分散情况查看 69
3.3.2　数据加载速度影响 69
3.3.3　数据查询速度影响 72
3.4　数据压缩 73
3.4.1　数据加载速度影响 73
3.4.2　数据查询速度影响 74
3.5　索引 75
3.6　小结 75
中篇　进　阶　篇
第4章　数据字典详解 78
4.1　oid无处不在 78
4.2　数据库集群信息 80
4.2.1　Gp_configuration和gp_segment_configuration 80
4.2.2　Gp_id 82
4.2.3　Gp_configuration_history 84
4.2.4　pg_filespace_entry 84
4.2.5　集群配置信息表转化 84
4.3　常用数据字典 85
4.3.1　pg_class 85
4.3.2　pg_attribute 88
4.3.3　gp_distribution_policy 89
4.3.4　pg_statistic和pg_stats 90
4.4　分区表信息 90
4.4.1　如何实现分区表 91
4.4.2　pg_partition 91
4.4.3　pg_partition_rule 92
4.4.4　pg_partitions视图及其优化 93
4.5　自定义类型以及类型转换 94
4.6　主、备节点同步的相关数据字典 95
4.7　数据字典应用示例 96
4.7.1　获取表的字段信息 96
4.7.2　获取表的分布键 96
4.7.3　获取一个视图的定义 97
4.7.4　查询comment（备注信息） 98
4.7.5　获取数据库建表语句 99
4.7.6　查询表上的视图 103
4.7.7　查询表的数据文件创建时间 104
4.7.8　分区表总大小 106
4.7.9　如何分析数据字典变化 108
4.7.10　获取数据库锁信息 111
4.8　Gp_toolkit介绍 112
4.9　小结 114
第5章　执行计划详解 115
5.1　执行计划入门 115
5.1.1　什么是执行计划 115
5.1.2　查看执行计划 116
5.2　分布式执行计划概述 116
5.2.1　架构 116
5.2.2　重分布与广播 117
5.2.3　Greenplum Master的工作 119
5.3　Greenplum执行计划中的术语 120
5.3.1　数据扫描方式 120
5.3.2　分布式执行 121
5.3.3　两种聚合方式 122
5.3.4　关联 123
5.3.5　SQL消耗 126
5.3.6　其他术语 126
5.4　数据库统计信息收集 128
5.4.1　Analyze分析 128
5.4.2　固定执行计划 129
5.5　控制执行计划的参数介绍 130
5.6　规划器开销的计算方法 131
5.7　各种执行计划原理分析 133
5.7.1　详解关联的广播与重分布 133
5.7.2　HashAggregate与GroupAggregate 137
5.7.3　Nestloop Join 、 Hash Join 与Merge Join 141
5.7.4　分析函数：开窗函数和grouping sets 142
5.8　案例 144
5.8.1　关联键强制类型转换，导致重分布 144
5.8.2　统计信息过期 145
5.8.3　执行计划出错 145
5.8.4　分布键选择不恰当 147
5.8.5　计算distinct 148
5.8.6　union与union all 150
5.8.7　子查询not in 152
5.8.8　聚合函数太多导致内存不足 154
5.9　小结 155
第6章　Greenplum高级应用 156
6.1　Appendonly表与压缩表 157
6.1.1　应用场景及语法介绍 157
6.1.2　压缩表的性能差异 157
6.1.3　Appendonly表特性 158
6.1.4　相关数据字典 164
6.2　列存储 165
6.2.1　应用场景 165
6.2.2　数据文件存储特性 166
6.2.3　如何使用列存储 166
6.2.4　性能比较 166
6.3　外部表高级应用 168
6.3.1　外部表实现原理 168
6.3.2　可写外部表 171
6.3.3　HDFS外部表 173
6.3.4　可执行外部表 177
6.4　自定义函数—各个编程接口 179
6.4.1　pl/pgsql 180
6.4.2　C语言接口 182
6.4.3　plpython 185
6.5　Greenplum MapReduce 187
6.6　小结 193
第7章　Greenplum架构介绍 195
7.1　并行和分布式计算 195
7.2　并行数据库 197
7.3　Greenplum架构分析 198
7.4　冗余与故障切换 199
7.5　数据分布及负载均衡 200
7.6　跨库关联 202
7.7　分布式事务 203
7.8　其他大数据分析方案 205
7.9　小结 208
下篇　管　理　篇
第8章　Greenplum线上环境部署 210
8.1　服务器硬件选型 210
8.1.1　CPU 211
8.1.2　内存 211
8.1.3　磁盘及硬盘接口 211
8.1.4　网络 213
8.2　服务器系统参数调整 213
8.2.1　Solaris参数修改 214
8.2.2　Linux参数修改 216
8.2.3　系统参数及性能验证 217
8.3　计算节点分配技巧 221
8.4　数据库参数介绍 221
8.5　数据库集群基准测试 225
8.6　小结 227
第9章　数据库管理 228
9.1　用户及权限管理 228
9.1.1　Greenplum数据库逻辑结构 228
9.1.2　Grant语法 229
9.2　登录权限控制 231
9.3　资源队列及并发控制 232
9.4　Greenplum锁机制 236
9.5　数据目录结构 238
9.6　数据文件存储分布 240
9.7　表空间管理 241
9.8　小结 244
第10章　数据库监控及调优 245
10.1　Linux监控工具介绍 245
10.1.1　监控磁盘 245
10.1.2　监控网络 246
10.1.3　监控CPU 247
10.1.4　监控内存 247
10.2　安装Performance Monitor 248
10.3　监控Segment是否正常 252
10.4　VACUUM系统表 253
10.5　数据倾斜排查 255
10.6　查看子节点的SQL运行状态 258
10.7　自动加分区 261
10.8　自动赋权 266
10.9　清理过期数据 266
10.10　小结 267
第11章　解读Greenplum维护脚本 268
11.1　添加Greenplum Contrib模块 268
11.2　启动和关闭脚本gpstart和gpstop 270
11.3　初始化系统脚本gpinitsystem 272
11.4　集群操作脚本gpssh和gpscp 274
11.5　数据库状态检查脚本gpstate 275
11.6　数据库升级脚本gpmigrate 276
11.7　参数修改脚本gpconfig 281
11.8　数据库一致性检查脚本gpcheckcat 282
11.9　小结 284
第12章　备份及恢复策略 286
12.1　Greenplum 3.x 286
12.2　Greenplum 4.x 287
12.3　gp_dump和pg_dump 290
12.4　Greenplum Master备份策略 294
12.4.1　增加Standby Master 295
12.4.2　重新同步Standby Master 296
12.4.3　启用Standby Master 296
12.5　小结 297
第13章　数据库扩容 299
13.1　迁移计算节点 299
13.1.1　两种备份方案 300
13.1.2　数据迁移实战 301
13.2　增加计算节点 306
13.3　小结 311
第14章　基于Greenplum的海量数据实时分析服务平台 312
14.1　需求概述 312
14.2　典型方案 313
14.2.1　NoSQL 313
14.2.2　分布式数据库/集群 314
14.2.3　分表分库 315
14.2.4　方案优劣分析 316
14.3　基于Greenplum的混合架构 316
14.3.1　架构分析 317
14.3.2　实施要点 317
14.4　小结 318
第15章　使用Greenplum的常见报错及小技巧 319
15.1　分析常见报错 319
15.1.1　找不到类型705对应的操作符 319
15.1.2　SQL占用的资源超过了资源队列限制 321
15.1.3　自定义函数不能在Segment上执行 321
15.1.4　子查询没有加别名 322
15.1.5　字段名有歧义 322
15.1.6　字段重名 323
15.1.7　gpfdist错误：无法读取文件 323
15.1.8　事务被中止 324
15.1.9　网络异常错误 324
15.1.10　无法删除表 324
15.1.11　内存不足 325
15.1.12　文件名在pg_class中已存在 325
15.1.13　不能对分布键执行Update 325
15.1.14　网络错误 326
15.1.15　无法找到数据文件 326
15.2　常见问题及解决办法 326
15.3　常用的一些小技巧 329
15.3.1　显示SQL执行的时间 330
15.3.2　获取某个schema下所有的表或视图 330
15.3.3　查找分区最多的表 330
15.3.4　连接Segment节点 331
15.3.5　psql默认密码登录 331
15.3.6　查看数据库启动时间 331
15.3.7　查看在psql中\d到底查询了哪些数据字典 331
15.4　小结 332

.　　使用Greenplum的ETL开发工程师
　　数据库爱好者、分布式系统爱好者
　　数据分析师、商业智能分析师
　　如何阅读本书
　　对于刚接触Greenplum的读者来说，建议从第1章读起，书中有很多结合实践的例子，帮助读者加深对Greenplum的理解。
　　如果对Greenplum已经比较熟悉，可以从第4章开始读起，应重点关注第5章讲解分布式执行计划。了解执行计划是熟悉数据库工作原理的一种有效方法，分布式执行计划与普通执行计划还是有较大差别的。
　　如果只是想通过本书了解Greenplum数据库与普通关系型数据库的差异，可以先阅读第7章，了解Greenplum架构，然后再选取自己喜欢的章节进行阅读。
　　本书偏向于实战，理论方面的知识相对较少，感兴趣的读者可以结合其他介绍数据库的资料进行阅读，如“PostgreSQL8.2官方文档”、《数据库系统概念》、《数据库系统实现》。
　　虽然Greenplum并不是开源的，但是Greenplum是基于PostgreSQL开发的，而PostgreSQL是开源的。还有，Greenplum自带了很多维护脚本，大部分采用Shell和Python编写。因此，对于想深入理解Greenplum的读者来说，建议结合PostgreSQL源码及Greenplum安装目录下的一些脚本代码进行阅读。通过阅读这些源码，可以加深对Greenplum底层的了解。
　　本书大部分例子都是基于Greenpum 4.1版本进行编写的，在写作的过程，Greenplum已经升级到Greenpum 4.3，因此在书稿快完成时，笔者对全书进行了审核。由于Greenplum 4.3与Greenplum 4.1大部分的内容都是相同的，因此，笔者在书稿中必要的地方采用修改或备注的方式加入了一些Greenplum 4.3的新特性，尽量保证了本书的时效性。
　　勘误和支持
　　本书第1、3、7、8、14章由何勇撰写，其余章节由陈晓峰撰写，由于是第一次写作，在写作上肯定会有很多的不足，加上笔者能力有限，难免会有遗漏或错误。如果读者发现书中有遗漏或错误的地方，可以发邮件到greenplum_book@163.com，同时欢迎大家通过邮件一起交流关于Greenplum的问题。
　　致谢
　　感谢姜迅、吴伟两位老大，我在阿里巴巴B2B数据平台工作时他们给予了我很多帮助，是他们给予了我充足的时间来学习和锻炼；感谢孔令西、孙伟光、张耀耀、江小辉、曾春秋等各位同事对我工作的支持和帮助；感谢一起维护Greenplum数据库的何勇、唐成、王海、任振中，他们带给我一段难忘的共同奋斗的经历。特别感谢女友李梅花在写书过程中的支持和体谅，她作为一个数据分析师，从用户的角度，在本书写作过程中给予了很多宝贵的建议。没有这些支持，我们不可能完成本书的写作。
　　最后，感谢杨福川、姜影在本书出版过程中提供的帮助，尤其是姜影，她在本书审阅过程中非常认真和仔细，指出了书稿中很多的问题。
　　陈晓峰
　　

.　　数据库系统一般分为两种类型，一种是面向前台应用的，应用比较简单，但是重吞吐和高并发的OLTP类型；一种是重计算的，对大数据集进行统计分析的OLAP类型。Greenplum属于后者，下面简单介绍下这两种数据库系统的特点。
　　OLTP（On-Line Transaction Processing，联机事务处理）系统也称为生产系统，它是事件驱动的、面向应用的，比如电子商务网站的交易系统就是一个典型的OLTP系统。OLTP的基本特点是：
　　数据在系统中产生；
　　基于交易的处理系统（Transaction-Based）；
　　每次交易牵涉的数据量很小；
　　对响应时间要求非常高；
　　用户数量非常庞大，主要是操作人员；
　　数据库的各种操作主要基于索引进行。
　　OLAP（On-Line Analytical Processing，联机分析处理）是基于数据仓库的信息分析处理过程，是数据仓库的用户接口部分。OLAP系统是跨部门的、面向主题的，其基本特点是：
　　本身不产生数据，其基础数据来源于生产系统中的操作数据（OperationalData）；
　　基于查询的分析系统；
　　复杂查询经常使用多表联结、全表扫描等，牵涉的数据量往往十分庞大；
　　响应时间与具体查询有很大关系；
　　用户数量相对较小，其用户主要是业务人员与管理人员；
　　由于业务问题不固定，数据库的各种操作不能完全基于索引进行。
　　1.3PostgreSQL与Greenplum的关系
　　1.3.1PostgreSQL
　　PostgreSQL是一种非常先进的对象–关系型数据库管理系统（ORDBMS），是目前功能最强大，特性最丰富和技术最先进的自由软件数据库系统之一，其某些特性甚至连商业数据库都不具备。这个起源于伯克利（BSD）的数据库研究计划目前已经衍生成一项国际开发项目，并且有非常广泛的用户。
　　PostgreSQL的特点可以说是数不胜数，称其为最先进的开源软件数据库当之无愧，支持绝大部分的主流数据库特性，主要体现在如下几方面。
　　（1）函数/存储过程
　　PostgreSQL对非常丰富的过程类语言提供支持，可以编写自定义函数/存储过程。
　　内置的plpgsql，一种类似Oracle的PLsql的语言。
　　支持的脚本语言有：PL/Lua、PL/LOLCODE、PL/Perl、PL/HP、PL/Python、PL/Ruby、PL/sh、PL/Tcl和PL/Scheme。
　　编译语言有C、C++和JAVA。
　　统计语言PL/R。
　　（2）索引
　　PostgreSQL支持用户定义的索引访问方法，并且内置了B-tree、哈希和GiST索引。PostgreSQL中的索引有下面几个特点。
　　可以从后向前扫描。
　　可以创建表达式索引。
　　部分索引。
　　（3）触发器
　　触发器是由SQL查询的动作触发的事件。比如，一个INSERT查询可能激活一个检查输入值是否有效的触发器。大多数触发器都只对INSERT或者UPDATE 查询有效。
　　PostgreSQL完全支持触发器，可以附着在表上，但是不能在视图上。不过视图可以有规则。多个触发器是按照字母顺序触发的。我们还可以用其他过程语言书写触发器函数，不仅仅PL/PgSQL。
　　（4）并发管理（MVCC）
　　PostgreSQL的并发管理使用的是一种叫做“MVCC”（多版本并发机制）的机制，这种机制实际上就是现在在众多所谓的编程语言中极其火爆的“Lock Free”，其本质是通过类似科幻世界的时空穿梭的原理，给予每个用户一个自己的“时空”，然后通过原子的“时空”控制来控制时间基线，并以此控制并发更改的可见区域，从而实现近乎无锁的并发，而同时还能在很大程度上保证数据库的ACID特性。
　　（5）规则（RULE）
　　规则允许我们对由一个查询生成的查询树进行改写。
　　（6）数据类型
　　PostgreSQL支持非常广泛的数据类型，包括：
　　任意精度的数值类型；
　　无限长度的文本类型；
　　几何原语；
　　IPv4和IPv6类型；
　　CIDR块和MAC地址；
　　数组。
　　用户还可以创建自己的类型，并且可以利用GiST框架把这些类型做成完全可索引的，比如来自PostGIS的地理信息系统（GIS）的数据类型。
　　（7）用户定义对象
　　因为PostgreSQL使用一种基于系统表的可扩展的结构设计，所以PostgreSQL内部的几乎所有对象都可以由用户定义，这些对象包括：
　　索引；
　　操作符（内部操作符可以被覆盖）；
　　聚集函数；
　　域；
　　类型转换；
　　编码转换。
　　（8）继承
　　PostgreSQL的表是可以相互继承的。一个表可以有父表，父表的结构变化会导致子表的结构变化，而对子表的插入和数据更新等也会反映到父表中。
　　（9）其他特性与扩展
　　PostgreSQL还支持大量其他的特性，比如：
　　二进制和文本大对象存储；
　　在线备份；
　　TOAST（The Oversized-Attribute Storage Technique）用于透明地在独立的地方保存大的数据库属性，当数据超过一定大小的时候，会自动进行压缩以节省空间；
　　正则表达式。
　　此外PostgreSQL还有大量的附加模块和扩展版本，比如，多种不同的主从/主主复制方案：
　　Slony-I；
　　pgcluster；
　　Mammoth replicator；
　　Bucardo。
　　1.3.2Greenplum
　　简单地说，Greenplum就是一个与Oracle、DB2、PostgreSQL一样面向对象的关系型数据库。我们通过标准的SQL可以对Greenplum中的数据进行访问存取。
　　本质上讲，Greenplum是一个关系型数据库集群，它实际上是由数个独立的数据库服务组合成的逻辑数据库。与Oracle RAC的Shared-Everything架构不同，Greenplum采用Shared-Nothing架构，整个集群由很多个数据节点（Segment Host）和控制节点（Master Host）组成，其中每个数据节点上可以运行多个数据库。简单来说，Shared-Nothing是一个分布式的架构，每个节点相对独立。在典型的Shared-Nothing中，每一个节点上所有的资源（CPU，内存，磁盘）都是独立的，每个节点都只有全部数据的一部分，也只能使用本节点的资源。
　　基于对Shared-Nothing分布式架构模式的分析，Greenplum高效处理I/O数据吞吐和并发计算的过程就很好理解了。在Greenplum中，需要存储的数据在进入数据库时，将先进行数据分布的处理工作，将一个表中的数据平均分布到每个节点上，并为每个表指定一个分发列（distribute Column），之后便根据Hash来分布数据。基于Shared-Nothing的原则，Greenplum这样处理可以充分发挥每个节点处I/O的处理能力。在这一过程中，控制节点（Master Host）将不再承担计算任务，而只负责必要的逻辑控制和客户端交互。I/O瓶颈的解决为并行计算能力的提升创造了良好的环境，所有节点服务器组成一个强大的计算平台，实现快速的海量并行运算。Greenplum在数据仓库、商业智能的应用上，尤其是在海量数据的处理方面性能极其优异。
　　Greenplum是面向数据仓库应用的关系型数据库，它是基于目前流行的PosgreSQL开发的，跟PostgreSQL的兼容性非常好，大部分的PostgreSQL客户端工具及PostgreSQL应用都能运行在Greenplum平台上。
　　1.4Greenplum特性及应用场景
　　1.4.1Greenplum特性
　　（1）支持海量数据存储和处理
　　当今是个数据迅速增长的时代，数据量从过去的MB到GB，再到TB增长到现在的PB级规模，传统的OLTP数据库在TB级别以上的数据管理中已经捉襟见肘。Greenplum使用MPP架构，同时使用多台机器并行计算，极大地提高了对海量数据的处理能力。采取MPP架构的数据库系统才能对海量数据进行管理。
　　（2）高性价比
　　Greenplum数据库可以搭建在业界各种开放式硬件平台上，在硬件选型上有很强的自由性。
　　相比其他封闭式数据仓库专用系统及Hadoop分析平台，Greenplum在每TB数据量上的投资是前者的1/5甚至更低。
　　Greenplum licence相比Oracle RAC、Teradata等，价格低廉。
　　Greenplum易于维护，可以节省大量的维护成本。
　　（3）支持Just In Time BI
　　Greenplum通过准实时、实时的数据加载方式，实现数据仓库的实时更新，进而实现动态数据仓库（ADW）。基于动态数据仓库，业务用户能对当前业务数据进行BI实时分析（Just In Time BI），能够让企业敏锐感知市场的变化，加快决策支持反应速度。
　　（4）系统易用性
　　Greenplum是基于PostgreSQL开发的，语法与PostgreSQL几乎一样，PostgreSQL的工具基本上都能够在Greenplum中使用，比如pgadmin等。Greenplum使用通用的PostgreSQL连接包即可与数据库连接，支持绝大部分开发语言。Greenplum的易用性具体表现如下。
　　支持主流的SQL语法，使用起来十分方便，学习成本低。
　　扩展性好，支持多语言的自定义函数和自定义类型等。
　　提供了大量的维护工具，使用维护起来很方便。
　　在Internet上有着丰富的PostgreSQL资源供用户参考。
　　（5）支持线性扩展
　　Greenplum采用MPP并行处理架构。在MPP架构中增加节点就可以线性提高系统的存储容量和处理能力。Greenplum在扩展节点时操作简单，在很短时间内就能完成数据的重新分布。Greenplum线性扩展支持为数据分析系统将来的拓展提供了技术上的保障，使用户可根据实施需要进行容量和性能的扩展。
　　（6）较好的并发支持及高可用性支持
　　Greenplum是高可用的系统，在已有案例中最多使用了96台机器的集群MPP环境。除了硬件级的Raid技术外，Greenplum还提供数据库层Mirror机制保护，也就是将每个节点的数据在另外的节点中同步镜像，单个节点的错误不影响整个系统的使用。对于主节点，Greenplum提供Master/Stand by机制进行主节点容错，当主节点发生错误时，可以切换到Stand by节点继续服务。
　　（7）支持MapReduce
　　MapReduce已经被谷歌和雅虎等互联网领先企业证明是一种大规模数据分析技术，Greenplum将这种能力提供给企业。
　　（8）数据库内部压缩
　　面对海量数据，压缩可以节省很大的空间，而且在对大数据的分析时，压缩也可能减少对磁盘的访问。Greenplum支持对数据库表进行压缩处理，从而提升数据库的性能。
　　1.4.2Greenplum应用场景
　　Greenplum数据引擎是为新一代数据仓库和大规模分析处理而建立的软件解决方案，其最大的特点是不需要高端的硬件支持仍然可以支撑大规模的高性能数据仓库和商业智能查询。在数据仓库、商业智能的应用上，尤其在海量数据的处理方面Greenplum表现出极其优异的性能。
　　传统数据库侧重交易处理，关注的是多用户的同时的双向操作，在保障即时性的要求下，系统通过内存来处理数据的分配、读写等操作，存在IO瓶颈。而分析型数据库是以实时多维分析技术作为基础，对数据进行多角度的模拟和归纳，从而得出数据中所包含的信息和知识。Greenplum虽然是关系型数据库产品，但是它具有查询速度快、数据装载速度快、批量DML处理快的主要特点，而且性能可以随着硬件的添加呈线性增加，拥有非常良好的可扩展性。因此，Greenplum主要适用于面向分析的应用，比如构建企业级ODS/EDW、数据集市等。
　　在国内，笔者所在公司—阿里巴巴（中国）网络技术有限公司，从2008年开始引入Greenplum，将原有的Oracle RAC迁移到Greenplum上，作为数据仓库的计算中心，其中一个应用就是通过分析用户的网络点击日志进行产品的关联分析。支付宝在2008年也引入了Greenplum数据库作为数据中心。国内还有很多银行也引入了Greenplum作为基础的数据平台，如北京银行、深发展银行、中信银行信用卡中心等。在TB级的数据仓库的OLAP应用中Greenplum在易用性和性能方面有着很大的优势。
　　1.5小结
　　本章非常简短地介绍了Greenplum产生的背景，并分别对比OLTP与OLAP、PostgreSQL和Greenplum，另外简要介绍了Greenplum的特性、应用场景及发展历程，相信通过这一章能让读者在总体上对Greenplum有所认识。
　　第2章
　　Greenplum快速入门
　　本章将介绍如何快速安装部署Greenplum，以及Greenplum的一些常用命令及工具。“工欲善其事，必先利其器”，因此我们先从如何安装Greenplum开始介绍，然后介绍一些简单的工具，以及Greenplum的语法及特性。
　　为了让读者更加快速地入门，避免涉及太多底层的东西。本章不会涉及硬件选型、操作系统参数讲解、机器性能测试等高级内容，这些会在“第8章Greenplum线上环境部署”中介绍。
　　2.1软件安装及数据库初始化
　　下面先介绍如何搭建一个完整的Greenplum环境。在搭建环境之前，我们必须对Greenplum的架构有一定的了解，并且准备好安装部署的机器，机器硬件、操作系统的安装配置读者可自行完成。
　　2.1.1Greenplum架构
　　在安装数据库的时候，我们先要对Greenplum架构有一定的了解，这样可以对数据库的安装和使用起到一个指导性的作用。同时在搭建Greenplum环境的过程中，可以加深对Grenplum架构的理解。Greenplum总体架构图如图2-1所示。
　　图2-1Greenplum总体架构图
　　下面介绍每个部件的主要功能，如表2-1所示。
　　表2-1Master主机与Segment主机对比
　　Master主机负责 Segment主机负责
　　1）建立与客户端的会话连接和管理
　　2）SQL的解析并形成分布式的执行计划
　　3）将生成好的执行计划分发到每个Segment上执行
　　4）收集Segment的执行结果
　　5）Master不存储业务数据，只存储数据字典
　　6）Master主机可以一主一备，分布在两台机器上
　　7）为了提高性能，Master最好单独占用一台机器 1）业务数据的存储和存取
　　2）执行由Master分发的SQL语句
　　3）对于Master来说，每个Segment都是对等的，负责
　　 对应数据的存储和计算
　　4）每一台机器上可以配置一到多个Segment
　　5）由于每个Segment都是对等的，建议采用相同的机器
　　 配置
　　6）Segment分primary和mirror两种，一般交错地存放
　　 在子节点上
　　
　　通过图2-2可以看出Master与Segment的关系。
　　
　　图2-2Master与Segment的关系
　　Master和Segment其实都是一个单独的PostgreSQL数据库。每一个都有自己单独的一套元数据字典，在这里，Master节点一般也叫主节点，Segment也叫做数据节点。
　　Segment节点与Master节点的通信，通过千兆（或万兆）网卡组成的内部连接（InterConnect），在同一台数据节点机器上可以放多个Segment，不同的Segment节点会被赋予不同的端口，同时，Segment之间也不断地进行着交互。为了实现高可用，每个Segment都有对应的备节点（Mirror Segment），分别存在于不同的机器上。
　　Client一般只能与Master节点进行交互，Client将SQL发给Master，然后Master对SQL进行分析后，再将其分配给所有的Segment进行操作，并且将汇总结果返回给客户端。
　　2.1.2环境搭建
　　1. Greenplum集群介绍
　　在这里的Greenplum集群中，有4台机器，IP分别是：
　　10.20.151.7；
　　10.20.151.8；
　　10.20.151.9；
　　10.20.151.10。
　　机器对应的Master和Segment如下分配：10.20.151.7作为Master节点，10.20.151.8～10作为Segment节点，每个机器上配置两个Primary Segment和两个Mirror Segment；同时10.20.151.10作为Master Standy节点。
　　通过图2-3的架构图可以清晰地知道我们所搭建的集群的概况。
　　
　　图2-3安装测试环境的Greenplum架构
　　2. 安装Linux
　　Greenplum没有Windows版本，只能安装在类UNIX的操作系统上，例如：
　　SUSE Linux SLES 10.2 or higher；
　　CentOS 5.0 or higher；
　　RedHat Enterprise Linux 5.0 or higher；
　　Solaris x86 v10 update 7。
　　如果读者没有现成的Linux机器，可以在虚拟机（如VMWare）上安装，用户可自行安装VMWare及对应的Linux操作系统，网上相应的资料很多，这里就不再阐述。
　　3. 数据库存储
　　对于数据库来说，在性能上磁盘IO很容易成为瓶颈，由于数据库的特性，每一个SQL基本都是对全表数据进行分析，每次处理的数据量非常大，数据基本上都是没有缓存的（数据字典除外），极度消耗IO资源（全表扫描主要都是顺序IO），所以Greenplum对存储的要求比较高。在文件系统的选择上，在Linux下建议使用XFS，在Solaris下建议使用ZFS，对于Raid根据需求选择硬Raid或软Raid，如果需要更大的空间，建议使用Raid 5，如果对性能有更高的要求，可以选择Raid 1+0。相关内容请参考第8章关于Greenplum线上环境部署的介绍。
　　如果只是想试用Greenplum，数据量比较小，那么怎么存储无所谓，可以用任意的目录作为数据库数据目录。
　　4. 网络（hosts）
　　在确定机器配置的时候，要保证所有机器的网络都是通的，并且每台机器的防火墙都是关闭的，避免存在网络不通的问题。
　　在配置/etc/hosts时，习惯将Master机器叫做mdw，将Segment机器叫做sdw，配置好后，使用ping命令确定所有hostname都是通的。
　　#cat /etc/hosts
　　#BEGIN_GROUP_CUSTOMER
　　127.0.0.1 localhost localhost.localdomain
　　10.20.151.7 dw-greenplum-1 mdw
　　10.20.151.8 dw-greenplum-2 sdw1
　　10.20.151.9 dw-greenplum-3 sdw2
　　10.20.151.10 dw-greenplum-4 sdw3
　　#END_GROUP_CUSTOMER
　　5. 创建用户及用户组
　　创建gpadmin用户及用户组，将其作为安装Greenplum的操作系统用户。