基本信息

【插图】

编辑推荐
本书是春波一线实践经验的积累和沉淀,内容覆盖了Greenplum从入门到深入应用,再到运维监控和性能调优的各个方面。此外,对数据中台的各个要素也进行了详细的讲解,用案例和图文并茂的方式阐述了基于Greenplum的数据中台建设。
——曹正炎上海汉得信息技术股份有限公司数据研发中心总经理
本书对Greenplum的技术特点、适用场景、常见问题等都做了非常详尽的阐述。难能可贵的是,作者结合项目实践,对如何利用Greenplum数据库解决分析需求、服务业务创新、发挥数据价值也给出了实用高效的经验分享。对于初学者,本书可以帮助其快速成长为Greenplum专业人才;对于有经验的从业人员,本书也是难得的查漏补缺、总结经验的工具书。
——杨宏武上海启高信息科技有限公司联合创始人兼CTO
本书通过讲背景、说架构、述功能、举案例的方式,由浅入深地层层剖析了Greenplum的架构原理和功能组件,并通过实战项目讲述了Greenplum适用的各项应用场景。
——黎文惠润智科技有限公司大数据架构师
市面上关于Hive和Spark的书非常多,关于Greenplum和数据中台结合的数据却没有,本书填补了这一空白。很多中小企业其实并不需要一套架构复杂的Hadoop平台,Greenplum集群才是他们的最佳选择。
——苏丹成都慧择网络技术有限公司数据产品经理
内容简介
计算机书籍
内容简介
这不仅是一本从原理到使用、从入门到进阶讲解Greenplum的著作,而且是一本指导企业用更省钱、更高效地方式使用Greenplum构建企业级数据仓库和数据中台的著作。
作者在数据架构和数据仓库一线工作10余年,积累了丰富的项目经验,他用浅显易懂的语言、贴近生产环境的案例、丰富的示意图例写作了本书,能帮助读者快速掌握具有实战价值的知识。
具体地,阅读本书你将收获如下内容:
?掌握数据仓库技术的发展历程和发展方向;
?理解MPP架构的架构特点和实现逻辑;
?Greenplum数据库的安装和基本操作;
?Greenplum数据库的工作原理;
?SQL语句从入门到开发实战;
?Greenplum数据库ETL相关功能的具体用途;
?机器学习、文本处理、图计算、GIS等的入门知识;
?掌握Greenplum数据库的运维和监控要点;
?全面掌握Greenplum数据库的性能优化;
?数据中台的理念和建设路径;
?数据中台从接口到智能化应用的项目实战;
?零售行业数据中台的项目实战案例。
作译者
王春波
资深架构师和数据仓库专家,现任上海启高信息科技有限公司大数据架构师,Apache Doris和openGauss贡献者,Greenplum中文社区参与者。
具有十多年的数据仓库、数据集市、数据中台项目实战经验,对大数据主流技术架构、产品选型与解决方案有深入研究,尤其擅长用优雅的SQL实现复杂的逻辑。
常年奔波在各个项目交付现场,曾成功主导过中国邮政储蓄银行、南海农商银行、广东省联社、前海微众银行、广东南粤银行等多家银行的管理会计项目,以及卡宾、安踏、特步等多家零售鞋服企业的数据中台项目。
公众号“数据中台研习社”运营者。
目录
序二
序三
前言
第一部分 大数据平台概述
第1章 大数据平台技术的演进2
1.1 关系型数据库2
1.1.1 数据库发展历程2
1.1.2 关系型数据库独霸天下4
1.1.3 结构化查询语言SQL4
1.1.4 列存储的兴起5
1.2 Hadoop生态系统7
1.2.1 Hadoop概述7
1.2.2 Hadoop生态圈7
1.2.3 Hadoop的优缺点9
1.3 NoSQL的瓶颈和SQL数据库的回归10
1.3.1 NoSQL产品的发展10
1.3.2 NoSQL的共性11
1.3.3 SQL数据库的回归12
1.4 MPP架构的兴起14
前言
2012年我步入企业数据分析领域,一度聚焦于银行业管理会计系统。管理会计系统是银行业最重要的数据分析与应用系统。在上线管理会计系统之前,银行业只能通过简单的统计报表应对各种业务统计需求。管理会计系统帮助银行实现了经营数据的汇总整合、数据质量的提升、精细化管理的转变,一跃成为银行业最核心的数据应用系统。
银行业的管理会计系统通常构建在数据仓库之上,是一个面向应用的数据集市,虽然整体架构和数据仓库类似,但是系统的数据容量略小。早期的管理会计系统都是基于Oracle、DB2、SQL Server实现的。2017年年底,我第一次接触到了大数据平台,参与了银行业第一个基于Hadoop平台的管理会计系统项目建设。
身为传统数据库开发工程师,我在Oracle和DB2数据库上积累的经验在Hive上完全无用武之地。在完成Hive数据分析项目的同时,我一边恶补Hadoop的相关知识,一边深入理解Hive执行过程和执行原理,终于在项目后期掌握了Hive数据仓库的优化策略和调优参数。尽管已经有了Hive的优化经验,我仍然很难认可Hive的数据仓库领导者地位。即使后面用到了Tez、Hive on Spark等更加快速的查询引擎,脚本式的开发过程和大表关联的性能瓶颈,仍然让我对Hive很不满意。
直到有一天,我发现了Greenplum数据库,才知道分布式数据库其实还有更好的选择。MPP架构作为传统数据库架构设计的“正统继承者”,既满足了大数据量查询的性能要求,又解决了SQL语言的兼容性问题。
正是基于Greenplum数据库带给我的惊喜,我才特别想将使用经验分享给大家,从而推动更多企业使用Greenplum数据库,让它们用更省钱、更快捷的方式实现企业级数据仓库和数据中台。
虽然现在ClickHouse和Doris正在崛起,新一代的架构可能会超越Greenplum数据库,但是Greenplum数据库胜在生态成熟、技术稳定,完全可以满足大部分中小企业的数据分析需求。
Greenplum曾经在阿里巴巴作为Oracle集群的替代产品,成为数据仓库的核心数据库(虽然后来被自研产品换掉,但是阿里巴巴当时的数据体量是很多公司未来10年都不可能达到的),而且这些年来,Greenplum数据库技术更加成熟,生态更为完善,性能也得到了大幅提高。
阿里云推出的云原生数据仓库AnalyticDB for PostgreSQL正是基于Greenplum的改进版本。百度云、京东云也陆续推出了基于Greenplum的云上数据仓库平台,腾讯云和华为云则主推自家研发的同类产品(腾讯TBase和华为GaussDB)。这说明各大云厂商都看好MPP架构数据库在OLAP领域的应用趋势。这些数据仓库平台都是基于PostgreSQL研发的,并且都参考了Greenplum的架构体系。因此,深入研究Greenplum可以达到触类旁通的作用。从主推以Hive为核心的大数据平台到回归Greenplum生态,说明云厂商的产品定位在发生转变。对于广大中小型企业,Greenplum才是最适合它们的数据库产品。
读者对象
本书适合以下读者。
商业智能分析领域的工程师。Greenplum作为一款简单易用、性能卓越的OLAP分析数据库,非常适合作为数据分析的底层数据库。通过阅读本书,读者可以快速掌握Greenplum的使用,并可以从其他环境抽取数据到Greenplum进行数据分析,进一步提升工作效率。
数据分析领域的ETL工程师。MPP数据库的原理是数据分析领域的ETL工程师必须掌握的技术知识点。通过本书,读者不仅可以学习并掌握MPP架构的开源数据库,以及PostgreSQL和Greenplum数据库语法,还可以基于Greenplum构建完整的数据仓库、数据中台系统。
系统架构师。OLAP数据库选型一直是系统架构领域的难点,通过本书,读者可以全面认识Greenplum数据库的优点和缺点,从而务实地在Hadoop和Greenplum中做出明智的选择。此外,Greenplum会大幅降低开发成本,提高开发效率,提升企业的信息服务水平。
计算机专业的高校学生。如今,很多高校都开设了数据库和大数据相关的课程,然而Hadoop的复杂性和不稳定性让入门者胆怯,基于PostgreSQL的MPP数据库Greenplum会是这部分读者最好的选择。
本书特色
本书结合数据中台的建设,从建设思路、接口实战、建模实战到数据中台管理和应用,全方位解读基于Greenplum数据库实现数据中台的过程,并辅之以零售行业数据中台的案例,深入剖析数据中台建设的全过程,帮助读者掌握数据中台的实战要领。
在行文方面,本书尽可能使用浅显易懂的语言,并通过大量的演示案例来引导读者深入学习。在关键环节,本着“有图有真相”的原则,配有大量的截图和示意图帮助读者加深对知识的理解。
如何阅读本书
本书内容分为4部分。
媒体评论
——曹正炎 上海汉得信息技术股份有限公司数据研发中心总经理
本书对Greenplum的技术特点、适用场景、常见问题等都做了非常详尽的阐述。难能可贵的是,作者结合项目实践,对如何利用Greenplum数据库解决分析需求、服务业务创新、发挥数据价值也给出了实用高效的经验分享。对于初学者,本书可以帮助其快速成长为Greenplum专业人才;对于有经验的从业人员,本书也是难得的查漏补缺、总结经验的工具书。
——杨宏武 上海启高信息科技有限公司联合创始人兼CTO
本书通过讲背景、说架构、述功能、举案例的方式,由浅入深地层层剖析了Greenplum的架构原理和功能组件,并通过实战项目讲述了Greenplum适用的各项应用场景。
——黎文惠 润智科技有限公司大数据架构师
市面上关于Hive和Spark的书非常多,关于Greenplum和数据中台结合的数据却没有,本书填补了这一空白。很多中小企业其实并不需要一套架构复杂的Hadoop平台,Greenplum集群才是他们的最佳选择。
——苏丹 成都慧择网络技术有限公司数据产品经理