企业级大数据平台构建：架构与实现
资深大数据专家/一线架构师20000小时实际工作经验总结
从横向视角出发，拉通Hadoop体系技术栈，手把手教你快速构建一个真实可用、安全可靠的企业级大数据平台
从横向视角出发，拉通Hadoop体系技术栈，手把手教你快速构建一个真实可用、安全可靠的企业级大数据平台
基本信息
【插图】
编辑推荐
资深大数据专家/一线架构师20000小时实际工作经验总结
从横向视角出发，拉通Hadoop体系技术栈，手把手教你快速构建一个真实可用、安全可靠的企业级大数据平台
内容简介
书籍
计算机书籍
本书第1章介绍了信息安全人员做安全评估、渗透测试常用的系统环境与网络环境配置。第2章介绍了黑客入门基础——社会工程学。第3章介绍了密码学理论和开源工具GnuPG与OpenSSL的配置与使用。第4章介绍了一些常用的黑客手法，然后引出相对应的防护策略，并且介绍了一款开源漏洞扫描工具。第5章介绍了三种常见的Web安全问题：欺骗攻击、数据库注入与XSS跨站攻击。第6章介绍了入侵检测工具Snort和开源蜜罐体系Honeyd。第7章介绍了WiFi中WEP和WPA/WPA2的破解方法以及无线路由中常见的UPnP带来的安全隐患。第8章介绍了国家推动信息安全战略的依据及测评流程，并针对与真实测评一致的部分内容进行模拟测评。
本书既可作为面向计算机工程、软件工程、信息工程等IT相关学科的信息安全实训教材，还可作为信息安全相关人员的培训教材。
计算机书籍
本书第1章介绍了信息安全人员做安全评估、渗透测试常用的系统环境与网络环境配置。第2章介绍了黑客入门基础——社会工程学。第3章介绍了密码学理论和开源工具GnuPG与OpenSSL的配置与使用。第4章介绍了一些常用的黑客手法，然后引出相对应的防护策略，并且介绍了一款开源漏洞扫描工具。第5章介绍了三种常见的Web安全问题：欺骗攻击、数据库注入与XSS跨站攻击。第6章介绍了入侵检测工具Snort和开源蜜罐体系Honeyd。第7章介绍了WiFi中WEP和WPA/WPA2的破解方法以及无线路由中常见的UPnP带来的安全隐患。第8章介绍了国家推动信息安全战略的依据及测评流程，并针对与真实测评一致的部分内容进行模拟测评。
本书既可作为面向计算机工程、软件工程、信息工程等IT相关学科的信息安全实训教材，还可作为信息安全相关人员的培训教材。
作译者
朱凯 资深大数据专家和架构师，现就职于远光软件，担任大数据事业平台部副总经理。
拥有10年IT从业经验，精通大数据、Java、Node.JS等技术。对大数据领域的主流技术与解决方案有深入研究，擅长分布式系统的架构设计与整合。曾主导过多款大数据平台级产品的规划设计与研发工作，一线实战经验丰富。
拥有10年IT从业经验，精通大数据、Java、Node.JS等技术。对大数据领域的主流技术与解决方案有深入研究，擅长分布式系统的架构设计与整合。曾主导过多款大数据平台级产品的规划设计与研发工作，一线实战经验丰富。
目录
推荐序 思者常新，厚积薄发
前 言
第1章 浅谈企业级大数据平台的重要性 1
1.1 缺乏统一大数据平台的问题 2
1.1.1 资源浪费 2
1.1.2 数据孤岛 2
1.1.3 服务孤岛 3
1.1.4 安全存疑 3
1.1.5 缺乏可维护性和可扩展性 3
1.1.6 缺乏可复制性 4
1.2 构建统一大数据平台的优势 4
1.3 企业级大数据平台需要具备的基本能力 6
1.3.1 集群管理与监控 7
1.3.2 数据接入 7
1.3.3 数据存储与查询 7
1.3.4 数据计算 8
1.3.5 平台安全与管理 10
1.4 平台辅助工具 12
1.5 本章小结 13
第2章 企业级大数据平台技术栈介绍 15
前 言
第1章 浅谈企业级大数据平台的重要性 1
1.1 缺乏统一大数据平台的问题 2
1.1.1 资源浪费 2
1.1.2 数据孤岛 2
1.1.3 服务孤岛 3
1.1.4 安全存疑 3
1.1.5 缺乏可维护性和可扩展性 3
1.1.6 缺乏可复制性 4
1.2 构建统一大数据平台的优势 4
1.3 企业级大数据平台需要具备的基本能力 6
1.3.1 集群管理与监控 7
1.3.2 数据接入 7
1.3.3 数据存储与查询 7
1.3.4 数据计算 8
1.3.5 平台安全与管理 10
1.4 平台辅助工具 12
1.5 本章小结 13
第2章 企业级大数据平台技术栈介绍 15
前言
为什么要写这本书
近年来，大数据这个概念越来越火爆，特别是在国家层面，大数据被提升到了国家战略的高度。在这样的背景下，很多传统企业开始涉足大数据领域并研发自己的大数据技术平台。在这股技术升级与转型的浪潮中，传统领域的程序员纷纷转型投向大数据的怀抱。目前大数据技术开源领域以Hadoop生态构建的技术体系为主。现在市面上有很多与Hadoop体系相关的技术书籍，Hadoop、Spark这类火爆的技术已经有大量优秀的专业书籍进行讲解。但我发现这类书籍多是以纵向的视角去讲解某一类具体的技术，而大数据领域涉及的知识繁多，在构建大数据平台的过程中我们不仅需要精通单个技术组件的知识，还需要拥有横向整合拉通Hadoop体系技术栈的能力。而这类横向拉通Hadoop体系技术栈的书籍并不多见。所以我将自己在构建大数据平台上的一些经验和实践进行了整理，分享给各位读者。希望本书能够为各位读者构建大数据平台或解决方案提供一定的帮助。
读者对象
想了解大数据技术，想进入大数据领域的工程师：作为一个想进入大数据领域的“新人”，你可以通过本书从宏观的视角迅速对大数据的基础设施和技术栈有一个全面的认识和了解。本书可以作为你的入门指南和技术栈索引目录。
大数据领域的中高级工程师：作为一个大数据领域的中高级工程师，对Hadoop生态体系的技术应该早已运用自如。通过本书的学习，相信你对大数据领域多种技术栈的整合会有一个更深刻的认识。同时本书中的一些平台级方案也会帮助你提升在平台架构方面的造诣。
平台架构师：作为一个平台架构师，本书中的一些解决方案和设计思路可以作为你进行系统架构的参考资料。
本书主要内容
本书从企业的实际需求出发，完整地介绍了构建一个真实可用、安全可靠的企业级大数据平台所需要运用的知识体系，并详细地描述了构建企业级大数据平台的设计方案和实施步骤。
本书逻辑上可分为3大部分，共8章，每个章节循序渐进：
第一部分（第1、2章）描述了企业级大数据平台的需求和能力。
第二部分（第3～5章）着重讲述了如何去搭建并配置一个大数据平台，以及如何构建非常重要的平台安全方案。
第三部分（第6～8章）以实战的形式讲解如何以Java编码的方式实现平台的基础管理功能，以提升其易用性与可用性。
具体各章内容如下：
第1章阐述企业级大数据平台的重要性，并解释了为什么需要构建一个统一的企业级大数据平台。接着介绍作为一个企业级大数据平台应当具备的能力，并解释其原因。
第2章介绍通过Hadoop生态体系去构建一个企业级大数据平台可以使用的技术栈，如HDFS、HBase、Spark等，并一一介绍了它们的核心概念。
第3章介绍集群管理工具Ambari，并站在集群服务器的角度分类解释如何去设计一个Hadoop集群，详细描述了如何使用Ambari来安装、管理和监控一个Hadoop集群。
第4章介绍企业级大数据平台中非常重要的安全部分。首先阐述了企业级大数据平台面临的一些安全隐患，接着展示了一套初级解决方案并介绍了如何使用Knox和Ranger解决访问控制和数据授权与管理的问题。
第5章着重介绍Hadoop服务的安全方案，并说明如何通过Kerberos协议等一系列措施来保障Hadoop集群的安全。
第6章阐述大数据平台在易用性上的一些遗留问题，接着介绍如何通过CAS实现平台的单点登录功能，最后描述如何使用Java程序实现统一的用户管理服务。
第7章简单阐述服务化的重要性以及如何将大数据平台管理端的功能封装成RESTful服务。首先介绍了如何使用Spring-Boot快速搭建一套RESTful服务的程序框架，接着详细描述如何实现Kerberos用户查询、Hive数据仓库查询和元数据查询等一系列RESTful服务。
近年来，大数据这个概念越来越火爆，特别是在国家层面，大数据被提升到了国家战略的高度。在这样的背景下，很多传统企业开始涉足大数据领域并研发自己的大数据技术平台。在这股技术升级与转型的浪潮中，传统领域的程序员纷纷转型投向大数据的怀抱。目前大数据技术开源领域以Hadoop生态构建的技术体系为主。现在市面上有很多与Hadoop体系相关的技术书籍，Hadoop、Spark这类火爆的技术已经有大量优秀的专业书籍进行讲解。但我发现这类书籍多是以纵向的视角去讲解某一类具体的技术，而大数据领域涉及的知识繁多，在构建大数据平台的过程中我们不仅需要精通单个技术组件的知识，还需要拥有横向整合拉通Hadoop体系技术栈的能力。而这类横向拉通Hadoop体系技术栈的书籍并不多见。所以我将自己在构建大数据平台上的一些经验和实践进行了整理，分享给各位读者。希望本书能够为各位读者构建大数据平台或解决方案提供一定的帮助。
读者对象
想了解大数据技术，想进入大数据领域的工程师：作为一个想进入大数据领域的“新人”，你可以通过本书从宏观的视角迅速对大数据的基础设施和技术栈有一个全面的认识和了解。本书可以作为你的入门指南和技术栈索引目录。
大数据领域的中高级工程师：作为一个大数据领域的中高级工程师，对Hadoop生态体系的技术应该早已运用自如。通过本书的学习，相信你对大数据领域多种技术栈的整合会有一个更深刻的认识。同时本书中的一些平台级方案也会帮助你提升在平台架构方面的造诣。
平台架构师：作为一个平台架构师，本书中的一些解决方案和设计思路可以作为你进行系统架构的参考资料。
本书主要内容
本书从企业的实际需求出发，完整地介绍了构建一个真实可用、安全可靠的企业级大数据平台所需要运用的知识体系，并详细地描述了构建企业级大数据平台的设计方案和实施步骤。
本书逻辑上可分为3大部分，共8章，每个章节循序渐进：
第一部分（第1、2章）描述了企业级大数据平台的需求和能力。
第二部分（第3～5章）着重讲述了如何去搭建并配置一个大数据平台，以及如何构建非常重要的平台安全方案。
第三部分（第6～8章）以实战的形式讲解如何以Java编码的方式实现平台的基础管理功能，以提升其易用性与可用性。
具体各章内容如下：
第1章阐述企业级大数据平台的重要性，并解释了为什么需要构建一个统一的企业级大数据平台。接着介绍作为一个企业级大数据平台应当具备的能力，并解释其原因。
第2章介绍通过Hadoop生态体系去构建一个企业级大数据平台可以使用的技术栈，如HDFS、HBase、Spark等，并一一介绍了它们的核心概念。
第3章介绍集群管理工具Ambari，并站在集群服务器的角度分类解释如何去设计一个Hadoop集群，详细描述了如何使用Ambari来安装、管理和监控一个Hadoop集群。
第4章介绍企业级大数据平台中非常重要的安全部分。首先阐述了企业级大数据平台面临的一些安全隐患，接着展示了一套初级解决方案并介绍了如何使用Knox和Ranger解决访问控制和数据授权与管理的问题。
第5章着重介绍Hadoop服务的安全方案，并说明如何通过Kerberos协议等一系列措施来保障Hadoop集群的安全。
第6章阐述大数据平台在易用性上的一些遗留问题，接着介绍如何通过CAS实现平台的单点登录功能，最后描述如何使用Java程序实现统一的用户管理服务。
第7章简单阐述服务化的重要性以及如何将大数据平台管理端的功能封装成RESTful服务。首先介绍了如何使用Spring-Boot快速搭建一套RESTful服务的程序框架，接着详细描述如何实现Kerberos用户查询、Hive数据仓库查询和元数据查询等一系列RESTful服务。
序言
推荐序
思者常新，厚积薄发
相比以BAT为引领的互联网公司的天生“数质”（业务高度数字化，技术更具创新性和开放性），大多数传统集团企业经过之前ERP时代积累了海量的业务数据。但是由于业务的复杂性与新老技术升级变革的压力，面对汹涌而来的大数据浪潮，这些企业却依旧停留在探索技术如何稳步更替升级、分散在不同部门的数据如何更有效地集中统一、数据本身以及数据技术如何有效形成企业级治理体系等一系列“知易行难”的问题当中。
相比两年前全民热捧大数据概念的疯狂，数据本身和大数据主流技术显然已经稳步度过了“过高期望的峰值期”和“泡沫化的低谷期”，正式进入“稳步爬升的光明期”。正因为这
样，在这个黎明前的时期，传统企业如何平稳完成数字化变革带来的技术架构变迁，找到去伪存真的企业级大数据实战指南就显得尤为重要了。
最近十年，我一直在远光软件从事电力企业信息化相关的工作，组织、带领了包括企业大数据平台、企业新一代敏捷BA平台与能源BDaaS平台在内的研发团队。电力企业在国内正是信息化水平较高，但业务运营和技术管控模式最为复杂的一类企业。正是意识到“生于互联网的大数据技术对于集团企业的大数据应用支撑不足”这一事实，我们很早就开始孵化相关的团队、探索相关的应用。直到我们在公司正式组建第一支“企业大数据产品商业化团队”的时候，本书作者通过“普通社招”成为第一批加入的开发工程师之一。在短短的半年时间内，他就在如何快速学习新技术、实践新架构方面展现出高于常人、高于前辈的能力和素养。
四年的时间，我们的大数据产品EDT、创新数字化平台产品Realinsight相继诞生，我们和用户一起完成了一个又一个企业大数据解决方案实战。用户数屡创新高、嘉奖年年不断，获得了市场和行业的肯定。当年那支由20人组成的产品团队，一年一个台阶发展为如今公司的一级产品事业部，当年那个“普通开发工程师”也当仁不让地成为我们整个大数据产品线中最为核心的系统架构师和技术布道师。
在此过程中，本书作者和各个技术同仁、产品经理、业务部门同事紧密合作，而这本著作就融入了他在这些实战项目中所积累的丰富经验。所以，本书最大的闪光点在于，它的内容不局限于技术本身，而是考虑到了在不同企业应用场景下，这些技术如何得到更合理地应用。除此之外，作者文艺青年的背景让这本书读起来极其顺畅，他的钻研精神又让这本书在理论上更具深度。因此，本书除了适合集团企业的技术管理人员通读外，也非常适合从事大数据产品相关工作的设计者、产品经理或者架构师阅读。我想，对于希望利用大数据技术解决业务痛点的读者而言，本书更是不可或缺的良师益友。
当得知朱凯有出书的打算时，我们都很兴奋。谁会比他更能胜任这件事呢？毫无疑问，这会是国内企业大数据技术领域的一本不可多得的图书。“思者常新，厚积薄发”正是我对本书作者这几年状态的一个真实表述，但同时也是对于正走向真正落地的企业大数据时代的共勉。数字经济时代已经到来，作为这个时代积极的参与者，我们渴望和更多的思考者共同分享、一起创造，实现企业大数据技术应用的爆发。
远光软件大数据事业部总经理解来甲
思者常新，厚积薄发
相比以BAT为引领的互联网公司的天生“数质”（业务高度数字化，技术更具创新性和开放性），大多数传统集团企业经过之前ERP时代积累了海量的业务数据。但是由于业务的复杂性与新老技术升级变革的压力，面对汹涌而来的大数据浪潮，这些企业却依旧停留在探索技术如何稳步更替升级、分散在不同部门的数据如何更有效地集中统一、数据本身以及数据技术如何有效形成企业级治理体系等一系列“知易行难”的问题当中。
相比两年前全民热捧大数据概念的疯狂，数据本身和大数据主流技术显然已经稳步度过了“过高期望的峰值期”和“泡沫化的低谷期”，正式进入“稳步爬升的光明期”。正因为这
样，在这个黎明前的时期，传统企业如何平稳完成数字化变革带来的技术架构变迁，找到去伪存真的企业级大数据实战指南就显得尤为重要了。
最近十年，我一直在远光软件从事电力企业信息化相关的工作，组织、带领了包括企业大数据平台、企业新一代敏捷BA平台与能源BDaaS平台在内的研发团队。电力企业在国内正是信息化水平较高，但业务运营和技术管控模式最为复杂的一类企业。正是意识到“生于互联网的大数据技术对于集团企业的大数据应用支撑不足”这一事实，我们很早就开始孵化相关的团队、探索相关的应用。直到我们在公司正式组建第一支“企业大数据产品商业化团队”的时候，本书作者通过“普通社招”成为第一批加入的开发工程师之一。在短短的半年时间内，他就在如何快速学习新技术、实践新架构方面展现出高于常人、高于前辈的能力和素养。
四年的时间，我们的大数据产品EDT、创新数字化平台产品Realinsight相继诞生，我们和用户一起完成了一个又一个企业大数据解决方案实战。用户数屡创新高、嘉奖年年不断，获得了市场和行业的肯定。当年那支由20人组成的产品团队，一年一个台阶发展为如今公司的一级产品事业部，当年那个“普通开发工程师”也当仁不让地成为我们整个大数据产品线中最为核心的系统架构师和技术布道师。
在此过程中，本书作者和各个技术同仁、产品经理、业务部门同事紧密合作，而这本著作就融入了他在这些实战项目中所积累的丰富经验。所以，本书最大的闪光点在于，它的内容不局限于技术本身，而是考虑到了在不同企业应用场景下，这些技术如何得到更合理地应用。除此之外，作者文艺青年的背景让这本书读起来极其顺畅，他的钻研精神又让这本书在理论上更具深度。因此，本书除了适合集团企业的技术管理人员通读外，也非常适合从事大数据产品相关工作的设计者、产品经理或者架构师阅读。我想，对于希望利用大数据技术解决业务痛点的读者而言，本书更是不可或缺的良师益友。
当得知朱凯有出书的打算时，我们都很兴奋。谁会比他更能胜任这件事呢？毫无疑问，这会是国内企业大数据技术领域的一本不可多得的图书。“思者常新，厚积薄发”正是我对本书作者这几年状态的一个真实表述，但同时也是对于正走向真正落地的企业大数据时代的共勉。数字经济时代已经到来，作为这个时代积极的参与者，我们渴望和更多的思考者共同分享、一起创造，实现企业大数据技术应用的爆发。
远光软件大数据事业部总经理解来甲
媒体评论
大数据已经成为数据分析领域的基石，而众多的技术栈使得用户无从下手，业界急需一本由浅入深，从企业实际需求出发，讲述大数据平台构建核心技术和规划的书。很高兴看到作者基于自己的实践将相关经验整理成书，为业界带来了这样一部难得的好作品。
——韩卿 Apache Kylin 联合创建者、PMC Chair/Kyligence 联合创始人兼 CEO
以横向视角构建以Hadoop为基础的大数据平台，涉及需要考量的集群管理、平台安全性、SSO等，深入浅出，实战味道浓厚，推荐阅读。
——于君泽蚂蚁金服高级技术专家
本书是作者多年大数据平台实战经验的结晶，是一本难得的横向拉通大数据技术体系的好书。对于想快速构建一个好用又安全的企业级大数据平台的读者来说，本书不可错过。
——鲁静远光软件区块链事业部总经理
本书围绕构建企业级大数据平台的背景、方法和扩展思路三个方面进行讲解。从理论入手，配有实战讲解，深入浅出。目前国内市场上这样以横向视角来阐述大数据的书籍并不多见，可以说本书填补了这方面的空白，故将本书推荐给大家。
——李根祺曜互娱资深技术专家
——韩卿 Apache Kylin 联合创建者、PMC Chair/Kyligence 联合创始人兼 CEO
以横向视角构建以Hadoop为基础的大数据平台，涉及需要考量的集群管理、平台安全性、SSO等，深入浅出，实战味道浓厚，推荐阅读。
——于君泽蚂蚁金服高级技术专家
本书是作者多年大数据平台实战经验的结晶，是一本难得的横向拉通大数据技术体系的好书。对于想快速构建一个好用又安全的企业级大数据平台的读者来说，本书不可错过。
——鲁静远光软件区块链事业部总经理
本书围绕构建企业级大数据平台的背景、方法和扩展思路三个方面进行讲解。从理论入手，配有实战讲解，深入浅出。目前国内市场上这样以横向视角来阐述大数据的书籍并不多见，可以说本书填补了这方面的空白，故将本书推荐给大家。
——李根祺曜互娱资深技术专家
