[套装书]企业级业务架构设计：方法论与实践+企业级大数据平台构建：架构与实现（2册）

. 将业务架构设计方法与当前热点——“中台”模式进行了对比，“传统”方法并不一定会因新技术、新概念的发展而黯然失色，对方法论的深入探索和积极思考往往会让“传统”焕发新的“生命力”，深度思考比追逐热点更重要。


---------------------------企业级大数据平台构建：架构与实现---------------------------


本书第1章介绍了信息安全人员做安全评估、渗透测试常用的系统环境与网络环境配置。第2章介绍了黑客入门基础——社会工程学。第3章介绍了密码学理论和开源工具GnuPG与OpenSSL的配置与使用。第4章介绍了一些常用的黑客手法，然后引出相对应的防护策略，并且介绍了一款开源漏洞扫描工具。第5章介绍了三种常见的Web安全问题：欺骗攻击、数据库注入与XSS跨站攻击。第6章介绍了入侵检测工具Snort和开源蜜罐体系Honeyd。第7章介绍了WiFi中WEP和WPA/WPA2的破解方法以及无线路由中常见的UPnP带来的安全隐患。第8章介绍了国家推动信息安全战略的依据及测评流程，并针对与真实测评一致的部分内容进行模拟测评。
本书既可作为面向计算机工程、软件工程、信息工程等IT相关学科的信息安全实训教材，还可作为信息安全相关人员的培训教材。

.

3.2　常见的建模方法21
3.3　建模原则与模型思维的应用25
第二部分 　业务架构设计篇
第4章　业务架构的设计起点33
4.1　企业战略分析33
4.2　对标分析38
4.3　组织结构的影响不容忽视40
第5章　业务架构的设计过程44
5.1　价值链分析44
5.2　行为分析：业务领域和业务流程46
5.3　数据分析：企业级数据模型49
5.4　组件分析：行为与数据的结合51
5.5　业务架构的整体逻辑关系53
第6章　业务架构的设计难点56
6.1　基本的标准化方法56
6.2　避免“过度整合”59
6.3　何以解忧，唯有“融合”59
第7章　虚拟案例：商业银行业务架构设计61
7.1　价值链设计61
7.2　存款领域的模型设计63
7.3　贷款领域的模型设计65
7.4　跨领域的标准化67
7.5　组件设计70
7.6　案例总结73
第三部分 　业务架构落地篇
第8章　从业务架构模型到业务架构方案76
8.1　业务架构设计不是为了替代需求分析76
8.2　制作业务架构方案77
8.3　小团队的应对之道83
8.4　需要充分解释架构方案84
8.5　努力打造“通用语言”85
第9章　基于业务架构方案的实施过程88
9.1　基于业务架构的设计89
9.2　基于业务架构的协调94
9.3　处理架构调整的原则96
9.4　企业级物有所值吗？100
第10章　建立转型后的长期应用机制103
10.1　项目结束了该怎么办？103
10.2　促进深度融合的需求管理机制106
第11章　这个“笨重”的过程与敏捷沾边吗？110
11.1　传说中和现实中的双模开发110
11.2　与正宗的敏捷对比112
11.3　与非正宗的敏捷对比114
11.4　且行且珍惜115
第12章　企业级的“五难” 117
12.1　捷径难寻118
12.2　文化难建119
12.3　预期难控120
12.4　权责难定121
12.5　长志难立123
第13章　实战：实现了快速设计的案例124
13.1　项目背景及需求124
13.2　设计思路和业务架构方案125
13.3　案例总结129
第四部分 　架构方法改良篇
第14章　如何支持面向构件的设计132
14.1　“乐高积木”式的软件设计132
14.2　“颗粒度”问题134
14.3　构件模型的设计方式136
14.4　建立构件模型的虚拟案例139
14.5　构件模型的技术设计建议146
14.6　本章小结148
第15章　构建轻量级架构管理工具150
15.1　构件模型的抽象要素及逻辑关系150
15.2　轻量级架构管理工具的设计原理153
15.3　采集项目信息的价值155
15.4　轻量级架构管理工具的优缺点155
15.5　应用轻量级架构管理工具管理新需求156
第16章　基于构件模型谈谈传统企业的产品创新159
16.1　信息传导：打造信息传递高速公路160
16.2　信息分析：创造高维数据162
16.3　创新平台：扩展构件模型165
16.4　构件模型及其应用设想的不足169
第五部分 　业务架构与中台篇
第17章　中台之上172
17.1　阿里中台简介172
17.2　企业文化的作用174
17.3　由业务架构方法可以推导出中台设计吗？176
尾声　对实践的再次思考179
附录A　位置、力量、资源183
附录B　积木式创新187



---------------------------企业级大数据平台构建：架构与实现---------------------------


推荐序　思者常新，厚积薄发
前　言
第1章　浅谈企业级大数据平台的重要性 1
1.1　缺乏统一大数据平台的问题 2
1.1.1　资源浪费 2
1.1.2　数据孤岛 2
1.1.3　服务孤岛 3
1.1.4　安全存疑 3
1.1.5　缺乏可维护性和可扩展性 3
1.1.6　缺乏可复制性 4
1.2　构建统一大数据平台的优势 4
1.3　企业级大数据平台需要具备的基本能力 6
1.3.1　集群管理与监控 7
1.3.2　数据接入 7
1.3.3　数据存储与查询 7
1.3.4　数据计算 8
1.3.5　平台安全与管理 10
1.4　平台辅助工具 12
1.5　本章小结 13
第2章　企业级大数据平台技术栈介绍 15
2.1　HDFS 16
2.1.1　概述 16
2.1.2　RAID技术 17
2.1.3　核心设计目标 18
2.1.4　命名空间 19
2.1.5　数据模型 20
2.1.6　Namenode和Datanode 20
2.1.7　使用场景 21
2.2　Zookeeper 22
2.2.1　概述 22
2.2.2　核心特性 23
2.2.3　命名空间 24
2.2.4　数据模型 24
2.2.5　节点状态监听 25
2.2.6　原子消息广播协议 25
2.2.7　使用场景 32
2.3　HBase 33
2.3.1　概述 33
2.3.2　数据模型 34
2.3.3　Regions 34
2.3.4　HBase Master 35
2.3.5　Region Server 36
2.3.6　MemStore与HFile 37
2.3.7　使用场景 37
2.4　YARN 38
2.4.1　概述 38
2.4.2　资源模型和Container 40
2.4.3　ResourceManager 40
2.4.4　ApplicationMaster 40
2.4.5　NodeManager 41
2.4.6　单一集群架构 41
2.4.7　工作流程 41
2.4.8　使用场景 43
2.5　Spark 43
2.5.1　概述 43
2.5.2　数据模型 45
2.5.3　编程模型和作业调度 45
2.5.4　依赖 46
2.5.5　容错 47
2.5.6　集群模式 47
2.5.7　使用场景 48
2.6　本章小结 49
第3章　使用Ambari安装Hadoop集群 50
3.1　概述 50
3.2　集群设计 52
3.2.1　主控节点 52
3.2.2　存储与计算节点 53
3.2.3　安全认证与管理节点 54
3.2.4　协同管理与其他节点 54
3.3　Ambari的安装、配置与启动 55
3.3.1　安装前的准备 55
3.3.2　安装Ambari-Server 62
3.3.3　Ambari-Server目录结构 64
3.3.4　配置Ambari-Server 65
3.3.5　启动Ambari-Server 66
3.4　新建集群 67
3.4.1　设置集群名称并配置HDP安装包 67
3.4.2　配置集群 69
3.5　Ambari控制台功能简介 77
3.5.1　集群服务管理 78
3.5.2　集群服务配置 80
3.5.3　辅助工具 82
3.6　本章小结 86
第4章　构建企业级平台安全方案 87
4.1　浅谈企业级大数据平台面临的安全隐患 88
4.1.1　缺乏统一的访问控制机制 88
4.1.2　缺乏统一的资源授权策略 88
4.1.3　缺乏Hadoop服务安全保障 89
4.2　初级安全方案 89
4.2.1　访问控制 89
4.2.2　数据授权与管理 97
4.3　本章小结 110
第5章　Hadoop服务安全方案 111
5.1　Kerberos协议简介 111
5.2　使用FreeIPA安装Kerberos和LDAP 113
5.2.1　安装FreeIPA 115
5.2.2　IPA-Server管理控制台功能介绍 119
5.2.3　IPA CLI功能介绍 122
5.3　开启Ambari的Kerberos安全选项 127
5.3.1　集成前的准备 127
5.3.2　集成IPA 129
5.3.3　测试Kerberos认证 133
5.4　本章小结 136
第6章　单点登录与用户管理 137
6.1　集成单点登录 139
6.1.1　CAS简介 140
6.1.2　安装CAS-Server 141
6.1.3　集成Knox网关与CAS-
Server 148
6.1.4　集成Ranger与CAS-Server 151
6.1.5　集成Ambari与CAS-Server 152
6.2　实现统一的用户管理系统 155
6.3　使用Java程序调用脚本 161
6.4　创建Ranger扩展用户 166
6.5　本章小结 169
第7章　搭建平台管理端RESTful服务 170
7.1　搭建RESTful服务框架 170
7.2　用户查询 174
7.2.1　引入LDAP模块 174
7.2.2　配置LDAP 174
7.2.3　实现持久层 177
7.2.4　实现服务层 181
7.2.5　实现RESTful服务 181
7.2.6　整合用户管理 183
7.3　RESTful服务安全认证 184
7.3.1　用户登录服务 185
7.3.2　使用JWT认证 185
7.3.3　创建用户登录RESTful服务 188
7.3.4　认证过滤器 194
7.3.5　测试服务安全认证 198
7.4　数据仓库数据查询 200
7.4.1　创建JDBC连接 200
7.4.2　Kerberos登录 202
7.4.3　使用JDBC协议查询 202
7.4.4　实现服务层与RESTful服务 206
7.4.5　测试查询 207
7.5　数据仓库元数据查询 208
7.5.1　使用query服务查询数仓元数据 208
7.5.2　引入JdbcTemplate模块 209
7.5.3　增加Hive元数据库配置 210
7.5.4　实现元数据持久层 211
7.5.5　实现元数据服务层与RESTful服务 216
7.5.6　测试元数据查询 218
7.6　本章小结 219
第8章　Spark任务与调度服务 220
8.1　提交Spark任务的3种方式 220
8.1.1　使用Spark-Submit脚本提交 220
8.1.2　使用Spark Client提交 226
8.1.3　使用YARN RESTful API提交 229
8.2　查询Spark日志 234
8.3　任务调度 236
8.3.1　引入Quartz模块 237
8.3.2　增加Quartz配置 237
8.3.3　编写调度任务 240
8.3.4　改进空间 241
8.4　本章小结 241
附录A　Hadoop简史 242
附录B　Hadoop生态其他常用组件一览 245
附录C　常用组件配置说明 248

.　　业务架构落地篇（第8～13章）分别介绍了业务架构方案制作、基于业务架构的实施、项目完成后的管理机制，并比较了与敏捷开发的异同，集中讨论了企业级项目的实施难度，最后，以一个设计实例展示了业务架构设计对提升企业开发效率的作用。
　　上述三部分完整介绍了业务架构设计的一般实现方法，并将企业级项目需要注意的问题及痛点融合在论述过程中，以供需要开展相关工作的读者参考。
　　架构方法改良篇（第14～16章）介绍了如何进行面向构件化的业务架构设计、如何构建轻量级架构设计工具、如何基于构件模型提升传统企业产品创新效率，该部分属于对前文方法的改良设想，需要读者对此多加思索，切勿生搬硬套。
　　业务架构与中台篇（第17章）是对业务架构设计方法与当前热点—“中台”模式的一个比对。“传统”方法并不一定会因新技术、新概念的发展而黯然失色，对方法论的深入探索和积极思考往往会让“传统”焕发新的“生命力”，深度思考比追逐热点更重要。
　　附录部分收录了笔者做业务架构设计期间撰写的两篇读后感，希望对读者了解业务架构设计的作用、扩展设计思路有一定的帮助。
　　如何阅读本书
　　本书适用于如下几类读者群体。
　　企业管理者
　　管理者决定着企业的发展方向，以下内容都适合其阅读：本书第一部分中对业务架构发展历程和业务架构作用的探讨；第二部分中对企业战略的分析，对标问题的分析和组织问题的阐述；第三部分中对企业级项目实施、实施后管理和企业级难点的集中论述。实施问题虽然涉及项目中一些琐碎的工作，但是这些琐碎工作对项目的成败却有较大的影响，需要管理者在推动转型之前就有充分的认知。目前，很多企业在转型方面遭遇困难，这些企业并非不善于设计“战略”，也并非不精通“业务”，而是不熟悉“架构”，不清楚如何将战略通过架构落实到业务和技术实现中，企业需要具备“架构”能力，而这种能力应该由管理者带头，从业务架构能力开始，自上而下地建立起来。
　　实施管理者
　　实施管理者通常为项目总监、各级项目经理、业务经理、技术经理等在项目实施过程中担任具体管理工作的人员。本书的前三部分对企业级业务架构设计及落地的阐述有助于实施管理者将本书的方法论引入其企业级项目工作中。第五部分的对比分析，也有助于各位实施管理者认真思考，寻找适合自身的方法论。第四部分则需要各位深入思考其方法与自身行业的适配性。
　　技术人员
　　在实现业务与技术的融合方面，技术人员自然是需要向业务侧多迈出一步。相信很多技术人员对自己到底是在实现“业务人员”的要求，还是在实现“业务”的要求产生过困惑。本书前三部分论述的方法有助于技术人员掌握一种可以与业务人员更好地进行沟通的方式，也能够在项目中，尤其是在企业级项目中，从“业务人员”的众多要求中抽离出“业务”的要求。后两部分则有助于促进技术人员对方法论的深入思考。
　　业务人员
　　在实现业务与技术融合方面，业务人员可能会更“痛苦”一些。一般业务人员在进行技术知识方面的学习时往往会更关注垂直领域，比如AI、区块链、大数据等，属于以应用为导向，但是很多人却忽略了对软件构建过程的关注，正是这种忽略导致了在开发中出现大量 “冲突”。本书作为业务架构设计方法论，技术门槛相对较低，有助于业务人员了解如何结构化自己的思维。通过对本书，尤其是前三部分的阅读，辅之对其他软件工程经典著作的一般了解，业务人员足以对软件的设计与实现有一个清晰的理解，使业务人员与软件的交互度更高。
　　希望成为业务架构师的读者
　　业务架构师并非一定要技术出身，但是技术实力雄厚的人显然具有基础知识方面的优势。业务出身的业务架构师需要克服更多的技术障碍，本书虽然不能帮助你学习更多垂直领域的技术知识，但却有可能是你成为业务架构师必读的一本书。
　　资源和勘误
　　由于笔者的水平有限，书中难免存在一些不准确的描述，恳请读者批评指正。如果读者有更多宝贵的意见，欢迎通过邮箱yfc@hz.com联系笔者，期待读者们的真挚反馈，以在探索业务架构的道路上互勉共进。本书部分资源可在笔者的微信公众号（晓谈岩说）上获得。
　　致谢
　　非常感谢InfoQ中文站的编辑杜小芳女士，是她的积极支持促成了本书前身《中台之上》系列文章的连载，也感谢InfoQ中文站的郭蕾老师和Linda老师对笔者的长期支持。
　　
　　
　　---------------------------企业级大数据平台构建：架构与实现---------------------------
　　
　　
　　为什么要写这本书
　　近年来，大数据这个概念越来越火爆，特别是在国家层面，大数据被提升到了国家战略的高度。在这样的背景下，很多传统企业开始涉足大数据领域并研发自己的大数据技术平台。在这股技术升级与转型的浪潮中，传统领域的程序员纷纷转型投向大数据的怀抱。目前大数据技术开源领域以Hadoop生态构建的技术体系为主。现在市面上有很多与Hadoop体系相关的技术书籍，Hadoop、Spark这类火爆的技术已经有大量优秀的专业书籍进行讲解。但我发现这类书籍多是以纵向的视角去讲解某一类具体的技术，而大数据领域涉及的知识繁多，在构建大数据平台的过程中我们不仅需要精通单个技术组件的知识，还需要拥有横向整合拉通Hadoop体系技术栈的能力。而这类横向拉通Hadoop体系技术栈的书籍并不多见。所以我将自己在构建大数据平台上的一些经验和实践进行了整理，分享给各位读者。希望本书能够为各位读者构建大数据平台或解决方案提供一定的帮助。
　　读者对象
　　想了解大数据技术，想进入大数据领域的工程师：作为一个想进入大数据领域的“新人”，你可以通过本书从宏观的视角迅速对大数据的基础设施和技术栈有一个全面的认识和了解。本书可以作为你的入门指南和技术栈索引目录。
　　大数据领域的中高级工程师：作为一个大数据领域的中高级工程师，对Hadoop生态体系的技术应该早已运用自如。通过本书的学习，相信你对大数据领域多种技术栈的整合会有一个更深刻的认识。同时本书中的一些平台级方案也会帮助你提升在平台架构方面的造诣。
　　平台架构师：作为一个平台架构师，本书中的一些解决方案和设计思路可以作为你进行系统架构的参考资料。
　　本书主要内容
　　本书从企业的实际需求出发，完整地介绍了构建一个真实可用、安全可靠的企业级大数据平台所需要运用的知识体系，并详细地描述了构建企业级大数据平台的设计方案和实施步骤。
　　本书逻辑上可分为3大部分，共8章，每个章节循序渐进：
　　第一部分（第1、2章）描述了企业级大数据平台的需求和能力。
　　第二部分（第3～5章）着重讲述了如何去搭建并配置一个大数据平台，以及如何构建非常重要的平台安全方案。
　　第三部分（第6～8章）以实战的形式讲解如何以Java编码的方式实现平台的基础管理功能，以提升其易用性与可用性。
　　具体各章内容如下：
　　第1章阐述企业级大数据平台的重要性，并解释了为什么需要构建一个统一的企业级大数据平台。接着介绍作为一个企业级大数据平台应当具备的能力，并解释其原因。
　　第2章介绍通过Hadoop生态体系去构建一个企业级大数据平台可以使用的技术栈，如HDFS、HBase、Spark等，并一一介绍了它们的核心概念。
　　第3章介绍集群管理工具Ambari，并站在集群服务器的角度分类解释如何去设计一个Hadoop集群，详细描述了如何使用Ambari来安装、管理和监控一个Hadoop集群。
　　第4章介绍企业级大数据平台中非常重要的安全部分。首先阐述了企业级大数据平台面临的一些安全隐患，接着展示了一套初级解决方案并介绍了如何使用Knox和Ranger解决访问控制和数据授权与管理的问题。
　　第5章着重介绍Hadoop服务的安全方案，并说明如何通过Kerberos协议等一系列措施来保障Hadoop集群的安全。
　　第6章阐述大数据平台在易用性上的一些遗留问题，接着介绍如何通过CAS实现平台的单点登录功能，最后描述如何使用Java程序实现统一的用户管理服务。
　　第7章简单阐述服务化的重要性以及如何将大数据平台管理端的功能封装成RESTful服务。首先介绍了如何使用Spring-Boot快速搭建一套RESTful服务的程序框架，接着详细描述如何实现Kerberos用户查询、Hive数据仓库查询和元数据查询等一系列RESTful服务。
　　第8章介绍如何使用Java程序实现Spark的任务提交与任务调度功能。首先着重介绍使用Java程序实现Spark任务提交到YARN的三种方式，接着描述如何通过Quartz实现任务调度功能。
　　如何阅读本书
　　本书内容会涉及大数据领域相关的技术知识，所以假定读者已具有一定的编程经验，了解分布式、多线程、集群等概念。本书部分内容涉及集群服务的实战安装示例，所以需要准备至少两台用于搭建测试环境的Linux服务器或虚拟机。
　　勘误和支持
　　由于水平有限，编写时间仓促，书中难免会出现一些错误或者不准确的地方，恳请读者批评指正。为此，我特意创建了一个提供在线支持与应急方案的站点https://github.com/nauu/bigdatabook。你可以将书中的错误发布在Bug勘误表页面中，如果你遇到任何问题，也可以访问Q&A页面，我将尽量在线上为读者提供最满意的解答。如果你有更多的宝贵意见，也欢迎发送邮件至邮箱yawface@gmail.com或者访问新浪微博http://weibo.com/boness，期待能够得到你们的真挚反馈。
　　致谢
　　感谢我的家人，如果没有你们的悉心照顾和鼓励，我不可能完成本书。
　　感谢我的公司远光软件，为我提供了学习和成长的环境，本书中的很多知识都来自工作中的实践。
　　感谢我的挚友李根，为本书提出了许多宝贵的建议。
　　感谢我的同事兼伙伴们——解来甲、张琛、杨柯、潘登、胡艺、李国威、陈世宾、陈泽华，以及名单之外的更多朋友，感谢你们在工作中的照顾和支持，十分荣幸能够与你们在这个富有激情和活力的团队共事。
　　感谢机械工业出版社华章公司的编辑杨福川老师、孙海亮老师，在这一年多的时间中始终支持我的写作，你们的鼓励和帮助引导我顺利地完成全部书稿。
　　朱凯
　　

.　　—— 张逸领域驱动设计布道师
　　作者以“行线”和“知线”为指引，全面介绍了业务架构的设计、落地以及架构的持续改良等方面。
　　—— 郑然百度主任研发架构师
　　作者分享业务架构设计的原理和落地方法，并阐述了如何通过业务架构推动技术架构和中台体系的建设。
　　—— 刘超网易杭州研究院云计算技术部
　　首席架构师
　　本书既有业务架构设计的方法论，又有最新的架构方法，完整呈现了业务架构的全景图。
　　—— 周健招银云创金融基础云负责人
　　作者把他在金融领域超过19年的经验和思考娓娓道来，逻辑清晰完整，案例引人思考。
　　—— 黄帅AWS 认证云架构师
　　如果想要了解业务架构设计，这本书既有体系化方法论，又有最佳实践，实在是不可多得。
　　—— 沈剑到家集团技术中心负责人
　　& 快狗打车CTO
　　本书从“知行合一”的角度讲解了业务架构设计的方法论和工程实践，是作者19年工作经验的总结。
　　—— 梁李印滴滴大数据架构部高级专家工程师
　　
　　
　　
　　---------------------------企业级大数据平台构建：架构与实现---------------------------
　　
　　
　　大数据已经成为数据分析领域的基石，而众多的技术栈使得用户无从下手，业界急需一本由浅入深，从企业实际需求出发，讲述大数据平台构建核心技术和规划的书。很高兴看到作者基于自己的实践将相关经验整理成书，为业界带来了这样一部难得的好作品。
　　——韩卿 Apache Kylin 联合创建者、PMC Chair/Kyligence 联合创始人兼 CEO
　　以横向视角构建以Hadoop为基础的大数据平台，涉及需要考量的集群管理、平台安全性、SSO等，深入浅出，实战味道浓厚，推荐阅读。
　　——于君泽蚂蚁金服高级技术专家
　　本书是作者多年大数据平台实战经验的结晶，是一本难得的横向拉通大数据技术体系的好书。对于想快速构建一个好用又安全的企业级大数据平台的读者来说，本书不可错过。
　　——鲁静远光软件区块链事业部总经理
　　本书围绕构建企业级大数据平台的背景、方法和扩展思路三个方面进行讲解。从理论入手，配有实战讲解，深入浅出。目前国内市场上这样以横向视角来阐述大数据的书籍并不多见，可以说本书填补了这方面的空白，故将本书推荐给大家。
　　——李根祺曜互娱资深技术专家