云计算和大数据技术：概念 应用与实战（第2版）

练习题　13
第2章　1
大数据基础　1
2.1　大数据技术概述　1
2.1.1　大数据简介　1
2.1.2　大数据产生的原因　1
2.1.3　数据的计量单位　2
2.1.4　大数据是人类认识世界的新手段　3
2.1.5　几类高性能计算系统对比分析　4
2.1.6主要的大数据处理系统　4
2.1.7　大数据处理的基本流程　6
2.2　大数据的典型应用示例　7
2.2.1　大数据在高能物理中的应用　7
2.2.2　推荐系统　8
2.2.3　搜索引擎系统　8
2.2.4　百度迁徙　9
2.3　大数据中的集群技术　10
1.2.2　集群文件系统的基本概念　10
2.3.1　什么是集群系统　11
2.3.2　大数据并行计算的层次　13
2.3.3　大数据系统的分类方法　14
2.3.3　单一系统映象　15
2.3.4　集群中的一致性　15
2.4　云计算与大数据的发展　17
2.4.1　云计算与大数据发展历程　17
2.4.2　为云计算与大数据发展做出贡献的科学家　20
2.4.3　云计算与大数据的国内发展现状　21
练习题　22
第3章　1
虚拟化技术　1
3.1　虚拟化技术简介　1
3.1.1　虚拟化技术的发展　1
3.1.2　虚拟化技术的优势和劣势　2
3.1.3　虚拟化技术的分类　3
3.2　常见虚拟化软件　6
3.2.1　VirtualBox　6
3.2.2　VMware Workstation　6
3.2.3　KVM　6
3.3　系统虚拟化　7
3.3.1　服务器虚拟化　8
3.3.2　桌面虚拟化　10
3.3.3　网络虚拟化　13
3.4　任务 使用KVM构建虚拟机群　13
3.4.1　子任务1 系统环境设置　13
3.4.2　子任务2 安装虚拟化软件包　15
3.4.3　子任务3 虚拟系统管理器的使用　16
3.4.4　子任务4 虚拟机的远程访问　19
练习题　21
第4章　1
虚拟化平台　1
４.1　XenServer　1
４.1.1　XenServer优点　2
４.1.2　XenServer硬件要求　2
4.2　任务 XenServer部署　3
4.2.1　子任务1 XenServer的安装　3
4.2.2　子任务2 XenCenter的安装　7
4.2.3　子任务3 制作模板　10
4.2.4　子任务4 创建虚拟机　16
4.3　VMware vSphere　19
4.3.1　VMware vSphere体系结构　19
4.3.2　VMware vSphere组件及其功能　21
4.3.3　VMware vSphere硬件要求　22
4.4　任务 vSphere部署　24
4.4.1　子任务1 ESXi的安装　24
4.4.2　子任务1 vSphere Client的安装　26
练习题　33
第5章　1
面向计算—MPI　1
5.1　MPI概述　1
5.2　MPI的架构和特点　2
5.3　任务一 MPICH并行环境的建立　3
5.3.1　子任务1 系统环境设置　3
5.3.2　子任务2 用户创建和ssh设置　4
5.3.3　子任务3 NFS服务的安装　5
5.3.4　子任务4 MPICH编译运行　5
5.4　任务二 MPI分布式程序设计　7
5.4.1　子任务1 简单并行程序的编写　7
5.4.2　子任务2 获取进程标志和机器名　9
5.4.3　子任务3 有消息传递功能的并行程序　12
5.4.4　子任务4 Monte Carlo法在并行程序设计中的应用　16
5.4.5　子任务5 并行计算中节点间的Reduce操作　19
5.4.6　设计MPI并行程序时的注意事项　21
练习题　22
第6章　1
分布式大数据系统　1
—Hadoop　1
6.1　Hadoop概述　1
6.2　HDFS　2
6.1.1　Google文件系统（GFS）　2
6.2.2　HDFS文件的基本结构　4
6.2.3　HDFS的存储过程　5
6.2.4　YARN架构　6
6.3　任务一 搭建Hadoop系统　7
6.3.1　子任务1 系统环境设置　7
6.3.2　子任务2 用户创建和ssh设置　8
6.3.3　子任务3 Hadoop安装和配置　9
6.3.4　子任务4 Hadoop的启动和查看　13
6.4　分布式计算框架MapReduce　14
6.4.1　MapReduce的发展历史　14
6.4.2　MapReduce的基本工作过程　15
6.4.3　MapReduce的特点　18
6.5　任务二 Map/Reduce的C语言实现　19
6.6　任务三 在Hadoop系统运行MapReduce程序　22
练习题　23
第7章　1
分布式数据库—HBase　1
7.1　HBase　1
7.1.1　HBase简介　1
7.1.2　HBase物理模型　2
7.1.3　HBase架构及基本组件　3
7.1.4　HBase组织结构　5
7.2　任务 HBase的搭建与使用　5
7.2.1　子任务1 HBase环境的搭建　6
7.2.2　子任务2 HBase的启动　8
7.2.3　子任务2 HBase Shell的使用　9
7.2.4　子任务3 HBase编程　10
练习题　20
第8章　1
数据仓库平台—Hive　1
8.1　Hive　1
8.1.1　Hive简介　1
8.1.2　Hive的体系结构　2
8.1.3　Hive元数据存储　3
8.1.4　Hive的数据存储　5
8.1.5　Hive和普通关系型数据库的差异　6
8.2　任务一 MySQL的搭建　7
8.3　任务二 Hive的搭建与使用　9
8.2.1　子任务1 Hive环境的搭建　9
8.2.2　子任务2 Hive Client的搭建　12
8.2.3　子任务3 Hive的基本操作　13
8.2.4　子任务4 Hive内部表与外部表的操作　14
8.2.5　子任务5 HWI的使用　16
8.2.6　子任务6 Beeline与JDBC编程　18
8.2.7　子任务6 Hive与HBase集成　23
练习题　26
第9章　1
基于拓扑的流数据实时计算系统—Storm　1
9.1　Storm简介　1
9.2　Storm原理及其体系结构　2
9.2.1　Storm编程模型原理　2
9.2.2　Storm体系结构　3
9.2.3　ZooKeeper工作原理　4
9.3　任务一 搭建Storm开发环境　5
9.3.1　子任务1 系统环境设置　5
9.3.2　子任务2 安装Python工具包　7
9.3.3　子任务3 安装ZeroMQ和JZMQ工具包　7
9.3.4　子任务4 安装Zookeeper工具包　8
9.3.5　子任务5 安装Storm工具包　10
9.3.6　子任务6 复制工具包　11
9.3.7　子任务7 Storm的启动　12
9.4　任务二 Storm使用实例　13
9.4.1　子任务1 安装Maven工具包　13
9.4.2　子任务2 使用Maven管理storm-starter　15
9.4.3　子任务3 WordCountTopology实例分析　16
练习题　21
第10章　1
云存储系统—Swift　1
10.1　云存储概述　1
10.1.1　什么是云存储　1
10.1.2　云存储的分类　1
10.1.3　云存储的特点　2
10.1.4　存储系统类别　3
10.2　Swift简介　4
10.2.1　Swift的发展历程　4
10.2.2　Swift 的特性　4
10.2.3　Swift工作原理　4
10.2.4　CAP理论　5
10.2.5　环的数据结构　6
10.2.6　Swift的系统架构　7
10.3　任务 Swift安装部署　9
10.3.1　子任务1 系统环境设置　9
10.3.2　子任务2 安装keystone　10
10.3.3　子任务3 安装proxy　14
10.3.4　子任务4 安装存储节点　17
练习题　21