- 定价:¥99.00
- 校园优惠价:¥64.35 (65折) (马上了解)
- 评分:
(已有0条评价)
- 电子书:深入理解Spark:核心思想与源码分析
- 促销活动:
- 我要买:
基本信息

编辑推荐
阿里巴巴集团专家鼎力推荐,阿里巴巴资深Java开发和大数据专家撰写
结合大量和示例,对Spark的架构、部署模式和工作模块的设计理念、实现源码与使用技巧进行了深入的剖析与解读。
内容简介
作译者
目录
准 备 篇
第1章 环境准备2
1.1 运行环境准备2
1.1.1 安装JDK3
1.1.2 安装Scala3
1.1.3 安装Spark4
1.2 Spark初体验4
1.2.1 运行spark-shell4
1.2.2 执行word count5
1.2.3 剖析spark-shell7
1.3 阅读环境准备11
1.4 Spark源码编译与调试13
1.5 小结17
第2章 Spark设计理念与基本架构18
2.1 初识Spark18
2.1.1 Hadoop MRv1的局限18
2.1.2 Spark使用场景20
2.1.3 Spark的特点20
2.2 Spark基础知识20
前言
要回答这个问题,需要从我个人的经历说起。说来惭愧,我第一次接触计算机是在高三。当时跟大家一起去网吧玩CS,跟身边的同学学怎么“玩”。正是通过这种“玩”的过程,让我了解到计算机并没有那么神秘,它也只是台机器,用起来似乎并不比打开电视机费劲多少。高考填志愿的时候,凭着直觉“糊里糊涂”就选择了计算机专业。等到真正学习计算机课程的时候却又发现,它其实很难!
早在2004年,还在学校的我跟很多同学一样,喜欢看Flash,也喜欢谈论Flash甚至做Flash。感觉Flash正如它的名字那样“闪光”。那些年,在学校里,知道Flash的人可要比知道Java的人多得多,这说明当时的Flash十分火热。此外,Oracle也成为关系型数据库里的领军人物,很多人甚至觉得懂Oracle要比懂Flash、Java及其他数据库要厉害得多!
2007年,我刚刚参加工作不久。那时Struts1、Spring、Hibernate几乎可以称为那些用Java作为开发语言的软件公司的三驾马车。很快,Struts2替代了Struts1的地位,让我第一次意识到IT领域的技术更新竟然如此之快!随着很多传统软件公司向互联网公司转型,Hibernate也难以确保其地位,iBATIS诞生了!
2010年,有关Hadoop的技术图书涌入中国,当时很多公司用它只是为了数据统计、数据挖掘或者搜索。一开始,人们对于Hadoop的认识和使用可能相对有限。大约2011年的时候,关于云计算的概念在网上炒得火热,当时依然在做互联网开发的我,对其只是“道听途说”。后来跟同事借了一本有关云计算的书,回家挑着看了一些内容,也没什么收获,怅然若失!20世纪60年代,美国的军用网络作为互联网的雏形,很多内容已经与云计算中的某些说法类似。到20世纪80年代,互联网就已经启用了云计算,如今为什么又要重提这样的概念?这个问题我可能回答不了,还是交给历史吧。
2012年,国内又呈现出大数据热的态势。从国家到媒体、教育、IT等几乎所有领域,人人都在谈大数据。我的亲戚朋友中,无论老师、销售人员,还是工程师们都可以针对大数据谈谈自己的看法。我也找来一些Hadoop的书籍进行学习,希望能在其中探索到大数据的奥妙。
有幸在工作过程中接触到阿里的开放数据处理服务(open data processing service,ODPS),并且基于ODPS与其他小伙伴一起构建阿里的大数据商业解决方案—御膳房。去杭州出差的过程中,有幸认识和仲,跟他学习了阿里的实时多维分析平台—Garuda和实时计算平台—Galaxy的部分知识。和仲推荐我阅读Spark的源码,这样会对实时计算及流式计算有更深入的了解。2015年春节期间,自己初次上网查阅Spark的相关资料学习,开始研究Spark源码。还记得那时只是出于对大数据的热爱,想使自己在这方面的技术能力有所提升。
从阅读Hibernate源码开始,到后来阅读Tomcat、Spring的源码,我也在从学习源码的过程中成长,我对源码阅读也越来越感兴趣。随着对Spark源码阅读的深入,发现很多内容从网上找不到答案,只能自己“硬啃”了。随着自己的积累越来越多,突然有一天发现,我所总结的这些内容好像可以写成一本书了!从闪光(Flash)到火花(Spark),足足有11个年头了。无论是Flash、Java,还是Spring、iBATIS,我一直扮演着一个追随者,我接受这些书籍的洗礼,从未给予。如今我也是Spark的追随者,不同的是,我不再只想简单攫取,还要给予。
最后还想说一下,2016年是我从事IT工作的第10个年头,此书特别作为送给自己的10周年礼物。
本书特色
按照源码分析的习惯设计,从脚本分析到初始化再到核心内容,最后介绍Spark的扩展内容。整个过程遵循由浅入深、由深到广的基本思路。
本书涉及的所有内容都有相应的例子,以便于读者对源码的深入研究。
本书尽可能用图来展示原理,加速读者对内容的掌握。
本书讲解的很多实现及原理都值得借鉴,能帮助读者提升架构设计、程序设计等方面的能力。
本书尽可能保留较多的源码,以便于初学者能够在像地铁、公交这样的地方,也能轻松阅读。
读者对象
源码阅读是一项苦差事,人力和时间成本都很高,尤其是对于Spark陌生或者刚刚开始学习的人来说,难度可想而知。本书尽可能保留源码,使得分析过程不至于产生跳跃感,目的是降低大多数人的学习门槛。如果你是从事IT工作1~3年的新人或者是希望学习Spark核心知识的人,本书非常适合你。如果你已经对Spark有所了解或者已经在使用它,还想进一步提高自己,那么本书更适合你。
如果你是一个开发新手,对Java、Linux等基础知识不是很了解,那么本书可能不太适合你。如果你已经对Spark有深入的研究,本书也许可以作为你的参考资料。
总体说来,本书适合以下人群:
想要使用Spark,但对Spark实现原理不了解,不知道怎么学习的人;
媒体评论
——强琦 阿里云计算平台资深技术专家
这是一本不错的Spark的入门书籍,完全从工程师的视角出发,从安装到使用再到高阶应用。有些时候甚至有些哕嗦,但这不正是我们读者需要的么?作者用他专一的一线工程师视角与在阿里面临的场景结合,写作的落笔相当接地气。这是一本难得的工程师参考用书。
——张茂森 阿里巴巴商家业务事业部资深数据挖掘专家