[套装书]用户画像：方法论与工程化解决方案+HBase原理与实践（2册）

.

本书系统介绍HBase基本原理与运行机制，融入了作者多年的开发经验与实践技巧。主要内容包括：HBase的体系结构和系统特性，HBase的基础数据结构与算法、依赖服务、客户端，RegionServer的核心模块，HBase的读写流程，Compaction实现原理和使用策略，负载均衡的实现与应用，HBase的宕机恢复原理，复制、备份与恢复原理，HBase的运维方法、系统调优与案例分析，*后介绍了HBase 2.x的核心技术，以及一些高级话题，如二级索引、单行事务、跨行事务、HBase开发与测试等。

1.6.3　画像表结构设计16
1.7　定性类画像21
1.8　本章小结22
第2章　数据指标体系23
2.1　用户属性维度23
2.1.1　常见用户属性23
2.1.2　用户性别26
2.2　用户行为维度27
2.3　用户消费维度27
2.4　风险控制维度29
2.5　社交属性维度30
2.6　其他常见标签划分方式31
2.7　标签命名方式33
2.8　本章小结34
第3章　标签数据存储35
3.1　Hive存储35
3.1.1　Hive数据仓库35
3.1.2　分区存储37
3.1.3　标签汇聚39
3.1.4　ID-MAP41
3.2　MySQL存储45
3.2.1　元数据管理45
3.2.2　监控预警数据47
3.2.3　结果集存储47
3.3　HBase存储50
3.3.1　HBase简介50
3.3.2　应用场景52
3.3.3　工程化案例52
3.4　Elasticsearch存储59
3.4.1　Elasticsearch简介59
3.4.2　应用场景60
3.4.3　工程化案例64
3.5　本章小结67
第4章　标签数据开发69
4.1　统计类标签开发69
4.1.1　近30日购买行为标签案例70
4.1.2　最近来访标签案例73
4.2　规则类标签开发74
4.2.1　用户价值类标签案例75
4.2.2　用户活跃度标签案例79
4.3　挖掘类标签开发84
4.3.1　案例背景84
4.3.2　特征选取及开发85
4.3.3　文本分词处理86
4.3.4　数据结构处理89
4.3.5　文本TF-IDF权重90
4.3.6　朴素贝叶斯分类92
4.4　流式计算标签开发95
4.4.1　流式标签建模框架95
4.4.2　Kafka简介96
4.4.3　Spark Streaming集成Kafka97
4.4.4　标签开发及工程化99
4.5　用户特征库开发104
4.5.1　特征库规划105
4.5.2　数据开发107
4.5.3　其他特征库规划111
4.6　标签权重计算112
4.6.1　TF-IDF词空间向量112
4.6.2　时间衰减系数114
4.6.3　标签权重配置115
4.7　标签相似度计算116
4.7.1　案例场景116
4.7.2　数据开发118
4.8　组合标签计算122
4.8.1　应用场景122
4.8.2　数据计算123
4.9　数据服务层开发124
4.9.1　推送至营销系统125
4.9.2　接口调用服务127
4.10　GraphX图计算用户129
4.10.1　图计算理论及应用场景129
4.10.2　数据开发案例132
4.11　本章小结135
第5章　开发性能调优137
5.1　数据倾斜调优137
5.2　合并小文件141
5.3　缓存中间数据143
5.4　开发中间表144
5.5　本章小结145
第6章　作业流程调度146
6.1　crontab命令调度146
6.2　Airflow工作平台148
6.2.1　基础概念149
6.2.2　Airflow服务构成150
6.2.3　Airflow安装151
6.2.4　主要模块功能151
6.2.5　工作流调度155
6.2.6　脚本实例155
6.2.7　常用命令行158
6.2.8　工程化调度方案158
6.3　数据监控预警161
6.3.1　标签监控预警161
6.3.2　服务层预警162
6.4　ETL异常排查164
6.5　本章小结166
第7章　用户画像产品化167
7.1　即时查询167
7.2　标签视图与标签查询169
7.3　元数据管理171
7.4　用户分群功能173
7.5　人群分析功能175
7.6　本章小结177
第8章　用户画像应用178
8.1　经营分析178
8.1.1　商品分析178
8.1.2　用户分析179
8.1.3　渠道分析180
8.1.4　漏斗分析185
8.1.5　客服话术186
8.1.6　人群特征分析186
8.2　精准营销187
8.2.1　短信/邮件营销187
8.2.2　效果分析188
8.3　个性化推荐与服务189
8.4　本章小结190
第9章　实践案例详解191
9.1　风控反欺诈预警191
9.1.1　应用背景191
9.1.2　用户画像切入点192
9.2　A/B人群效果测试193
9.2.1　案例背景194
9.2.2　用户画像切入点194
9.2.3　效果分析195
9.3　用户生命周期划分与营销195
9.3.1　生命周期划分196
9.3.2　不同阶段的用户触达策略201
9.3.3　画像在生命周期中的应用204
9.3.4　应用案例206
9.4　高价值用户实时营销209
9.4.1　项目应用背景209
9.4.2　用户画像切入点209
9.4.3　HBase应用场景小结209
9.5　短信营销用户211
9.5.1　案例背景211
9.5.2　画像切入及其应用效果211
9.6　Session行为分析应用213
9.6.1　关于用户行为分析213
9.6.2　案例背景218
9.6.3　特征构建219
9.6.4　分析方法与结论221
9.7　人群效果监测报表搭建228
9.7.1　案例背景228
9.7.2　逻辑梳理228
9.7.3　自动报表邮件237
9.8　基于用户特征库筛选目标人群239
9.8.1　案例背景239
9.8.2　应用方式及效果240
9.9　本章小结241
附录　某产品用户画像项目规划文档242



---------------------------HBase原理与实践---------------------------


前言
第1章HBase概述
1.1HBase 前生今世
1.2HBase数据模型
1.2.1逻辑视图
1.2.2多维稀疏排序Map
1.2.3物理视图
1.2.4行式存储、列式存储、列簇式存储
1.3HBase体系结构
1.4 HBase系统特性
第2章基础数据结构与算法
2.1 跳跃表
2.2 LSM树
2.3 布隆过滤器
2.4 设计KV存储引擎Minibase
2.5拓展阅读
第3章HBase依赖服务
3.1ZooKeeper简介
3.2HDFS简介
3.4拓展阅读
第4章HBase客户端
4.1 HBase客户端实现
4.1.1 定位Meta表
4.1.2 Scan的复杂之处
4.2 HBase客户端避坑指南
第5章RegionServer的核心模块
5.1 RegionServer内部结构
5.2 HLog
5.2.1 HLog文件结构
5.2.2 HLog文件存储
5.2.3 HLog生命周期
5.3 MemStore
5.3.1 MemStore内部结构
5.3.2 MemStore的GC问题
5.3.3 MSLAB内存管理方式
5.3.4 MemStore Chunk Pool
5.3.5 MSLAB相关配置
5.4 HFile
5.4.1 HFile逻辑结构
5.4.2 HFile物理结构
5.4.3 HFile的基础Block
5.4.4 HFile中布隆过滤器相关的Block
5.4.5 HFile中索引相关的Block
5.4.6HFile文件查看工具
5.5 BlockCache
5.5.1.LRUBlockCache
5.5.2.SlabCache
5.5.3.BucketCache
5.5.4.不同BlockCache方案性能对比
5.6拓展阅读
第6章HBase读写流程
6.1 HBase写入流程
6.1.1写入流程的三个阶段
6.1.2 Region写入流程
6.1.3 MemStore Flush
6.2 BulkLoad功能
6.2.1 BulkLoad核心流程
6.2.2 BulkLoad基础案例
6.3 HBase读取流程
6.3.1 Client-Server读取交互逻辑
6.3.2 Server端Scan框架体系
6.3.3过滤淘汰不符合查询条件的HFile
6.3.4HFile中读取待查找Key
思考与练习
6.4深入理解Coprocessor
6.4.1 Coprocessor分类
6.4.2 Coprocessor加载
第7章 Compaction实现
7.1 Compaction基本工作原理
7.1.1 Compaction基本流程
7.1.2 Compaction触发时机
7.1.3 待合并HFile集合选择策略
7.1.4 挑选合适的线程池
7.1.5 HFile文件合并执行
思考与练习
7.1.6Compaction相关注意事项
7.2 Compaction高级策略
第8章负载均衡实现
8.1 Region迁移
8.2 Region合并
8.3 Region分裂
8.4 HBase的负载均衡应用
8.5拓展阅读
第9章宕机恢复原理
9.1 HBase常见故障分析
9.2 HBase故障恢复基本原理
9.3 HBase故障恢复流程
 
第10章复制
10.1 复制场景及原理
10.1.1管理流程的设计和问题
10.1.2复制原理
10.2 串行复制
10.2.1非串行复制导致的问题
10.2.2串行复制的设计思路
思考与练习
10.3 同步复制
10.3.1设计思路
10.3.2同步复制和异步复制对比
10.4拓展阅读
第11章备份与恢复
11.1 Snapshot概述
11.2 Snapshot创建
11.2.1 Snapshot技术基础原理
11.2.2 在线Snapshot的分布式架构——两阶段提交
11.2.3 Snapshot核心实现
11.3 Snapshot恢复
11.4 Snapshot进阶
11.5拓展阅读
第12章HBase运维
12.1 HBase系统监控
12.1.1 HBase监控指标输出方式
12.1.2 HBase核心监控指标
12.1.3 HBase表级监控
12.2 HBase集群基准性能测试
12.3 HBase YCSB
12.4 HBase业务隔离
12.5 HBase Shell
12.6 HBase HBCK
12.8 HBase核心参数配置
12.8 HBase系统相关日志
12.9 HBase表设计
第13章HBase系统调优
13.1 HBase GC调优
13.2 G1 GC性能调优
13.2.1 CMS和G1 GC的本质区别
13.2.2 测试环境
13.2.3 G1 GC核心参数
13.2.4 初始参数效果
13.3 HBase操作系统调优
13.4 HBase-HDFS调优策略
13.5 HBase读取性能优化
13.5.1HBase服务器端优化
13.5.2 HBase客户端优化
13.5.3 HBase列簇设计优化
13.6 HBase写入性能调优
13.6.1 HBase服务器端优化
13.6.2 HBase客户端优化
第14章HBase运维案例分析
14.1 RegionServer宕机
案例一：长时间GC导致RegionServer宕机
案例二：系统严重Bug导致RegionServer宕机
14.2 HBase写入异常
案例一：MemStore占用内存大小超过设定阈值导致写入阻塞
案例二：RegionServer Active Handler资源被耗尽导致写入阻塞
案例三：HDFS缩容导致部分写入异常
14.3总结: HBase运维时问题分析思路
第15章 HBase2.x核心技术
15.1 Procedure功能
15.2 In Memory Compaction
15.3 MOB对象存储
15.4 Offheap读路径和Offheap写路径
15.5异步化设计
第16章高级话题
16.1 二级索引
16.2 单行事务和跨行事务
16.3 HBase开发与测试
16.3.1 HBase社区运作机制
16.3.2项目测试
16.3.3拓展阅读
附录A  HBase热门问题集锦

.　　本书可以帮助读者在用户画像领域形成一种体系化思维，在面对一个具体项目时不会无从下手。如何建立标签指标体系？指标体系中包含哪些标签？如何设计存储画像标签的表结构？如何开发标签？画像系统中涉及哪些数据存储工具？如何打通标签数据到服务层？如何对画像系统进行监控？如何对整个画像系统进行调度？如何使画像系统服务于业务场景来驱动增长？这些都是画像系统的子模块。
　　主要章节及内容
　　本书共9章，各章具体内容如下：
　　第1章：主要讲用户画像的基础知识，包括搭建用户画像系统需要覆盖的模块，开发阶段流程，各阶段的关键产出，以及数据仓库架构、表结构的设计等内容。阅读本章可以帮助读者形成构建用户画像的一个整体化思想。
　　第2章：结合业务设定指标体系，本章针对案例背景，从常用的用户属性、行为、消费、风险控制这4个维度设定指标体系。本章提供的标签可涵盖大部分刻画用户画像的应用场景，对于具体应用点，读者可根据公司业务特性进行针对性的补充。
　　第3章：讲解了标签相关数据的存储，包括Hive存储、MySQL存储、HBase存储和Elasticsearch存储。不同的存储方式适用于不同的场景和业务需要。
　　第4章：也是本书的重点章节，书中介绍的标签数据及相关脚本的开发是用户画像构建工作的重点。本章讲解了对常见的统计类、规则类、挖掘类、流式计算类标签以及用户特征库等与用户相关的数据的开发，还进一步介绍了如何计算人群数据、打通数据到服务层通路的开发。通过GraphX图计算用户2度关系熟人的案例介绍了如何深度挖掘用户间的关联关系。本章对每一小节都进行了详细的讲解，并附有配套的代码计算过程。
　　第5章：讲解了开发过程中常见的数据倾斜调优、对小文件的读取、缓存中间数据、开发中间表等调优工作。
　　第6章：讲解了如何使用开源ETL工具Airflow实现画像系统相关任务的工程化上线调度，以及对数据的监控预警和调度异常的排查。
　　第7章：画像产品化是数据从数据仓库走向业务服务的重要环节，画像产品化可便于业务人员使用工具来分析用户，将业务上定义的用户群应用到各业务系统中提供服务。本章为数据产品人员、业务人员提供了解决方案的思路。
　　第8章：介绍了用户画像的应用场景，包括经营分析、精准营销、个性化推荐等应用方向，方便业务人员、产品经理、数据分析师更好地了解用户、触达用户。
　　第9章：通过场景化介绍用户画像实际应用的8个案例，清楚地展现了用户画像作为一种分析、触达用户的工具在实际业务上的应用方式和应用流程。
　　主要读者对象
　　产品经理：由于岗位性质对技术不是特别熟悉，可重点关注第1、2、7、8、9章的内容。
　　数据分析师：可以从多个维度对用户及用户群进行分析，可重点关注第1、2、3、7、8、9章的内容。
　　运营人员：可重点关注第2、8、9章的内容，了解画像系统涉及的指标体系、应用场景及应用策略。
　　数据开发人员：本书主要站在数据开发人员的角度对整个画像系统进行系统化介绍。数据开发人员可完整阅读本书各章的内容。
　　市场人员：借助画像系统了解用户群体的特征以及运营用户群的策略方法，可重点关注第2、8、9章的内容。
　　勘误和支持
　　由于水平有限，书中难免会存在疏漏之处，恳请读者批评指正。为此，读者可通过邮箱（892798505@qq.com）或微信（administer00001）反馈有关问题，我将尽全力为读者进行解答。
　　致谢
　　感谢父母对我一路成长的支持。感谢机械工业出版社华章公司的杨福川老师和李艺老师，这是我第二次与两位老师合作，每次合作与沟通总是那么愉快；感谢为本书写推荐的朋友们，你们的专业建议让本书更加精彩。最后，感谢过去一年中自己的每一分投入，不断积累，将大数据在用户画像领域的工程化实现和应用方案编纂成书。
　　
　　
　　---------------------------HBase原理与实践---------------------------
　　
　　
　　为什么要写这本书
　　 
　　Apache HBase是基于Apache Hadoop构建的一个高可用、高性能、多版本的分布式NoSQL数据库，是Google BigTable的开源实现，通过在廉价服务器上搭建起大规模结构化存储集群，提供海量数据高性能的随机读写能力。
　　 
　　HBase项目自2006年提交第一行代码以来，直到如今，经历了13年的蓬勃发展。现在已经有大量企业采用HBase来存储和分析自身飞速增长的业务数据。从全球范围来看，国内HBase的关注度更是高居榜首，这得益于国内互联网、移动互联网、物联网等方向庞大的数据体量。诸多国内大型科技公司，如阿里巴巴、小米、腾讯、网易、华为、滴滴、快手、中国移动等等都已经把HBase作为极重要的基础依赖，很多公司对HBase社区也有长期的投入。截止到目前为止，HBase全球社区已经拥有了74位HBase Committer，而国内就有20位左右的Committer，占了近1/3的比例。近一两年，HBase在国内更是得到了长足的发展，2018年中国HBase技术社区成立，一年时间里社区在多个城市相继组织了9次线下技术沙龙活动，为HBase更好地在国内各公司茁壮成长做出了卓越的贡献。
　　 
　　然而，和社区用户多次交流后发现，他们都希望我们能推荐一本HBase的书。当前市面上有关HBase的书籍大部分都集中于如何使用HBase，例如HBase集群部署、客户端API以及协处理器等。诚然，这对快速掌握和使用HBase非常有好处，但是许多HBase使用者并不满足于此，他们更希望能了解和掌握其内部运行原理。因此，当机械工业出版社的编辑吴怡老师，联系到我们是否有想法为HBase写一本书时，我们毫不犹豫地就答应了。
　　 
　　本书会从设计的角度对HBase的整个体系架构和各核心组件进行系统的分析和讲解。与此同时，还会介绍常用的性能调优策略以及问题诊断的方法和技巧，帮助读者更好的在实际生产环境实践。另外，本书最后章节会集中介绍HBase 2.x版本的核心特性，例如Procedure v2、In Memory Compactions以及MOB等。
　　 
　　读者对象
　　本书不是一本教你如何部署HBase集群、使用HBase客户端API进行读写操作的书，本书面向那些使用HBase作为数据库后端存储的应用程序开发者、有一定经验的运维人员和对HBase内核设计感兴趣的技术极客。
　　如果你想深入了解HBase的每个组件是如何工作的，如果你想更好地运维或者调优你的HBase集群，如果你想了解HBase 2.x版本的核心特性，就请阅读本书。想要更好的学习本书，需要具备如下条件：
　　了解HBase的基本操作
　　了解C、Java等高级语言
　　对一些基本算法有所了解，因为本书会从源代码层面分析HBase的工作机制，如果你能了解这些算法，会对你的理解非常有帮助
　　 
　　如何阅读本书
　　本书有16个章节，分为6个主要部分：
　　第一部分：HBase基础部分，包含1、2章节。其中第1章主要介绍HBase系统的发展历史、数据模型以及体系结构，第1章节主要介绍HBase系统中常用的数据结构以及基础算法。
　　第二部分：HBase系统相关组件，包含3、4、5三章。其中第3章重点介绍HBase所依赖的核心组件，包括ZooKeeper、HDFS等，第4章介绍HBase客户端组件实现，第5章介绍RegionServer内部组件的实现。
　　第三部分：HBase核心工作原理，包含6、7、8、9、10、11六章。其中第6章介绍HBase读写流程，第7章介绍HBase Compaction的实现原理，第8章介绍HBase中Region的迁移、合并以及分裂等操作是如何实现的，第9章介绍RegionServer宕机后如何通过HLog进行数据恢复，第10章介绍HBase不同集群之间的复制是如何实现的，第11章介绍HBase如何通过Snapshot机制完成数据的备份以及恢复。
　　第四部分：HBase运维调优实践，包含12、13、14三章。其中第12章介绍HBase集群常用的运维管理操作，包括集群如何有效监控，基准性能如何测试等，第13章集中介绍HBase集群的常用调优技巧，第14章重点分析几个HBase实际运维案例，通过案例分析介绍HBase集群问题定位处理的方法和技巧。
　　第五部分：HBase 2.x核心特性，包含第15章，重点介绍HBase最新2.x版本的核心功能特性。
　　第六部分：HBase高级话题，包含第16章，这个章节重点介绍社区中比较热门的二级索引话题以及如何进行HBase内核的测试以及开发。
　　 
　　本书的六个部分都可以单独成册，读者完全可以从书中任何一个部分开始阅读。当然，如果你想更加系统的学习HBase，建议你从前往后逐章阅读。
　　 
　　致谢
　　在编写本书的过程中，我们非常感谢给予了我们如此多帮助和鼓励的朋友、家人以及同事们。首先感谢HBase官方社区的开发者，是他们极其卓越的工作让我们有机会写这样一本书。另外，还要感谢许许多多中国HBase技术社区的小伙伴，感谢他们提供的对于HBase系统实际问题以及解决方案的深入见解。同时感谢我们的家人，没有他们的鼓励和支持，本书不可能完成。最后，一份特别的感谢要送给本书策划编辑吴怡，感谢她在全书撰写过程中所给予的详细指点及其有用的建议。
　　

.　　对于之前中文图书界的各种源码和系统解析类图书，我一直都不是很推荐。因为开源项目迭代的速度非常快，等书真正出版，里面的很多内容已经过时了。而本书避开了单纯解读源码，从原理出发对HBase进行讲解，可以做到常看常新，不会轻易过时，自然对于HBase相关从业者和爱好者是不可多得的好书。同时，本书不仅介绍分布式存储系统各种设计原理，而且还介绍在关键设计上如何取舍，对于所有对分布式存储感兴趣的读者，本书也是不可多得的优秀书籍。
　　----张铎HBase项目主席，HBase PMC成员，小米存储团队负责人
　　
　　HBase作为Google BigTable的*开源实现，已经有十多年的历史了，目前依然在国内众多互联网公司和传统公司内应用广泛，颇有种“老当益壮”的风范。但长期以来，深入解析HBase的技术书籍比较匮乏，相信很多人都是靠着多年前的《HBase权威指南》和本书作者范欣欣的博客来入门HBase的，本书算是终于填补了这块空白，不仅有对HBase经典基础知识的详细讲解，也有对HBase 2.0版本新功能的介绍，十分全面，值得所有HBase相关从业者和爱好者入手学习。
　　----张洸豪HBase PMC成员，小米HBase团队负责人对于之前中文图书界的各种源码和系统解析类图书，我一直都不是很推荐。因为开源项目迭代的速度非常快，等书真正出版，里面的很多内容已经过时了。而本书避开了单纯解读源码，从原理出发对HBase进行讲解，可以做到常看常新，不会轻易过时，自然对于HBase相关从业者和爱好者是不可多得的好书。同时，本书不仅介绍分布式存储系统各种设计原理，而且还介绍在关键设计上如何取舍，对于所有对分布式存储感兴趣的读者，本书也是不可多得的优秀书籍。
　　----张铎HBase项目主席，HBase PMC成员，小米存储团队负责人
　　 
　　HBase作为Google BigTable的*开源实现，已经有十多年的历史了，目前依然在国内众多互联网公司和传统公司内应用广泛，颇有种“老当益壮”的风范。但长期以来，深入解析HBase的技术书籍比较匮乏，相信很多人都是靠着多年前的《HBase权威指南》和本书作者范欣欣的博客来入门HBase的，本书算是终于填补了这块空白，不仅有对HBase经典基础知识的详细讲解，也有对HBase 2.0版本新功能的介绍，十分全面，值得所有HBase相关从业者和爱好者入手学习。
　　----张洸豪HBase PMC成员，小米HBase团队负责人
　　 
　　HBase系统涉及分布式理论、存储、大数据处理等技术，铺开来写都可单独成书，所以深入掌握HBase难度极大。两位作者同为HBase知名专家，解决过大量疑难杂症，为社区贡献过大量代码，剖析HBase原理能做到深入浅出，更难得的是将相关原理融汇贯通，以运维调优*实践的方式呈现给我们。本书理论性和实操性俱佳，必须入手一读。
　　----余利华网易数据科学中心部门总监
　　 
　　目前在开源社区，能被市场广泛接受的分布式持久化KV存储系统不多，HBase就是其中一款优秀产品。Apache社区开放的生态环境，也使HBase得到了健康的发展，全球各数据库大会和大数据会议上，可以频繁地见到HBase的身影。从HBase整个生态链上来看，我们也可以发现像Phoenix、Omid等各种不同框架都可以建立在HBase之上，用来实现业务在SQL和事务上的不同需求。在网易内部，HBase从*初支持单一的日志存储，发展成为同时支撑各业务部门的上百个不同业务。基于HBase SSD的存储系统，在实时推荐、实时风控等场景下都得到了很好的应用，对于一般化的场景则更多，例如日志存储、订单存储、用户画像等等。希望本书能帮助读者更深入、系统地了解HBase。
　　----蒋鸿翔网易大数据和数据库内核团队负责人