基本信息
- 作者： [美]加博尔·萨博（Gabor Szabo）[美]格尔·波拉特坎（Gungor Polatkan） [美]P. 奥斯卡·柏金（P. Oscar Boykin） [英]安东尼奥斯· 查基奥普洛斯 （Antonios Chalkiopoulos）
- 丛书名： 数据科学与工程技术丛书
- 出版社：机械工业出版社
- ISBN：9787111643685
- 上架时间：2019-12-27
- 出版日期：2019 年12月
- 开本：16开
- 页码：243
- 版次：1-1
- 所属分类：计算机 > 数据库 > 数据库存储与管理
编辑推荐
社交媒体
数据挖掘与分析
加博尔·萨博（Gabor Szabo）
[ 美 ]格尔·波拉特坎（Gungor Polatkan）
P. 奥斯卡·柏金（P. Oscar Boykin）
[ 英 ]安东尼奥斯·查基奥普洛斯 （Antonios Chalkiopoulos）
李凯 吕天阳译
Social Media Data Mining and Analytics
内容简介
作译者
[美]加博尔·萨博（Gabor Szabo）[美]格尔·波拉特坎（Gungor Polatkan） [美]P. 奥斯卡·柏金（P. Oscar Boykin） [英]安东尼奥斯· 查基奥普洛斯 （Antonios Chalkiopoulos）著：Gabor Szabo博士，是Tesla的高级软件工程师，曾作为数据科学家任职于Twitter，期间专注于预测众包在线服务中的用户行为和内容流行度，以及对大规模内容的动力学进行建模。他还开发了PyCascading数据处理库。
Gungor Polatkan博士，是一名技术主管和工程经理，他为LinkedIn学习相关的后端设计并实现了端到端的机器学习和人工智能离线及在线管道。之前曾在Twitter任职机器学习科学家，从事如广告定向投放和用户建模等专题的工作。
P. Oscar Boykin博士，是Stripe的软件工程师，从事机器学习基础设施的建设工作。他曾在Twitter任职高级工程师，解决数据基础设施的问题。他参与了Scala大数据库Algebird、Scalding和Summingbird的开发。
Antonios Chalkiopoulos硕士，是分布式系统专家。一位曾在媒体、博彩和金融领域交付过快速和大型数据项目的系统工程师。他现在作为共同创始人领导Lenses数据流平台的工作，同时担任https://senses.stream网站的CEO。
Gungor Polatkan博士，是一名技术主管和工程经理，他为LinkedIn学习相关的后端设计并实现了端到端的机器学习和人工智能离线及在线管道。之前曾在Twitter任职机器学习科学家，从事如广告定向投放和用户建模等专题的工作。
P. Oscar Boykin博士，是Stripe的软件工程师，从事机器学习基础设施的建设工作。他曾在Twitter任职高级工程师，解决数据基础设施的问题。他参与了Scala大数据库Algebird、Scalding和Summingbird的开发。
Antonios Chalkiopoulos硕士，是分布式系统专家。一位曾在媒体、博彩和金融领域交付过快速和大型数据项目的系统工程师。他现在作为共同创始人领导Lenses数据流平台的工作，同时担任https://senses.stream网站的CEO。
目录
译者序
前言
致谢
作者简介
技术编辑简介
第1章 用户：谁参与社交媒体 1
1.1 测量Wikipedia中用户行为的变化 1
1.1.1 用户活动的多样性 2
1.1.2 人类活动中的长尾效应 18
1.2 随处可见的长尾效应：80/20定律 20
1.3 Twitter上的在线行为 23
1.3.1 检索用户的Tweet 24
1.3.2 对数分区 26
1.3.3 Twitter上的用户活动 27
1.4 总结 28
第2章 网络：社交媒体如何运行 29
2.1 社交网络的类型和属性 30
2.1.1 用户何时创建连接：显式网络 30
2.1.2 有向图与无向图 31
2.1.3 节点和边的属性 31
前言
致谢
作者简介
技术编辑简介
第1章 用户：谁参与社交媒体 1
1.1 测量Wikipedia中用户行为的变化 1
1.1.1 用户活动的多样性 2
1.1.2 人类活动中的长尾效应 18
1.2 随处可见的长尾效应：80/20定律 20
1.3 Twitter上的在线行为 23
1.3.1 检索用户的Tweet 24
1.3.2 对数分区 26
1.3.3 Twitter上的用户活动 27
1.4 总结 28
第2章 网络：社交媒体如何运行 29
2.1 社交网络的类型和属性 30
2.1.1 用户何时创建连接：显式网络 30
2.1.2 有向图与无向图 31
2.1.3 节点和边的属性 31
前言
本书旨在通过数据来理解社交媒体服务是如何被使用的。自从Web 2.0问世以来，赋予用户主动变更和贡献内容的权力的站点及服务受到了广泛欢迎。社交媒体起源于早期的社交网络和社区通信服务，包括20世纪80年代的公告牌系统（Bulletin Board System，BBS）
以及其后出现的Usenet新闻组和20世纪90年代的地理城市（geocity），它们中的社区围绕着受关注的热门话题进行组织，并为用户提供电子邮件或聊天室作为交流平台。被称为Internet的全球信息通信网络则带来了一个更高层次的网络系统：在志同道合的个人和群体之间建立的全球性的关联网络。从那时开始，尽管跨越全球建立人与人之间联系的基本理念变化不大，但是社交媒体服务的范围和影响却达到了前所未有的程度。虽然大部分的交流仍然很自然地发生在“现实世界”，但是转向电子信息交换进行人际交互的趋势已经愈加强烈。移动设备的快速发展和联网程度的快速提升使得“口袋里的Internet”成为现实。在此基础上，在任何时间、任何地点与朋友、家人保持联系以及持续关注喜欢的事情都已经成为可能。
无怪乎用于满足人们交流和分享需要的服务大量涌现，并引领了公共和私人生活方式的改变。借助这些服务，我们可以即时了解其他人对品牌、产品以及彼此的看法。通过私下或匿名分享自己的想法，人们有了一个新的渠道，可以通过比传统媒体更自由的方式表达自己的想法。如果人们愿意的话，每个人的声音都可以被他人听到，所以从人们贡献的大量内容中大海捞针似地寻找相关信息也就成为这些服务的责任。也就是说，这些服务要为我们推送相关并且有趣的内容。
这些服务有什么共同点呢？那就是它们依赖于我们，因为它们只是人与人之间的媒介。这也意味着在某种程度上，通过分析这些服务的使用数据而发现的数学规律其实反映的是我们自身的行为。所以可以预期，在分析这些数据集时将遇到相似的发现和挑战。借助一些技术手段可以通过这些服务所收集的数据来理解用户如何参与其中，本书的目的就是指出这些规律和技术手段。
人际交互行为挖掘
顾名思义，社交媒体是由在线服务所提供的内容所引发的社会互动来驱动的。例如，社交网络使每个个体能够很容易地相互连接，共享图片、多媒体、新闻文章、Web内容以及各种其他信息。在这些服务最常见的使用场景中，人们会去Facebook获取朋友、亲戚和熟人的最新信息，并与他们分享一些自己生活的信息。而在Twitter，因为无须相互关注，所以用户可以了解任何其他用户的想法、所分享的内容，或者与其他人进行交流。LinkedIn则是一个专业的社交网络，它的目标是通过网络和团体将志同道合的专业人士彼此联系起来，并充当求职者和用人单位之间的桥梁。
也有其他类型的社交媒体服务，其社交互动的网络特性更多只是起到辅助作用，而不是以共同创建或欣赏被分享的内容为目的（例如，Wikipedia、YouTube或Instagram）。对这些社交媒体而言，尽管用户之间的连接是存在的，但连接的目的是让用户更易于管理内容的发现，并使内容的创建更有效率（例如，Wikipedia的文章）。
当然，还有许多针对特定的兴趣或领域的社交媒体站点和服务，如艺术、音乐、摄影、学术机构、地理位置、爱好等。这些都表明在线用户有着最深切的愿望同那些志同道合者建立联系。
尽管这些服务所关注的范围大不相同，但是它们有一个共同点：它们完全是因为拥有了用户和受众才能存在的。这也就是这些服务不同于那些“预先创建”的或静态的站点之处，此类站点包括传统媒体新闻网站、公司主页、目录以及任何以授权的内容生产者的特定小群体为中心所创建的网络资源。（这里的“小”是相对于使用社交媒体服务的数以百万计的用户群体而言的。）深入挖掘这些服务的使用模式能够观察到数以百万计的社交媒体用户的群体动力学的结果，这也正是本书的兴趣所在。
通过收集数据理解在线行为
当我们从社交媒体服务收集使用日志数据时，会一睹人类群体的统计行为，这些群体的聚集或是因为具有相似的动机或期望，或是因为朝着同一个目标而努力。给定服务的组织方式以及其展示内容的方式自然会对我们在用户活动日志中所看到的内容有很大的影响。这些访问和使用日志存储在服务的数据库中，因此，我们与他人交互的统计模式以及服务主机所包含的内容必然会通过这些痕迹展现出来。（只要这样的模式存在，并且我们不是以一种完全反复无常、随机的方式进行日常活动，我们就将看到统计规律无处不在，这也是直觉可能预期的。）
幸运的是，这些服务（多数情况下）在设计上并不会有非常极端的差异，从而导致完全不同的用户行为特征。这是什么意思呢？举个例子，我们想要度量一件简单的事情：一周之内用户返回我们的服务并参与某些活动的频繁程度。对每个用户来说，这只不过是一个从0到理论上为无穷大的数字。当然，在有限时间内，我们不会看到任何人在服务上进行无穷次的操作，不过可能会出现一个很大的数字。所以，当决定要统计活动的次数时，我们能否期望对于两个不同的系统有不同的统计结果呢，比如用户将视频发布到YouTube频道和将照片上传到Flickr账号？
答案显然是一个响亮的“是”。如果分别观察YouTube和Flickr使用频次的分布，我们自然会发现，每周上传一个视频的YouTube用户比例与每周上传一个图像的Flickr用户比例并不相同。这是很自然的，因为这两个服务以不同的使用场景吸引具有不同特征的用户群体，所以具体的分布当然不同。然而，在研究者分析过的大多数在线系统当中，我们发现了一个可能不那么直观的结果：这些分布具有一种相似的定性统计行为。
所谓“定性”是指，尽管两个服务所对应的使用模型的具体参数取值可能不同，但是用以描述这两个系统中用户行为的模型本身却是相同或者非常相似的（可能存在微小差异）。
关于这一点的好消息是，我们有理由相信，从活动日志中挖掘出的确实是在这些站点上驱动内容创建、传播、分享等操作的潜在的人类行为。另一个好消息是，如果遇到新的运行机制为由用户产生内容的服务，我们可以有根据地推测能够从中挖掘些什么。如果在数据分析结果中发现与以前看到的一般模式有所区别的新情况，那么我们应该为其寻找特定服务的原因，以便进一步研究。
因此，在某种程度上，只要一个全新的服务也由同样的潜在人类行为支配，本书所给出的方法和结果也可以很好地应用于这个新服务。对于目前我们所知被研究过的社交媒体服务而言，这一结论基本正确，几乎没有例外。因此，我们倾向于认为这些系统提供了洞察人类行为的机会，由于人们在服务的日志中留下了数字足迹，这种观察和描述由许多人的松散聚集所产生的群体行为的机会是前所未有的。（当然，在实践中必须考虑隐私问题，但此处我们感兴趣的只是大图景下的统计结果，而不是某个个体的具体行为。）后续小节将介绍在各种社交媒体服务中可能引人关注的数据，以及我们将在本书中使用哪些公共数据集作为示例。
需要收集何种数据
我们最终希望通过数据回答的问题决定了需要收集哪些数据。一般而言，拥有的数据越多，也就越能更好地回答当前以及未来的问题。由于我们永远不会知道何时需要完善或扩展对数据的分析，所以如果设计一个服务，最好提前考虑在日志中记录全部或者近乎全部的用户与服务及用户之间的交互行为。当前存储设备并不昂贵，所以明智的做法是尽可能满足未来的数据需求，而非过早地尝试优化存储空间。当然，随着服务的发展和其关注领域的日渐清晰，可以根据需要减少收集数据的总量并重构现有的数据源。
为了更好地理解一般需要的用户活动数据，下面列出一些大家可能感兴趣的关于社交媒体使用的典型问题：
谁是最活跃或最不活跃的用户？有多少这样的用户？
以及其后出现的Usenet新闻组和20世纪90年代的地理城市（geocity），它们中的社区围绕着受关注的热门话题进行组织，并为用户提供电子邮件或聊天室作为交流平台。被称为Internet的全球信息通信网络则带来了一个更高层次的网络系统：在志同道合的个人和群体之间建立的全球性的关联网络。从那时开始，尽管跨越全球建立人与人之间联系的基本理念变化不大，但是社交媒体服务的范围和影响却达到了前所未有的程度。虽然大部分的交流仍然很自然地发生在“现实世界”，但是转向电子信息交换进行人际交互的趋势已经愈加强烈。移动设备的快速发展和联网程度的快速提升使得“口袋里的Internet”成为现实。在此基础上，在任何时间、任何地点与朋友、家人保持联系以及持续关注喜欢的事情都已经成为可能。
无怪乎用于满足人们交流和分享需要的服务大量涌现，并引领了公共和私人生活方式的改变。借助这些服务，我们可以即时了解其他人对品牌、产品以及彼此的看法。通过私下或匿名分享自己的想法，人们有了一个新的渠道，可以通过比传统媒体更自由的方式表达自己的想法。如果人们愿意的话，每个人的声音都可以被他人听到，所以从人们贡献的大量内容中大海捞针似地寻找相关信息也就成为这些服务的责任。也就是说，这些服务要为我们推送相关并且有趣的内容。
这些服务有什么共同点呢？那就是它们依赖于我们，因为它们只是人与人之间的媒介。这也意味着在某种程度上，通过分析这些服务的使用数据而发现的数学规律其实反映的是我们自身的行为。所以可以预期，在分析这些数据集时将遇到相似的发现和挑战。借助一些技术手段可以通过这些服务所收集的数据来理解用户如何参与其中，本书的目的就是指出这些规律和技术手段。
人际交互行为挖掘
顾名思义，社交媒体是由在线服务所提供的内容所引发的社会互动来驱动的。例如，社交网络使每个个体能够很容易地相互连接，共享图片、多媒体、新闻文章、Web内容以及各种其他信息。在这些服务最常见的使用场景中，人们会去Facebook获取朋友、亲戚和熟人的最新信息，并与他们分享一些自己生活的信息。而在Twitter，因为无须相互关注，所以用户可以了解任何其他用户的想法、所分享的内容，或者与其他人进行交流。LinkedIn则是一个专业的社交网络，它的目标是通过网络和团体将志同道合的专业人士彼此联系起来，并充当求职者和用人单位之间的桥梁。
也有其他类型的社交媒体服务，其社交互动的网络特性更多只是起到辅助作用，而不是以共同创建或欣赏被分享的内容为目的（例如，Wikipedia、YouTube或Instagram）。对这些社交媒体而言，尽管用户之间的连接是存在的，但连接的目的是让用户更易于管理内容的发现，并使内容的创建更有效率（例如，Wikipedia的文章）。
当然，还有许多针对特定的兴趣或领域的社交媒体站点和服务，如艺术、音乐、摄影、学术机构、地理位置、爱好等。这些都表明在线用户有着最深切的愿望同那些志同道合者建立联系。
尽管这些服务所关注的范围大不相同，但是它们有一个共同点：它们完全是因为拥有了用户和受众才能存在的。这也就是这些服务不同于那些“预先创建”的或静态的站点之处，此类站点包括传统媒体新闻网站、公司主页、目录以及任何以授权的内容生产者的特定小群体为中心所创建的网络资源。（这里的“小”是相对于使用社交媒体服务的数以百万计的用户群体而言的。）深入挖掘这些服务的使用模式能够观察到数以百万计的社交媒体用户的群体动力学的结果，这也正是本书的兴趣所在。
通过收集数据理解在线行为
当我们从社交媒体服务收集使用日志数据时，会一睹人类群体的统计行为，这些群体的聚集或是因为具有相似的动机或期望，或是因为朝着同一个目标而努力。给定服务的组织方式以及其展示内容的方式自然会对我们在用户活动日志中所看到的内容有很大的影响。这些访问和使用日志存储在服务的数据库中，因此，我们与他人交互的统计模式以及服务主机所包含的内容必然会通过这些痕迹展现出来。（只要这样的模式存在，并且我们不是以一种完全反复无常、随机的方式进行日常活动，我们就将看到统计规律无处不在，这也是直觉可能预期的。）
幸运的是，这些服务（多数情况下）在设计上并不会有非常极端的差异，从而导致完全不同的用户行为特征。这是什么意思呢？举个例子，我们想要度量一件简单的事情：一周之内用户返回我们的服务并参与某些活动的频繁程度。对每个用户来说，这只不过是一个从0到理论上为无穷大的数字。当然，在有限时间内，我们不会看到任何人在服务上进行无穷次的操作，不过可能会出现一个很大的数字。所以，当决定要统计活动的次数时，我们能否期望对于两个不同的系统有不同的统计结果呢，比如用户将视频发布到YouTube频道和将照片上传到Flickr账号？
答案显然是一个响亮的“是”。如果分别观察YouTube和Flickr使用频次的分布，我们自然会发现，每周上传一个视频的YouTube用户比例与每周上传一个图像的Flickr用户比例并不相同。这是很自然的，因为这两个服务以不同的使用场景吸引具有不同特征的用户群体，所以具体的分布当然不同。然而，在研究者分析过的大多数在线系统当中，我们发现了一个可能不那么直观的结果：这些分布具有一种相似的定性统计行为。
所谓“定性”是指，尽管两个服务所对应的使用模型的具体参数取值可能不同，但是用以描述这两个系统中用户行为的模型本身却是相同或者非常相似的（可能存在微小差异）。
关于这一点的好消息是，我们有理由相信，从活动日志中挖掘出的确实是在这些站点上驱动内容创建、传播、分享等操作的潜在的人类行为。另一个好消息是，如果遇到新的运行机制为由用户产生内容的服务，我们可以有根据地推测能够从中挖掘些什么。如果在数据分析结果中发现与以前看到的一般模式有所区别的新情况，那么我们应该为其寻找特定服务的原因，以便进一步研究。
因此，在某种程度上，只要一个全新的服务也由同样的潜在人类行为支配，本书所给出的方法和结果也可以很好地应用于这个新服务。对于目前我们所知被研究过的社交媒体服务而言，这一结论基本正确，几乎没有例外。因此，我们倾向于认为这些系统提供了洞察人类行为的机会，由于人们在服务的日志中留下了数字足迹，这种观察和描述由许多人的松散聚集所产生的群体行为的机会是前所未有的。（当然，在实践中必须考虑隐私问题，但此处我们感兴趣的只是大图景下的统计结果，而不是某个个体的具体行为。）后续小节将介绍在各种社交媒体服务中可能引人关注的数据，以及我们将在本书中使用哪些公共数据集作为示例。
需要收集何种数据
我们最终希望通过数据回答的问题决定了需要收集哪些数据。一般而言，拥有的数据越多，也就越能更好地回答当前以及未来的问题。由于我们永远不会知道何时需要完善或扩展对数据的分析，所以如果设计一个服务，最好提前考虑在日志中记录全部或者近乎全部的用户与服务及用户之间的交互行为。当前存储设备并不昂贵，所以明智的做法是尽可能满足未来的数据需求，而非过早地尝试优化存储空间。当然，随着服务的发展和其关注领域的日渐清晰，可以根据需要减少收集数据的总量并重构现有的数据源。
为了更好地理解一般需要的用户活动数据，下面列出一些大家可能感兴趣的关于社交媒体使用的典型问题：
谁是最活跃或最不活跃的用户？有多少这样的用户？
媒体评论
社交媒体是大数据的丰富来源，财富500强公司中的90%都在投资大数据方面的计划来帮助预测用户的行为。了解社交媒体数据最有效的挖掘方法能够帮助你获得产生惊人业绩的信息。
社交媒体是非结构化、动态、面向未来的。高效而有洞察力的数据挖掘需要新的分析工具和技术。由任职社交网络公司的业界专家所撰写的本书提供了一个实践教程，教授你如何使用最新的工具和专门针对社交媒体的复杂数据挖掘技术。本书深入剖析了收集和应用社交媒体数据的机制，以理解用户、定义趋势并做出预测，从而改善对增长和销售的分析。
你将了解如何充分利用从社交媒体及其他相关的丰富数据源所收集的数据，也将学习如何识别在线用户的共性行为模式，以便独立构建和应用基于这些模式的预测算法。
通过阅读本书，你将学到：
? 在线服务的4个关键特征：用户、社交网络、行为和内容
? 数据发现的生命周期：数据抽取、分析和可视化
? 使用社交媒体进行客户预测和推荐的技术
? 如何使用分布式计算高效处理大规模社交媒体数据
? 使用Python、R和Scala编写的代码级的示例解决方案
社交媒体是非结构化、动态、面向未来的。高效而有洞察力的数据挖掘需要新的分析工具和技术。由任职社交网络公司的业界专家所撰写的本书提供了一个实践教程，教授你如何使用最新的工具和专门针对社交媒体的复杂数据挖掘技术。本书深入剖析了收集和应用社交媒体数据的机制，以理解用户、定义趋势并做出预测，从而改善对增长和销售的分析。
你将了解如何充分利用从社交媒体及其他相关的丰富数据源所收集的数据，也将学习如何识别在线用户的共性行为模式，以便独立构建和应用基于这些模式的预测算法。
通过阅读本书，你将学到：
? 在线服务的4个关键特征：用户、社交网络、行为和内容
? 数据发现的生命周期：数据抽取、分析和可视化
? 使用社交媒体进行客户预测和推荐的技术
? 如何使用分布式计算高效处理大规模社交媒体数据
? 使用Python、R和Scala编写的代码级的示例解决方案
