关键迭代：可信赖的线上对照实验
硅谷创业教父Steve Blank、微软前执行副总裁沈向洋、脸书前首席技术官Adam D’Angelo、谷歌高级院士Jeff Dean等37位专家联袂推荐，亚马逊、谷歌、微软和领英等公司互联网产品成功的秘诀！
基本信息
- 原书名：Trustworthy Online Controlled ExperimentsA Practical Guide to A/B Testing
【插图】
编辑推荐
本书旨在分享多年来Ron 在亚马逊和微软、Diane 在谷歌以及Ya 在微软和领英大规模运行线上对照实验累积的实践经验。三位作者都是各自团队的领军人物，他们领导构建了各自公司的实验平台和实验文化。虽然不代表谷歌、领英或微软官方，而是以个人身份写作此书，但书中凝聚了作者们工作多年积累的关键经验教训和遇到的常见陷阱，并提供了软件平台的搭建以及公司文化的培养方面的指导：如何利用线上对照实验建立数据驱动文化而不是依赖HiPPO（Highest Paid Person's Opinion， 最高薪者的意见）。本书一作Ronny被实验从业者私下奉为线上实验领域的“教父”，故本书也相应地被奉为线上实验领域的“圣经”。
本书既有助于对实验感兴趣的读者了解实验的应用场景和业务价值，也是实验从业者可以放在手边的参考书。沈向洋教授也在推荐中写到：“对于希望通过线上对照实验来优化产品功能、项目效率或营收的管理人员、领导者、研究人员或工程师，本书是很好的资源。”
内容简介
书籍
计算机书籍
本书基于近些年实验领域的研究成果和实践经验，对实验的方法和应用做了很好的全景式描述，是一本兼顾系统性的方法论和基于实战的经验法则的书籍。根据微软、亚马逊、谷歌和领英每年运行的两万多个对照实验，作者以示例和建议的方式向学生和业内人士分享了自己的实践经验，指出了需要避免的陷阱，并深入探讨了一些进阶专题，可以为希望改善自身及机构数据驱动决策方式的从业者提供参考。
全书分为五个部分：第I部分由四章组成。第1章概述运行线上对照实验的好处，并介绍实验相关术语。第2 章用一个例子剖析运行实验的全过程。第3 章描述常见的陷阱以及如何建立实验的可信赖度。第4 章概述如何搭建实验平台并规模化线上实验。第II部分的五章内容介绍实验的基础原理，比如机构指标。我们推荐所有人阅读这一部分，尤其是领导者和高管。第III部分的两章内容介绍线上对照实验的补充技法，可以帮助管理层、数据科学家、工程师、分析师、产品经理等进行资源和时间的投资。第IV部分专注于实验平台的搭建，面向工程师群体。最后，第V部分深入讨论进阶的实验分析专题，面向数据科学家。
计算机书籍
本书基于近些年实验领域的研究成果和实践经验，对实验的方法和应用做了很好的全景式描述，是一本兼顾系统性的方法论和基于实战的经验法则的书籍。根据微软、亚马逊、谷歌和领英每年运行的两万多个对照实验，作者以示例和建议的方式向学生和业内人士分享了自己的实践经验，指出了需要避免的陷阱，并深入探讨了一些进阶专题，可以为希望改善自身及机构数据驱动决策方式的从业者提供参考。
全书分为五个部分：第I部分由四章组成。第1章概述运行线上对照实验的好处，并介绍实验相关术语。第2 章用一个例子剖析运行实验的全过程。第3 章描述常见的陷阱以及如何建立实验的可信赖度。第4 章概述如何搭建实验平台并规模化线上实验。第II部分的五章内容介绍实验的基础原理，比如机构指标。我们推荐所有人阅读这一部分，尤其是领导者和高管。第III部分的两章内容介绍线上对照实验的补充技法，可以帮助管理层、数据科学家、工程师、分析师、产品经理等进行资源和时间的投资。第IV部分专注于实验平台的搭建，面向工程师群体。最后，第V部分深入讨论进阶的实验分析专题，面向数据科学家。
作译者
作者简介
罗恩·科哈维（Ron Kohavi）是爱彼迎的副总裁和技术院士，曾任微软的技术研究员和公司副总裁。在加入微软之前，他是亚马逊的数据挖掘和个性化推荐总监。他拥有斯坦福大学计算机科学博士学位，论文被引用超过40 000次，其中有3篇位列计算机科学领域引用最多的1 000篇论文榜。
黛安·唐（Diane Tang）是谷歌院士，大规模数据分析和基础设施、线上对照实验及广告系统方面的专家。她拥有哈佛大学的文学学士学位和斯坦福大学的硕士及博士学位，在移动网络、信息可视化、实验方法、数据基础设施、数据挖掘和大数据方面拥有专利和出版物。
许亚（Ya Xu）是领英数据科学与实验平台负责人，曾撰写了多篇关于实验的论文，并经常在顶级会议和大学演讲。她曾在微软工作，拥有斯坦福大学的统计学博士学位。
译者简介
韩玮：爱彼迎数据科学资深专家，专注于搜索算法和实验领域，之前在沃尔玛实验室负责相关工作。她于宾夕法尼亚大学获得应用数学博士学位和统计学硕士学位，本科毕业于中国科学技术大学数学系。
胡鹃娟：现任爱彼迎数据科学家，拥有四年的A/B 实验分析经验。此前在领英任资深数据科学家。于加州大学戴维斯分校获得统计学硕士学位、香港中文大学获得金融硕士学位，本科毕业于中国科学技术大学00 班统计专业。
段玮韬：领英资深应用研究专家，现负责领英实验科学团队。他与许亚一起在实验领域紧密合作长达5 年之久，书中的很多材料和结论都提炼自他和许亚的工作经验。
胡泽浩：优步数据科学经理，优步人工智能和增长平台两个数据科学团队的负责人，拥有五年用数据及实验驱动产品开发的经验。于宾夕法尼亚大学获得经济学博士学位，本科毕业于香港大学经济系。
廖一正：爱彼迎资深数据科学家，负责爱彼迎中国区搜索引擎算法开发，领导着实验分析委员会。于斯坦福大学获得土木与环境工程博士学位，研究领域为应用机器学习和统计。
王璐：雪花（Snowflake）计算数据科学家，拥有将近七年的实验设计与分析、统计建模以及产品分析经验。曾任爱彼迎数据科学家以及吉利德科学生物统计师。于加州大学洛杉矶分校获得生物统计博士学位，本科毕业于浙江大学生物信息系。
赵振宇：腾讯数据科学总监。此前先后在雅虎和优步负责实验系统、因果推断、机器学习应用研究和平台建设，以及开源项目研发工作。于美国西北大学获得统计学博士学位，本科毕业于中国科学技术大学。
钟婧：苹果公司Siri 部门资深数据科学家，此前先后在微软必应部门及脸书公司从事机器学习建模和A/B 实验、用户和产品数据分析、产品战略分析等方向的研究工作。于密歇根大学获得博士学位，本科毕业于清华大学电子工程系。
罗恩·科哈维（Ron Kohavi）是爱彼迎的副总裁和技术院士，曾任微软的技术研究员和公司副总裁。在加入微软之前，他是亚马逊的数据挖掘和个性化推荐总监。他拥有斯坦福大学计算机科学博士学位，论文被引用超过40 000次，其中有3篇位列计算机科学领域引用最多的1 000篇论文榜。
黛安·唐（Diane Tang）是谷歌院士，大规模数据分析和基础设施、线上对照实验及广告系统方面的专家。她拥有哈佛大学的文学学士学位和斯坦福大学的硕士及博士学位，在移动网络、信息可视化、实验方法、数据基础设施、数据挖掘和大数据方面拥有专利和出版物。
许亚（Ya Xu）是领英数据科学与实验平台负责人，曾撰写了多篇关于实验的论文，并经常在顶级会议和大学演讲。她曾在微软工作，拥有斯坦福大学的统计学博士学位。
译者简介
韩玮：爱彼迎数据科学资深专家，专注于搜索算法和实验领域，之前在沃尔玛实验室负责相关工作。她于宾夕法尼亚大学获得应用数学博士学位和统计学硕士学位，本科毕业于中国科学技术大学数学系。
胡鹃娟：现任爱彼迎数据科学家，拥有四年的A/B 实验分析经验。此前在领英任资深数据科学家。于加州大学戴维斯分校获得统计学硕士学位、香港中文大学获得金融硕士学位，本科毕业于中国科学技术大学00 班统计专业。
段玮韬：领英资深应用研究专家，现负责领英实验科学团队。他与许亚一起在实验领域紧密合作长达5 年之久，书中的很多材料和结论都提炼自他和许亚的工作经验。
胡泽浩：优步数据科学经理，优步人工智能和增长平台两个数据科学团队的负责人，拥有五年用数据及实验驱动产品开发的经验。于宾夕法尼亚大学获得经济学博士学位，本科毕业于香港大学经济系。
廖一正：爱彼迎资深数据科学家，负责爱彼迎中国区搜索引擎算法开发，领导着实验分析委员会。于斯坦福大学获得土木与环境工程博士学位，研究领域为应用机器学习和统计。
王璐：雪花（Snowflake）计算数据科学家，拥有将近七年的实验设计与分析、统计建模以及产品分析经验。曾任爱彼迎数据科学家以及吉利德科学生物统计师。于加州大学洛杉矶分校获得生物统计博士学位，本科毕业于浙江大学生物信息系。
赵振宇：腾讯数据科学总监。此前先后在雅虎和优步负责实验系统、因果推断、机器学习应用研究和平台建设，以及开源项目研发工作。于美国西北大学获得统计学博士学位，本科毕业于中国科学技术大学。
钟婧：苹果公司Siri 部门资深数据科学家，此前先后在微软必应部门及脸书公司从事机器学习建模和A/B 实验、用户和产品数据分析、产品战略分析等方向的研究工作。于密歇根大学获得博士学位，本科毕业于清华大学电子工程系。
目录
本书赞誉
译者序
前言--如何阅读本书
致谢
第一部分 线上对照实验概览
第1章 概述和写作动机003
1.1 线上对照实验的术语005
1.2 为什么进行实验？相关性、因果关系和可信赖度008
1.3 有效运行对照实验的必要元素010
1.4 宗旨011
1.5 随时间推移的改进013
1.6 有趣的线上对照实验实例015
1.7 战略、战术及它们和实验的关系020
1.8 补充阅读 023
第2章 运行和分析实验--一个全程剖析的案例025
2.1 设立实验025
2.2 假设检验：确立统计显著性028
2.3 设计实验030
2.4 运行实验并获得数据032
2.5 分析结果033
译者序
前言--如何阅读本书
致谢
第一部分 线上对照实验概览
第1章 概述和写作动机003
1.1 线上对照实验的术语005
1.2 为什么进行实验？相关性、因果关系和可信赖度008
1.3 有效运行对照实验的必要元素010
1.4 宗旨011
1.5 随时间推移的改进013
1.6 有趣的线上对照实验实例015
1.7 战略、战术及它们和实验的关系020
1.8 补充阅读 023
第2章 运行和分析实验--一个全程剖析的案例025
2.1 设立实验025
2.2 假设检验：确立统计显著性028
2.3 设计实验030
2.4 运行实验并获得数据032
2.5 分析结果033
前言
如果我们有数据，那就看数据。
如果我们只有观点，那就按我的观点来。
——Jim Barksdale，网景前首席执行官
本书旨在分享多年来Ron在亚马逊和微软、Diane在谷歌以及Ya在微软和领英大规模运行线上对照实验积累的实践经验。虽然我们不是代表谷歌、领英或微软官方，而是以个人身份写作此书，但书中凝聚了我们工作多年积累的关键经验教训和遇到的常见陷阱，并提供了软件平台的搭建以及公司文化的培养方面的指导：如何利用线上对照实验建立数据驱动文化而不是依赖HiPPO（Highest Paid Person’s Opinion，最高薪者的意见）（R. Kohavi, HiPPO FAQ 2019）。我们相信书中的很多经验适用于各种线上环境，不论是大大小小的公司，还是具体到公司内部的团队或组织。书中强调了评估实验结果可信赖度的必要性。我们相信特威曼定律蕴含的怀疑论：任何看起来有趣或与众不同的数字通常都是错的。我们鼓励读者对实验结果，尤其是有突破性的正面结果做二次检查，以及做验证性测试。获得数据很简单，但获得你能信任的数据很难！
本书第一部分适合所有读者，由四章组成。第1章概述运行线上对照实验的好处，并介绍实验相关术语。第2章用一个例子剖析运行实验的全过程。第3章描述常见的陷阱以及如何建立实验的可信赖度。第4章概述如何搭建实验平台并规模化线上实验。
第二部分到第五部分针对一些特定的读者群体，当然也欢迎其他读者按需阅读。第二部分的五章内容介绍实验的基础原理，比如机构指标。我们推荐所有人阅读这一部分，尤其是领导者和高管。第三部分的两章内容介绍线上对照实验的补充技法，可以帮助管理层、数据科学家、工程师、分析师、产品经理等进行资源和时间的投资。第四部分专注于实验平台的搭建，面向工程师群体。最后，第五部分深入讨论进阶的实验分析专题，面向数据科学家。
本书的配套网站为https://experimentguide.com，它囊括了更多的材料和勘误，并提供了开放性讨论的空间。本书作者的所有收益将捐献给慈善机构。
如果我们只有观点，那就按我的观点来。
——Jim Barksdale，网景前首席执行官
本书旨在分享多年来Ron在亚马逊和微软、Diane在谷歌以及Ya在微软和领英大规模运行线上对照实验积累的实践经验。虽然我们不是代表谷歌、领英或微软官方，而是以个人身份写作此书，但书中凝聚了我们工作多年积累的关键经验教训和遇到的常见陷阱，并提供了软件平台的搭建以及公司文化的培养方面的指导：如何利用线上对照实验建立数据驱动文化而不是依赖HiPPO（Highest Paid Person’s Opinion，最高薪者的意见）（R. Kohavi, HiPPO FAQ 2019）。我们相信书中的很多经验适用于各种线上环境，不论是大大小小的公司，还是具体到公司内部的团队或组织。书中强调了评估实验结果可信赖度的必要性。我们相信特威曼定律蕴含的怀疑论：任何看起来有趣或与众不同的数字通常都是错的。我们鼓励读者对实验结果，尤其是有突破性的正面结果做二次检查，以及做验证性测试。获得数据很简单，但获得你能信任的数据很难！
本书第一部分适合所有读者，由四章组成。第1章概述运行线上对照实验的好处，并介绍实验相关术语。第2章用一个例子剖析运行实验的全过程。第3章描述常见的陷阱以及如何建立实验的可信赖度。第4章概述如何搭建实验平台并规模化线上实验。
第二部分到第五部分针对一些特定的读者群体，当然也欢迎其他读者按需阅读。第二部分的五章内容介绍实验的基础原理，比如机构指标。我们推荐所有人阅读这一部分，尤其是领导者和高管。第三部分的两章内容介绍线上对照实验的补充技法，可以帮助管理层、数据科学家、工程师、分析师、产品经理等进行资源和时间的投资。第四部分专注于实验平台的搭建，面向工程师群体。最后，第五部分深入讨论进阶的实验分析专题，面向数据科学家。
本书的配套网站为https://experimentguide.com，它囊括了更多的材料和勘误，并提供了开放性讨论的空间。本书作者的所有收益将捐献给慈善机构。
媒体评论
"精益方法的核心是科学的方法：创建假设、运行实验、收集数据、提取洞察以及对假设进行验证或修改。A/B测试是创建可验证且可重复的实验的黄金标准，而本书正是这方面的权威书籍。"
-Steve Blank，斯坦福大学兼职教授，硅谷创业教父，
The Startup Owner's Manual以及The Four Steps to the Epiphany的作者
"对于希望通过线上对照实验来优化产品功能和提高项目效率或营收的管理人员、领导者、研究人员或工程师，本书是很好的资源。我十分了解Kohavi的工作对微软和必应产生的影响。很高兴看到这些知识现在可以分享给更广泛的读者。"
-沈向洋，微软人工智能研究部门前执行副总裁
"一本既严谨又通俗易懂的好书。读者可以学习到如何将革新了互联网产品开发的可信赖的对照实验引入自己的机构。"
-Adam D'Angelo，Quora联合创始人兼首席执行官，脸书前首席技术官
"本书很好地概述了几家公司如何通过线上实验和A/B测试来改善其产品。经验丰富的Kohavi、Tang和Xu在本书中分享了出色的建议。本书提供了许多现实世界的实用示例，以及作者多年积累的关于大规模应用这些技术的经验和教训。"
-Jeff Dean，谷歌高级院士兼谷歌搜索高级副总裁
"你是否希望你的组织持续做出更好的决策？本书是关于如何在数字时代基于数据做决策的新'圣经'。阅读本书就像身处亚马逊、谷歌、领英或微软的内部会议一样。作者首次披露了世界上最成功的公司如何做决策。除了普通商业书籍的忠告和逸事之外，本书还展示了该做什么以及如何做好。这是数字世界中关于决策的手册，其中有专门针对业务主管、工程师和数据分析师的内容。"
-Scott Cook，Intuit联合创始人兼执行委员会主席
"线上对照实验是十分强大的工具，理解它的工作原理、优势以及如何优化它，可以使专家和更广泛的读者受益。本书是罕见的技术权威，有机地将良好的阅读体验和重要课题的探讨结合起来。"
-John P. A. Ioannidis，斯坦福大学医学、
健康研究与政策、生物医学数据科学和统计学教授
"哪个线上选项会更好？我们经常需要做出这样的选择。要确定哪种方法更有效，我们需要严格的对照实验，也就是A/B测试。微软、谷歌和领英的专家撰写的这本精彩且生动的书介绍了A/B测试的理论和最佳实践，是所有从事线上相关业务的人的必读书籍！"
-Gregory Piatetsky-Shapiro博士，KDnuggets总裁，
SIGKDD联合创始人，数据科学与分析领域"领英最强音"得主
"Ron Kohavi、Diane Tang和Ya Xu是线上实验方面的顶级专家。多年来我一直在使用他们的工作成果，很高兴他们现在联手编写了这本终极指南。我向我的所有学生以及所有参与线上产品和服务的人推荐这本书。"
-Erik Brynjolfsson，麻省理工学院教授，The Second Machine Age的合著者
"如果没有线上对照实验，靠软件支撑的现代商业就会缺乏竞争力。本书由该领域最有经验的三位先驱撰写，书中介绍了该领域的基本原理，并通过令人信服的示例对其进行了说明，同时深入探讨并提供了大量实用建议。这是一本必读书籍！"
-Steve Blank，斯坦福大学兼职教授，硅谷创业教父，
The Startup Owner's Manual以及The Four Steps to the Epiphany的作者
"对于希望通过线上对照实验来优化产品功能和提高项目效率或营收的管理人员、领导者、研究人员或工程师，本书是很好的资源。我十分了解Kohavi的工作对微软和必应产生的影响。很高兴看到这些知识现在可以分享给更广泛的读者。"
-沈向洋，微软人工智能研究部门前执行副总裁
"一本既严谨又通俗易懂的好书。读者可以学习到如何将革新了互联网产品开发的可信赖的对照实验引入自己的机构。"
-Adam D'Angelo，Quora联合创始人兼首席执行官，脸书前首席技术官
"本书很好地概述了几家公司如何通过线上实验和A/B测试来改善其产品。经验丰富的Kohavi、Tang和Xu在本书中分享了出色的建议。本书提供了许多现实世界的实用示例，以及作者多年积累的关于大规模应用这些技术的经验和教训。"
-Jeff Dean，谷歌高级院士兼谷歌搜索高级副总裁
"你是否希望你的组织持续做出更好的决策？本书是关于如何在数字时代基于数据做决策的新'圣经'。阅读本书就像身处亚马逊、谷歌、领英或微软的内部会议一样。作者首次披露了世界上最成功的公司如何做决策。除了普通商业书籍的忠告和逸事之外，本书还展示了该做什么以及如何做好。这是数字世界中关于决策的手册，其中有专门针对业务主管、工程师和数据分析师的内容。"
-Scott Cook，Intuit联合创始人兼执行委员会主席
"线上对照实验是十分强大的工具，理解它的工作原理、优势以及如何优化它，可以使专家和更广泛的读者受益。本书是罕见的技术权威，有机地将良好的阅读体验和重要课题的探讨结合起来。"
-John P. A. Ioannidis，斯坦福大学医学、
健康研究与政策、生物医学数据科学和统计学教授
"哪个线上选项会更好？我们经常需要做出这样的选择。要确定哪种方法更有效，我们需要严格的对照实验，也就是A/B测试。微软、谷歌和领英的专家撰写的这本精彩且生动的书介绍了A/B测试的理论和最佳实践，是所有从事线上相关业务的人的必读书籍！"
-Gregory Piatetsky-Shapiro博士，KDnuggets总裁，
SIGKDD联合创始人，数据科学与分析领域"领英最强音"得主
"Ron Kohavi、Diane Tang和Ya Xu是线上实验方面的顶级专家。多年来我一直在使用他们的工作成果，很高兴他们现在联手编写了这本终极指南。我向我的所有学生以及所有参与线上产品和服务的人推荐这本书。"
-Erik Brynjolfsson，麻省理工学院教授，The Second Machine Age的合著者
"如果没有线上对照实验，靠软件支撑的现代商业就会缺乏竞争力。本书由该领域最有经验的三位先驱撰写，书中介绍了该领域的基本原理，并通过令人信服的示例对其进行了说明，同时深入探讨并提供了大量实用建议。这是一本必读书籍！"
