高性能计算的问题解决之道：Linux态势感知方法、实用工具及实践技巧
Intel资深架构师的深度分享，“方法+工具+技巧”成就数据中心的问题“终结者”
Linux态势感知新方法，用数字取代直觉，将系统故障排除的艺术转化为产品
Linux态势感知新方法，用数字取代直觉，将系统故障排除的艺术转化为产品
基本信息
- 原书名：Problem-solving in High Performance Computing: A Situational Awareness Approach with Linux
内容简介
目录
译者序
前 言
致 谢
引言 数据中心与高端计算 1
数据中心一览 1
现代数据中心布局 1
欢迎来到BORG，抵抗是徒劳的 2
那就是力量 2
企业与Linux 2
经典的办公室 2
Linux计算环境 3
Linux云 3
10000个1不等于10000 3
问题的非线性扩展 3
大数定律 4
同质化 4
企业的当务之急 4
7天24小时全天候开放 5
任务危急 5
停机时间等于金钱 5
前 言
致 谢
引言 数据中心与高端计算 1
数据中心一览 1
现代数据中心布局 1
欢迎来到BORG，抵抗是徒劳的 2
那就是力量 2
企业与Linux 2
经典的办公室 2
Linux计算环境 3
Linux云 3
10000个1不等于10000 3
问题的非线性扩展 3
大数定律 4
同质化 4
企业的当务之急 4
7天24小时全天候开放 5
任务危急 5
停机时间等于金钱 5
译者序
高性能计算已成为继理论科学和实验科学之后科学研究的第三大支柱，越来越多的科学发现和工程设计成果都依赖于高性能计算系统。高性能计算已经全面应用到国家安全、政府决策、科学研究、工业设计等诸多层面，典型应用包括生物工程、新药研制、石油物探、运载器设计(航空航天、舰船、汽车)、材料工程、核爆模拟、尖端武器制造、密码研究和各类大规模信息处理等。各国正在积极研制的E级（每秒百亿亿次）计算系统有望在2020～2022年出现。近几年来，以电子商务、微信为代表的互联网服务使得万众受益，大规模系统是这些服务的核心基础设施，而系统平均无故障时间（Mean Time To Failure，MTTF）则会随节点数增加而显著降低。互联网服务系统往往包含数以千计的磁盘和服务器，在这种情况下，即便不计成本地使用MTTF达到4年的设备，在一个拥有1000个节点的集群中，也会每周发生近5次故障。若适当考虑成本因素而采用MTTF为两年的设备，每周的故障次数将达到近10次。故障停机对互联网服务企业直接意味着巨额损失，大规模IT系统需要更好的设计和管理来处理更频繁的故障。
工欲善其事，必先利其器。基于Linux态势感知方法来解决高性能计算的问题，是本书的一个创造性尝试。正如作者所说，在解决大系统问题时，没有通盘战略，你可能会编写一些脚本或者花很长时间盯着日志在屏幕上滚动，你可能会绘制图表来显示数据趋势，你可能会向同事请教他们领域的问题，你可能会参与或领导特别工作组试图解决危急问题或恢复供电，但在最后，就像拼图一样，没有一个统一的方法能解决所有的问题。在诸如大型数据中心、云平台架构和高性能的环境中，大型部署管理是一项非常微妙的任务，它需要大量的经验、努力和对技术的理解来创造一个成功而高效的工作流程。所谓态势感知的问题解决方法，是借鉴自科学领域的一种方法，试图用数学来代替人的直觉，使用统计工程和实验设计以对抗混乱，系统地、循序渐进地工作，努力找到一种统一的方法用于解决同类问题。作者分享了多年来为基于英特尔的系统开发解决方案的经验，即如何在涉及数千台服务器、数十万个核、分布式数据中心和PB级共享数据的环境下排除故障，他的经验涵盖全栈，从识别问题、理解问题到再现问题，再到使用系统化的自上而下的方法来解决问题。自始至终，本书提供了独特的实践中的例子，强调了高性能计算机系统的规模和操作复杂性。
本书共11章。前6章主要介绍在解决高性能计算问题方面遇到的一些纯技术性问题，后5章侧重于扩展技能和理解，介绍一种完整的整体态势感知方法，深入数学模型和最佳实践，以及监控和配置管理，这使我们更有信心应对新的挑战。
第1章介绍了一种可以说是在数据中心应该如何解决问题的近乎方法论的观点。
第2章讨论解决问题和研究的基本方法，专门介绍在研究中可能会遇到的一些常见的陷阱。
第3章围绕着解决问题使用的一些常见应用程序和工具,比如ps、top、vmstat、iostat等，建立起报告的症状与软硬件资源的实际行为之间的联系。
第4章讲述进程空间和内核，为了使用工具来揭示任务结构和操作系统本身，我们需要对底层构建模块有更深入的了解。
第5章专注于深入分析和刻画（profile）应用程序，以及分析内核本身，通过使用不同的工具为问题创建一个更完整的多维画面，并提出相关的解决方案。
第6章进一步讨论内核崩溃分析和内核调试器的使用。包含研究过程中最复杂的部分，从Kdump实用程序的设置开始，然后是深入的内核崩溃分析，最后是kdb工具的简要概述。
第7章关于问题的解决形成了一个具有多层工具和实践的完整原则。首先以实用的方式组织数据，然后与供应商和行业进行内部和外部接洽。随着问题的解决，一个复杂的周期（包括测试、验证和分阶段实施）将在几个关键组件上帮助你做出正确的决定。
第8章详细阐述了建立稳健有效的监测环境的考虑因素、方法和工具。解决问题的下一个步骤是确保我们能在数据中发现规律，将它们关联到产生数据的源代码，并试图在第一时间阻止问题出现。
第9章介绍环境变化和控制环境的后续过程。我们的关键工具是版本控制和配置管理软件。
第10章通过几个实际的例子说明如何在合适的时候做出必要的调整，调整环境与需求相匹配，并提供必要的操作灵活性，从而避免之后不得不工作在“救火”模式。
第11章总结全书，通过解决问题、在研究中使用系统化的方法，尝试避免工作过程中的经典错误和陷阱。
对于每一章内容，作者都力争以最小的篇幅介绍更多的知识，从工具和工具间对比到基本使用、基础实例、高级实例，层层深入，系统全面。作者运用形象的表达，生动地讲解原本枯燥的知识，能够让读者保持持久的学习热情。比如第6章的内核Kdump调试部分，内核崩溃所产生的转储（dump）文件可以对调试工作产生难以想象的巨大影响，但随着作者的介绍，你可以进行故意崩溃，可以进行回溯，可以通过异常信号快速定位bug，让读者深刻领略了Linux内核的魅力。纸上得来终觉浅，绝知此事要躬行。在复杂的环境中，比如在一个大规模的履行关键使命的数据中心，要想真正掌握解决问题的方法和技巧，还需要不断实践本书方法并认真地研究系统问题。
本书由中国科学院计算技术研究所张文力博士翻译完成。首先，我要感谢机械工业出版社曲熠编辑的邀请，感谢她的信任、支持和理解。其次，感谢实验室主任陈明宇研究员的支持，感谢课题组的宋辉和梁冬协助完成部分章节的初稿，还要感谢宋纪涛的校译与润色。在此书翻译过程中，我带领团队承担着国家和中国科学院重要研究课题和项目，以及华为公司的数据中心合作项目等，由于任务繁重，翻译工作主要在休息时间完成，感谢我的家人、幼子在此过程中给予的配合、理解和大力支持。
关于此书的翻译工作，译者已尽最大的努力完善，如有不尽之处敬请批评指正。总之，这是一次宝贵的体验！
张文力
2017年11月
工欲善其事，必先利其器。基于Linux态势感知方法来解决高性能计算的问题，是本书的一个创造性尝试。正如作者所说，在解决大系统问题时，没有通盘战略，你可能会编写一些脚本或者花很长时间盯着日志在屏幕上滚动，你可能会绘制图表来显示数据趋势，你可能会向同事请教他们领域的问题，你可能会参与或领导特别工作组试图解决危急问题或恢复供电，但在最后，就像拼图一样，没有一个统一的方法能解决所有的问题。在诸如大型数据中心、云平台架构和高性能的环境中，大型部署管理是一项非常微妙的任务，它需要大量的经验、努力和对技术的理解来创造一个成功而高效的工作流程。所谓态势感知的问题解决方法，是借鉴自科学领域的一种方法，试图用数学来代替人的直觉，使用统计工程和实验设计以对抗混乱，系统地、循序渐进地工作，努力找到一种统一的方法用于解决同类问题。作者分享了多年来为基于英特尔的系统开发解决方案的经验，即如何在涉及数千台服务器、数十万个核、分布式数据中心和PB级共享数据的环境下排除故障，他的经验涵盖全栈，从识别问题、理解问题到再现问题，再到使用系统化的自上而下的方法来解决问题。自始至终，本书提供了独特的实践中的例子，强调了高性能计算机系统的规模和操作复杂性。
本书共11章。前6章主要介绍在解决高性能计算问题方面遇到的一些纯技术性问题，后5章侧重于扩展技能和理解，介绍一种完整的整体态势感知方法，深入数学模型和最佳实践，以及监控和配置管理，这使我们更有信心应对新的挑战。
第1章介绍了一种可以说是在数据中心应该如何解决问题的近乎方法论的观点。
第2章讨论解决问题和研究的基本方法，专门介绍在研究中可能会遇到的一些常见的陷阱。
第3章围绕着解决问题使用的一些常见应用程序和工具,比如ps、top、vmstat、iostat等，建立起报告的症状与软硬件资源的实际行为之间的联系。
第4章讲述进程空间和内核，为了使用工具来揭示任务结构和操作系统本身，我们需要对底层构建模块有更深入的了解。
第5章专注于深入分析和刻画（profile）应用程序，以及分析内核本身，通过使用不同的工具为问题创建一个更完整的多维画面，并提出相关的解决方案。
第6章进一步讨论内核崩溃分析和内核调试器的使用。包含研究过程中最复杂的部分，从Kdump实用程序的设置开始，然后是深入的内核崩溃分析，最后是kdb工具的简要概述。
第7章关于问题的解决形成了一个具有多层工具和实践的完整原则。首先以实用的方式组织数据，然后与供应商和行业进行内部和外部接洽。随着问题的解决，一个复杂的周期（包括测试、验证和分阶段实施）将在几个关键组件上帮助你做出正确的决定。
第8章详细阐述了建立稳健有效的监测环境的考虑因素、方法和工具。解决问题的下一个步骤是确保我们能在数据中发现规律，将它们关联到产生数据的源代码，并试图在第一时间阻止问题出现。
第9章介绍环境变化和控制环境的后续过程。我们的关键工具是版本控制和配置管理软件。
第10章通过几个实际的例子说明如何在合适的时候做出必要的调整，调整环境与需求相匹配，并提供必要的操作灵活性，从而避免之后不得不工作在“救火”模式。
第11章总结全书，通过解决问题、在研究中使用系统化的方法，尝试避免工作过程中的经典错误和陷阱。
对于每一章内容，作者都力争以最小的篇幅介绍更多的知识，从工具和工具间对比到基本使用、基础实例、高级实例，层层深入，系统全面。作者运用形象的表达，生动地讲解原本枯燥的知识，能够让读者保持持久的学习热情。比如第6章的内核Kdump调试部分，内核崩溃所产生的转储（dump）文件可以对调试工作产生难以想象的巨大影响，但随着作者的介绍，你可以进行故意崩溃，可以进行回溯，可以通过异常信号快速定位bug，让读者深刻领略了Linux内核的魅力。纸上得来终觉浅，绝知此事要躬行。在复杂的环境中，比如在一个大规模的履行关键使命的数据中心，要想真正掌握解决问题的方法和技巧，还需要不断实践本书方法并认真地研究系统问题。
本书由中国科学院计算技术研究所张文力博士翻译完成。首先，我要感谢机械工业出版社曲熠编辑的邀请，感谢她的信任、支持和理解。其次，感谢实验室主任陈明宇研究员的支持，感谢课题组的宋辉和梁冬协助完成部分章节的初稿，还要感谢宋纪涛的校译与润色。在此书翻译过程中，我带领团队承担着国家和中国科学院重要研究课题和项目，以及华为公司的数据中心合作项目等，由于任务繁重，翻译工作主要在休息时间完成，感谢我的家人、幼子在此过程中给予的配合、理解和大力支持。
关于此书的翻译工作，译者已尽最大的努力完善，如有不尽之处敬请批评指正。总之，这是一次宝贵的体验！
张文力
2017年11月
前言
我花了大部分的Linux职业生涯在数着成千上万的服务器，就像一个音乐家盯着乐谱能看到在和声中隐藏的波形。过了一段时间，我开始了解数据中心的工作模式和行为。它们就像活着、会呼吸一般，有自己的跌宕起伏、周期和不同寻常。它们远不止是简单的叠加，当你把人作为元素添加到方程中，更是变得不可预知。
在诸如大型数据中心、云平台架构和高性能的环境中，大型部署管理是一项非常微妙的任务。它需要大量的经验、努力和对技术的理解来创造一个成功而高效的工作流程。未来的愿景和经营战略也是需要的。但在相当多的时候，其中某一个重要部分是缺失的。
在解决问题时，没有通盘战略。
本书是我的一个创造性尝试。那些年，在我设计解决方案和产品致力于使我掌控的数据中心变得更好、更强大且更高效的时候，也暴露了我在解决问题上的根本差距。人们很难完全理解这意味着什么。是的，它涉及工具和非法侵入系统。你可能会编写一些脚本，或者花很长时间盯着日志在屏幕上滚动。你可能会绘制图表来显示数据趋势。你可能会向同事请教他们领域的问题。你可能会参与或领导特别工作组试图解决危急问题和恢复供电。但在最后，就像拼图一样，没有一个统一的方法能解决所有的问题。
态势感知的问题解决方法借鉴自科学领域，它试图用数学来代替人的直觉。我们将使用统计工程和实验设计以对抗混乱。我们会慢慢地、系统地、一步一步地工作，努力找到一种统一的方法用于解决同类问题。我们关注打破数据神话，摆脱一些波及数据中心的偏见和传统。然后，我们将把系统故障排除的艺术转化为产品。这可能听起来很残酷，艺术将按重量出售，但当你深入阅读本书的时候，其中的必要性就变得显而易见。你的那些不自在，在原本无论接触监控、变化控制和管理、自动化以及其他哪怕是最好的实践都会有的不自在，统统将会慢慢融入现代数据中心。
最后同样重要的是，请不要忘记我们尽一切努力去研究和解决问题的初衷——乐趣和好奇心，这正是让我们成为工程师和科学家的真正原因，正是让我们热爱数据中心技术编织的混乱、忙碌而又疯狂的世界的原因。
快来和我们一路同行吧。
Igor Ljubuncic
在诸如大型数据中心、云平台架构和高性能的环境中，大型部署管理是一项非常微妙的任务。它需要大量的经验、努力和对技术的理解来创造一个成功而高效的工作流程。未来的愿景和经营战略也是需要的。但在相当多的时候，其中某一个重要部分是缺失的。
在解决问题时，没有通盘战略。
本书是我的一个创造性尝试。那些年，在我设计解决方案和产品致力于使我掌控的数据中心变得更好、更强大且更高效的时候，也暴露了我在解决问题上的根本差距。人们很难完全理解这意味着什么。是的，它涉及工具和非法侵入系统。你可能会编写一些脚本，或者花很长时间盯着日志在屏幕上滚动。你可能会绘制图表来显示数据趋势。你可能会向同事请教他们领域的问题。你可能会参与或领导特别工作组试图解决危急问题和恢复供电。但在最后，就像拼图一样，没有一个统一的方法能解决所有的问题。
态势感知的问题解决方法借鉴自科学领域，它试图用数学来代替人的直觉。我们将使用统计工程和实验设计以对抗混乱。我们会慢慢地、系统地、一步一步地工作，努力找到一种统一的方法用于解决同类问题。我们关注打破数据神话，摆脱一些波及数据中心的偏见和传统。然后，我们将把系统故障排除的艺术转化为产品。这可能听起来很残酷，艺术将按重量出售，但当你深入阅读本书的时候，其中的必要性就变得显而易见。你的那些不自在，在原本无论接触监控、变化控制和管理、自动化以及其他哪怕是最好的实践都会有的不自在，统统将会慢慢融入现代数据中心。
最后同样重要的是，请不要忘记我们尽一切努力去研究和解决问题的初衷——乐趣和好奇心，这正是让我们成为工程师和科学家的真正原因，正是让我们热爱数据中心技术编织的混乱、忙碌而又疯狂的世界的原因。
快来和我们一路同行吧。
Igor Ljubuncic
