![日志管理与分析权威指南[图书]](http://images.china-pub.com/ebook3770001-3775000/3770289/zcover.jpg)
基本信息
- 原书名：Logging and Log Management: The Authoritative Guide to Understanding the Concepts Surrounding Logging and Log Management
- 作者： (美)Anton A. Chuvakin Kevin J. Schmidt Christopher Phillips
- 译者： 姚军 简于涵 刘晖
- 丛书名： 华章程序员书库
- 出版社：机械工业出版社
- ISBN：9787111469186
- 上架时间：2014-6-24
- 出版日期：2014 年6月
- 开本：16开
- 页码：315
- 版次：1-1
- 所属分类：计算机 > 数据库 > 数据库存储与管理
【插图】
编辑推荐
世界级日志管理与分析专家亲笔撰写，完美诠释有效的日志分析策略以及最佳实践。
从日志的基本概念到系统运营，从传统的syslog到云计算和大数据环境下的新兴日志分析技术，全面解析日志管理和分析方面的各种实用技术及工具。
内容简介
书籍
计算机书籍
日志是计算机系统中一个非常广泛的概念，磁盘系统、内核操作系统、应用服务器等任何设备和程序都可能输出日志，其内容、形式、规模和用途等各不相同。面对如此庞大的日志，我们如何处理和分析日志数据，从中获取有用信息？
本书由日志管理与分析领域资深安全专家亲笔撰写，从日志的基本概念开始，循序渐进讲解整个日志生命期的详细过程，涵盖日志数据收集、存储分析和法规依从性等主题，并通过丰富的实例，系统阐释日志管理与日志数据分析的实用技术和工具，既包括传统的Syslog，也涵盖云计算和大数据环境下新兴的日志分析技术。此外，本书从整个运营规程、策略上形成完整的系统，突破行业和具体软硬件配置的限制，不管读者身处何种规模、何种软硬件配置，均能从本书介绍的概念和思路中获益，并通过自己的努力，形成基于标准、适合自身特点的日志运营架构。
计算机书籍
日志是计算机系统中一个非常广泛的概念，磁盘系统、内核操作系统、应用服务器等任何设备和程序都可能输出日志，其内容、形式、规模和用途等各不相同。面对如此庞大的日志，我们如何处理和分析日志数据，从中获取有用信息？
本书由日志管理与分析领域资深安全专家亲笔撰写，从日志的基本概念开始，循序渐进讲解整个日志生命期的详细过程，涵盖日志数据收集、存储分析和法规依从性等主题，并通过丰富的实例，系统阐释日志管理与日志数据分析的实用技术和工具，既包括传统的Syslog，也涵盖云计算和大数据环境下新兴的日志分析技术。此外，本书从整个运营规程、策略上形成完整的系统，突破行业和具体软硬件配置的限制，不管读者身处何种规模、何种软硬件配置，均能从本书介绍的概念和思路中获益，并通过自己的努力，形成基于标准、适合自身特点的日志运营架构。
作译者
Anton A. Chuvakin 世界资深安全专家、Security Warrior公司创始人，专注于为安全软件供应商和世界500强企业提供日志管理和PCI DSS 解决方案等咨询服务。他发表了数十篇有关日志管理、关联分析、数据分析、PCI DSS、安全管理等主题的文章，其博客是行业中最受欢迎的博客之一。Anton曾在许多国际安全会议上发表演讲，并且参与新兴安全标准的制定，担任多家安全领域创业公司的顾问。
Kevin J. Schmidt 戴尔SecureWorks公司高级经理，负责公司SIEM平台主要部分的设计和开发，包括数据获取、相关分析和日志数据分析。他之前曾在GuradedNet公司担任首席软件开发工程师和架构师，在Reflex Security从事IPS引擎和反病毒软件方面的工作，有近20年的软件开发和设计经验。
Christopher Phillips 戴尔SecureWorks经理、高级软件开发工程师，负责公司Threat Intelligence服务平台的设计和开发。此外，他还负责管理一个团队，来集成许多第三方提供商的日志和事件信息，帮助客户通过Dell SecureWorks系统和安全专家分析信息。
Kevin J. Schmidt 戴尔SecureWorks公司高级经理，负责公司SIEM平台主要部分的设计和开发，包括数据获取、相关分析和日志数据分析。他之前曾在GuradedNet公司担任首席软件开发工程师和架构师，在Reflex Security从事IPS引擎和反病毒软件方面的工作，有近20年的软件开发和设计经验。
Christopher Phillips 戴尔SecureWorks经理、高级软件开发工程师，负责公司Threat Intelligence服务平台的设计和开发。此外，他还负责管理一个团队，来集成许多第三方提供商的日志和事件信息，帮助客户通过Dell SecureWorks系统和安全专家分析信息。
目录
译者序
作者简介
序言
前言
第1章 木材、树木、森林
1.1概述
1.2日志数据基础
1.2.1什么是日志数据
1.2.2日志数据是如何传输和收集的
1.2.3什么是日志消息
1.2.4日志生态系统
1.3看看接下来的事情
1.4被低估的日志
1.5日志会很有用
1.5.1资源管理
1.5.2入侵检测
1.5.3故障排除
1.5.4取证
1.5.5无聊的审计，有趣的发现
1.6人、过程和技术
作者简介
序言
前言
第1章 木材、树木、森林
1.1概述
1.2日志数据基础
1.2.1什么是日志数据
1.2.2日志数据是如何传输和收集的
1.2.3什么是日志消息
1.2.4日志生态系统
1.3看看接下来的事情
1.4被低估的日志
1.5日志会很有用
1.5.1资源管理
1.5.2入侵检测
1.5.3故障排除
1.5.4取证
1.5.5无聊的审计，有趣的发现
1.6人、过程和技术
译者序
对于广大IT工作者（尤其是负责运维工作的人）来说，日志是一个熟悉的名词，机房中的各种系统、防火墙、交换机、路由器，都在不断地产生日志，而在我们的规章制度上，还有着手工记录或者由某些代理程序采集的运维日志。但是，就是这个天天伴随我们的概念，我们真的熟悉吗？我们是否天天都会去查看重要系统的日志，在系统出现问题或者问题隐患的时候，我们是否能从日志的分析中看出端倪？当系统遭受严重的攻击和破坏时，我们的日志记录系统是否能够幸免于难，帮助我们一步步走出泥淖？
IT安全业界的无数实践告诉我们，健全的日志记录和分析系统是系统正常运营与优化以及安全事故响应的基础，虽然安全系统供应商为我们提供了五花八门的解决方案，但是最终的基础仍是具有充足性、可用性、安全性的日志记录系统。作为运维人员，以及为企业开发应用程序（日志生产者）的开发人员，能不能回答上述的问题，正是对我们实际工作能力的一个考验。
在实际工作中，我们可以看到，许多单位内部对日志并没有充分的认识，安全工作更多地投入设备，比如防火墙、IDS、IPS、防病毒软件等，被动地希望这些系统帮助我们完成一切工作，但是俗话说得好：“道高一尺，魔高一丈”，以特征码和预定义规则为基础的上述设备，在防护方面永远落在攻击者的后面，防微杜渐才是真正的出路。作为一名合格的运维人员，了解日志的概念，了解日志的配置和分析方法，是发现威胁、抵御攻击的重要技能，有了这方面的深刻认识，各种自动化安全解决方案才能真正地发挥效能。
多年以来，许多安全书籍都会或多或少地提及日志的作用，但是我们都苦于没有一本全面介绍日志的书籍，这也给人们在日常工作中开发有效的日志记录、分析、响应系统，以及运营中相关的规程带来了困难。
本书是由三位业界资深的安全专家编撰，从日志的基本概念开始，由浅入深地讲述了整个日志生命期的详细过程，书中以大量实例介绍了许多日志方面的最佳实践，从传统的syslog，一直到正在不断兴起的云计算和大数据，涵盖了这一重要领域中的各项法则，并结合业界中最为常见的监管规章。不仅从详细的技术及工具上，而且从整个运营规程、策略上形成了完整的系统，从而突破了行业和具体软硬件配置的限制，不管读者身处何种规模、何种软硬件配置，均能从本书介绍的概念和思路中获益，并通过自己的努力，形成基于标准、适合自身特点的日志运营架构。
本书涵盖的内容极广，给翻译工作带来了很大的挑战，同时也让译者受益匪浅，我们衷心地希望书中的内容能给广大读者带来帮助，由于译者水平所限，错误在所难免，期待读者朋友们的指正。本书的翻译工作主要由姚军完成，简于涵、刘晖、徐锋、陈绍继、郑端、吴兰陟、施游、林起浪、陈志勇、刘建林、白龙、林耀成、陈霞、方翊、宁懿等人也为本书的翻译工作做出了贡献，在此衷心感谢华章公司的编辑们对翻译工作提出的中肯意见，以及其他工作人员对本书付出的艰辛努力。
IT安全业界的无数实践告诉我们，健全的日志记录和分析系统是系统正常运营与优化以及安全事故响应的基础，虽然安全系统供应商为我们提供了五花八门的解决方案，但是最终的基础仍是具有充足性、可用性、安全性的日志记录系统。作为运维人员，以及为企业开发应用程序（日志生产者）的开发人员，能不能回答上述的问题，正是对我们实际工作能力的一个考验。
在实际工作中，我们可以看到，许多单位内部对日志并没有充分的认识，安全工作更多地投入设备，比如防火墙、IDS、IPS、防病毒软件等，被动地希望这些系统帮助我们完成一切工作，但是俗话说得好：“道高一尺，魔高一丈”，以特征码和预定义规则为基础的上述设备，在防护方面永远落在攻击者的后面，防微杜渐才是真正的出路。作为一名合格的运维人员，了解日志的概念，了解日志的配置和分析方法，是发现威胁、抵御攻击的重要技能，有了这方面的深刻认识，各种自动化安全解决方案才能真正地发挥效能。
多年以来，许多安全书籍都会或多或少地提及日志的作用，但是我们都苦于没有一本全面介绍日志的书籍，这也给人们在日常工作中开发有效的日志记录、分析、响应系统，以及运营中相关的规程带来了困难。
本书是由三位业界资深的安全专家编撰，从日志的基本概念开始，由浅入深地讲述了整个日志生命期的详细过程，书中以大量实例介绍了许多日志方面的最佳实践，从传统的syslog，一直到正在不断兴起的云计算和大数据，涵盖了这一重要领域中的各项法则，并结合业界中最为常见的监管规章。不仅从详细的技术及工具上，而且从整个运营规程、策略上形成了完整的系统，从而突破了行业和具体软硬件配置的限制，不管读者身处何种规模、何种软硬件配置，均能从本书介绍的概念和思路中获益，并通过自己的努力，形成基于标准、适合自身特点的日志运营架构。
本书涵盖的内容极广，给翻译工作带来了很大的挑战，同时也让译者受益匪浅，我们衷心地希望书中的内容能给广大读者带来帮助，由于译者水平所限，错误在所难免，期待读者朋友们的指正。本书的翻译工作主要由姚军完成，简于涵、刘晖、徐锋、陈绍继、郑端、吴兰陟、施游、林起浪、陈志勇、刘建林、白龙、林耀成、陈霞、方翊、宁懿等人也为本书的翻译工作做出了贡献，在此衷心感谢华章公司的编辑们对翻译工作提出的中肯意见，以及其他工作人员对本书付出的艰辛努力。
前言
欢迎阅读本书。本书的目标是向信息技术（IT）专业人士提供理解和处理日志数据的入门知识。各种形式的日志数据是由许多类型的系统生成的。如何处理和分析日志数据是长期存在的一个问题。本书介绍能够帮助你分析日志数据和寻找恶意活动的技术和工具。
过去，系统管理员审阅日志文件，寻找磁盘错误或者内核问题。现在的系统管理员往往还要兼任安全管理员。更好地理解如何处理安全日志数据的需求从未像今天那么重要。安全性分析人员是IT专家组中负责跟踪日志分析技术的人。许多经验丰富的人曾经在“压力测试”的模式下进行学习。本书的目标是提供帮助你快速理解各种概念的材料，提取许多人曾经花费多年学习的知识。
我们先来谈谈最近的一个重要问题：法规依从性。随着安能公司和其他企业的垮台，法规依从性现在成为了许多企业的核心主题，焦点现在集中在政策和规程。作为IT工程师，你能说明，Bob在被解雇之后无法访问自己的企业电子邮件账户吗？这些事情需要公司提出规程。系统和网络日志的框架正在以这样那样的方式变化。
目标读者
本书面向任何对学习日志记录和日志管理感兴趣的人。下面介绍一些应该阅读本书的人士。
系统管理员：承担企业日志数据监控任务。
初级安全工程师：网络安全的新手，希望学习日志分析技术。
应用程序开发人员：对从头构建一个日志分析系统感兴趣的人，本书提供了这方面的示例代码。但是，全书为日志分析的重要性提供了很好的背景资料，这些领域也不应该忽略。
管理人员：想深入理解日志数据收集、存储、分析和法规依从性等主题的人。如前所述，这些问题在企业中越来越多地出现，并将持续地成为IT专业人士需要更多关注的领域。
所需基础知识
我们假定读者对网络、操作系统和网络安全等概念有基本的了解。但是，理解本书中的素材并不要求读者是计算机科学家或者网络高手。需要背景信息的主题提供了必要的细节。大部分代码示例采用Perl和Java编程语言。理解或者使用这些代码示例并不要求读者是Java高手，所以我鼓励每个人都仔细地阅读这些例子。
本书的组织
本书的每一章内容都建立在前一章的基础上。尽管如此，许多章节可以独立阅读。本书共有22章。
第1章：木材、树木、森林
该章提供了日志系统的背景信息。如果你熟悉了syslog、SNMP、安全日志、日志数据收集、存储等概念，就可以跳过本章。
第2章：日志是什么
该章描述日志消息，包括日志重要性的讨论。
第3章：日志数据来源
该章描述syslog协议、SNMP和Windows事件日志。此外，介绍了日志数据源的分类。
第4章：日志存储技术
过去，系统管理员审阅日志文件，寻找磁盘错误或者内核问题。现在的系统管理员往往还要兼任安全管理员。更好地理解如何处理安全日志数据的需求从未像今天那么重要。安全性分析人员是IT专家组中负责跟踪日志分析技术的人。许多经验丰富的人曾经在“压力测试”的模式下进行学习。本书的目标是提供帮助你快速理解各种概念的材料，提取许多人曾经花费多年学习的知识。
我们先来谈谈最近的一个重要问题：法规依从性。随着安能公司和其他企业的垮台，法规依从性现在成为了许多企业的核心主题，焦点现在集中在政策和规程。作为IT工程师，你能说明，Bob在被解雇之后无法访问自己的企业电子邮件账户吗？这些事情需要公司提出规程。系统和网络日志的框架正在以这样那样的方式变化。
目标读者
本书面向任何对学习日志记录和日志管理感兴趣的人。下面介绍一些应该阅读本书的人士。
系统管理员：承担企业日志数据监控任务。
初级安全工程师：网络安全的新手，希望学习日志分析技术。
应用程序开发人员：对从头构建一个日志分析系统感兴趣的人，本书提供了这方面的示例代码。但是，全书为日志分析的重要性提供了很好的背景资料，这些领域也不应该忽略。
管理人员：想深入理解日志数据收集、存储、分析和法规依从性等主题的人。如前所述，这些问题在企业中越来越多地出现，并将持续地成为IT专业人士需要更多关注的领域。
所需基础知识
我们假定读者对网络、操作系统和网络安全等概念有基本的了解。但是，理解本书中的素材并不要求读者是计算机科学家或者网络高手。需要背景信息的主题提供了必要的细节。大部分代码示例采用Perl和Java编程语言。理解或者使用这些代码示例并不要求读者是Java高手，所以我鼓励每个人都仔细地阅读这些例子。
本书的组织
本书的每一章内容都建立在前一章的基础上。尽管如此，许多章节可以独立阅读。本书共有22章。
第1章：木材、树木、森林
该章提供了日志系统的背景信息。如果你熟悉了syslog、SNMP、安全日志、日志数据收集、存储等概念，就可以跳过本章。
第2章：日志是什么
该章描述日志消息，包括日志重要性的讨论。
第3章：日志数据来源
该章描述syslog协议、SNMP和Windows事件日志。此外，介绍了日志数据源的分类。
第4章：日志存储技术
序言
从我第一次遇到syslog算起已经有25年了。当时我是由围绕一台Sun-3新组建的Sun-2小型群集系统的管理员，试图通过电话和一位朋友一起调试UUCP连接，这位朋友告诉我“检查日志”。观察syslog有时令我昏昏欲睡，但我发现，这是查看计算机实际上“做了什么”的最好办法。分屏系统可以在屏幕的上角打开一个窗口运行“tail–f/usr/spool/messages”命令，这展示了其价值；我可以观察电子邮件的工作、USENET新闻流、进程启动和停止，我可以看到自己的计算机实际在做什么！直到几年之后我第一次遇到安全事故，我才发现日志对于观察过去和当前的情况都很有用。之后，系统管理员在屏幕的一角观察其日志的时代已经一去不复返，现在，这一切已经很模糊了。
为什么我们当中的有些人痴迷于日志，而其他人则对其漠不关心？我认为这是因为，系统管理员有可能认为“日志记录了某些事情”因而“计算机做了某些事情”以及“一切正常，所以我很高兴”。我的第一个日志分析算法很简单：
如果日志工具能够一次又一次地帮助你摆脱困境，你就会不断地使用它。25年来，我从syslog开始，用日志工具完成了如下工作：
搜寻对某个主要电子商务零售商发动“购物车穷举攻击”的痕迹。
找出1000多个系统中恶意软件自动投放的位置。
将我暑假中的一些时光花费在分析一家超级计算机中心10年的日志，偶然地发现只通过日志的体积就能够检测主要的Linux发行版本。
构建一个网站数据复制系统，使用syslog作为原子事务记录。
确认谁向President Clinton @whitehouse.gov发送了一封危险电子邮件。
计算我的软件工程师在DiabloⅡ游戏上花了多少时间。
解析和重放6个月的日志中的事务，重新构造一个损坏的数据库。
除此之外，我还用syslog做许多“日常工作”，例如确保系统一切正常，寻找不寻常的活动，以及找出故障点及其原因。和计算机中的其他系统不同，我们可以用系统日志对过去的工作进行限制性查看，限制来自我们收集的信息，以及保存的时长，这是一个有用的视图。因此我总是说：“如果你看到一个系统的日志是关闭的，就说明系统管理员对其工作毫不在乎。”。我不知道曾经有多少次听到在事故响应中，关键的系统“因为性能的原因”关闭了日志。对于我这样痴迷于日志的人来说，那样的做法完全没有经过深思：性能问题很容易用更快的处理器或者一个闪存盘来解决，而没有了日志，你就是在“盲飞”。
奇怪的是，关于系统日志的好书并不多。你可能以为，有许多的书籍能够告诉你有用的日志是什么样的，但是实际上没有，这可能是因为该主题有些枯燥，而且这个主题太过广泛，需要覆盖从获取数据到如何处理所获取数据的所有细节。而且还有一个大问题：如何处理日志本身没有简单的方法。“在星期天需要对syslog做的前10种处理”这样的简单规则是没有的，因为每个人的日志都不相同，需求也各不相同。写一本从本质上说明“重点，查看你的日志并且思考你所看到的内容”的书籍是很困难的。安全人员想要看的是入侵的企图；系统管理员看到的是表示系统正常运行的特征；CIO将会查看使用情况指标和业务证据；审计人员将会查看可以选择的复选框，凡此种种。窍门就是向所有这些人解释：系统日志是一种集地板蜡、甜点配料和足底按摩器为一体的全能产品，哦，顺便提一句：它只适用于自己动手解决问题的人。
日志需要自己动手这种特性可能是日志难以令人喜欢的原因。而这本书正是你们所要寻找的日志“菜谱”，但是没有简单的“通用”技巧。你必须思考每一种思路，然后对其进行改编，应用到你的特殊情况中。当我教授系统日志分析课程（很久以前的事了！）时，我总是发现班上的有些学生很不愉快地离开了：他们期待在离开时带走“真正能揭示一切的饼状图”或者“具备强大查找功能的日志分析Perl脚本”。与此相反，我讲的是通过数据思考分析和分类的框架。我曾经在课程的先决条件中要求“必须了解某种编程方法”，还记得有一位学生最喜欢的日志分析编程语言是MATLAB。不管你得到什么数据，你所要寻找的就是工作的最佳工具。
在序言中加入我自己的建议可能不太合适，但是无论如何我还是要这么做。对日志进行有效操作的最佳途径是召集3～4位能干的人一起开会，买一些披萨和啤酒，花上两个小时审视你的日志。将日志的内容投影到大屏幕上，让每个人都能看见，并且来回滚动，查看你所得到的结果。然后，当你觉得厌倦的时候开始问自己：你从日志中得到了哪些想要知道的信息，你想要生成哪些方面的摘要，哪些内容能够组成系统工作完成的有用指标，哪些内容可能指出关键的错误。本书对于如何做到这些提供了更多有用的细节，但是相信我，买些披萨和啤酒是没错的。
我可能已经说了太多你已经知道的事情，所以该到此为止了。现在，翻过这一页，开始阅读本书吧！
Marcus J.Ranum
Tenable Network Security公司CSO
为什么我们当中的有些人痴迷于日志，而其他人则对其漠不关心？我认为这是因为，系统管理员有可能认为“日志记录了某些事情”因而“计算机做了某些事情”以及“一切正常，所以我很高兴”。我的第一个日志分析算法很简单：
如果日志工具能够一次又一次地帮助你摆脱困境，你就会不断地使用它。25年来，我从syslog开始，用日志工具完成了如下工作：
搜寻对某个主要电子商务零售商发动“购物车穷举攻击”的痕迹。
找出1000多个系统中恶意软件自动投放的位置。
将我暑假中的一些时光花费在分析一家超级计算机中心10年的日志，偶然地发现只通过日志的体积就能够检测主要的Linux发行版本。
构建一个网站数据复制系统，使用syslog作为原子事务记录。
确认谁向President Clinton @whitehouse.gov发送了一封危险电子邮件。
计算我的软件工程师在DiabloⅡ游戏上花了多少时间。
解析和重放6个月的日志中的事务，重新构造一个损坏的数据库。
除此之外，我还用syslog做许多“日常工作”，例如确保系统一切正常，寻找不寻常的活动，以及找出故障点及其原因。和计算机中的其他系统不同，我们可以用系统日志对过去的工作进行限制性查看，限制来自我们收集的信息，以及保存的时长，这是一个有用的视图。因此我总是说：“如果你看到一个系统的日志是关闭的，就说明系统管理员对其工作毫不在乎。”。我不知道曾经有多少次听到在事故响应中，关键的系统“因为性能的原因”关闭了日志。对于我这样痴迷于日志的人来说，那样的做法完全没有经过深思：性能问题很容易用更快的处理器或者一个闪存盘来解决，而没有了日志，你就是在“盲飞”。
奇怪的是，关于系统日志的好书并不多。你可能以为，有许多的书籍能够告诉你有用的日志是什么样的，但是实际上没有，这可能是因为该主题有些枯燥，而且这个主题太过广泛，需要覆盖从获取数据到如何处理所获取数据的所有细节。而且还有一个大问题：如何处理日志本身没有简单的方法。“在星期天需要对syslog做的前10种处理”这样的简单规则是没有的，因为每个人的日志都不相同，需求也各不相同。写一本从本质上说明“重点，查看你的日志并且思考你所看到的内容”的书籍是很困难的。安全人员想要看的是入侵的企图；系统管理员看到的是表示系统正常运行的特征；CIO将会查看使用情况指标和业务证据；审计人员将会查看可以选择的复选框，凡此种种。窍门就是向所有这些人解释：系统日志是一种集地板蜡、甜点配料和足底按摩器为一体的全能产品，哦，顺便提一句：它只适用于自己动手解决问题的人。
日志需要自己动手这种特性可能是日志难以令人喜欢的原因。而这本书正是你们所要寻找的日志“菜谱”，但是没有简单的“通用”技巧。你必须思考每一种思路，然后对其进行改编，应用到你的特殊情况中。当我教授系统日志分析课程（很久以前的事了！）时，我总是发现班上的有些学生很不愉快地离开了：他们期待在离开时带走“真正能揭示一切的饼状图”或者“具备强大查找功能的日志分析Perl脚本”。与此相反，我讲的是通过数据思考分析和分类的框架。我曾经在课程的先决条件中要求“必须了解某种编程方法”，还记得有一位学生最喜欢的日志分析编程语言是MATLAB。不管你得到什么数据，你所要寻找的就是工作的最佳工具。
在序言中加入我自己的建议可能不太合适，但是无论如何我还是要这么做。对日志进行有效操作的最佳途径是召集3～4位能干的人一起开会，买一些披萨和啤酒，花上两个小时审视你的日志。将日志的内容投影到大屏幕上，让每个人都能看见，并且来回滚动，查看你所得到的结果。然后，当你觉得厌倦的时候开始问自己：你从日志中得到了哪些想要知道的信息，你想要生成哪些方面的摘要，哪些内容能够组成系统工作完成的有用指标，哪些内容可能指出关键的错误。本书对于如何做到这些提供了更多有用的细节，但是相信我，买些披萨和啤酒是没错的。
我可能已经说了太多你已经知道的事情，所以该到此为止了。现在，翻过这一页，开始阅读本书吧！
Marcus J.Ranum
Tenable Network Security公司CSO
媒体评论
作者向我们介绍了一种方法，它可以简化分析大规模日志数据的复杂过程，并且作者在书中对其推荐的日志管理和日志数据分析方法进行了详细的阐述。
—— Reference and Research Book News
三位作者通过本书向读者分享了他们在日志管理与分析方面的重要工作经验……对于那些希望从日志中寻找重要信息的读者，本书是一个巨大的资源，它展示了如何从大量日志数据中获得隐藏的信息，挖掘你需要的重要信息。
—— RSA Conference
—— Reference and Research Book News
三位作者通过本书向读者分享了他们在日志管理与分析方面的重要工作经验……对于那些希望从日志中寻找重要信息的读者，本书是一个巨大的资源，它展示了如何从大量日志数据中获得隐藏的信息，挖掘你需要的重要信息。
—— RSA Conference
书摘
第1章
木材、树木、森林
本章要点
日志数据基础
接下来的事情
日志被低估了
日志很有用
人、过程、技术
安全信息和事件管理(SIEM)
案例研究
1.1概述
本书是关于如何处理系统日志的。更确切地说，是关于如何从你的日志中获取到各种有用的信息。经常被低估的日志其实是计算机系统资源管理（打印机、磁盘系统、电源备份系统、操作系统等）、用户和应用程序管理（登录注销、应用程序访问等）和安全的一种非常有用的信息来源。需要说明的是，信息经常可以不同的方式来进行分类。用户的登录和注销信息与用户管理和安全都有关系。下面用一些例子来展示日志信息是多么有用。
各种磁盘存储产品在硬件出错时都会记录日志，经常关注这些信息可以把小问题在变成真正的噩梦之前解决掉。
作为第二个例子，让我们来简单思考一下，用户管理和安全日志如何结合起来为用户活动提供线索。当一个用户登录到Windows环境中时，这个行为已经作为登录历史被记录到某处。我们称之为用户管理日志数据。无论何时用户访问网络的任何部分，防火墙很有可能已经起作用了。防火墙，同时也记录着来源（例如个人工作站）是否有权限向一个特定的网络组件发送网络包，我们称之为安全日志数据。现在，让我们假设你的公司正在开发一个新产品，你想要知道谁尝试过访问你的开发服务器。当然，你可以采用防火墙访问控制列表（ACL）来管理，不过你想更进一步，用户的登录数据可以和防火墙记录对应起来，显示出尝试访问服务器的用户。如果这并不是在正常业务时间发生的，你就有理由来和这些员工谈谈以便更好地了解他们的意图。更深入一点，这个例子传达出一个重点，如果你可以访问正确的信息，你就有能力做一些精确的事情。
但是，获取这些信息需要花费一些时间和精力。第一眼（可能第二眼也是如此）看起来会是一项非常艰巨的任务，庞大的日志数据单独看起来也会令人望而生畏。不过我们能帮助你来“抵抗”它。我们会展示给你一个处理日志的完整策略，也会展示一些不同的日志类型和格式。使用不同类型和格式日志有着双重的意义。首先，它会让你习惯于查看日志消息和数据，让你更加熟悉它们。其次，它会帮助你建立一种心态：理解基本的日志格式会使你更加容易地识别和处理在你的环境里新的或者以前没见过的日志数据。不同的供应商会生成不同格式的日志消息，这是一个残酷的事实，但是最终，真正的关键是你如何处理和管理日志数据，越快理解并将它集成到你的综合日志系统，你就能越早地从中获利。
本章的余下部分是本书其他部分使用到的概念的基础。我们将要探究围绕着日志数据、人、过程和科技的思想，穿插进一些真实的例子使你发现日志数据的真正价值。
1.2日志数据基础
到目前为止，我们一直没有对所讨论的日志记录和日志数据提供一个确切的说明。现在，让我们来详细地介绍围绕着日志记录和日志数据的基础知识。
1.2.1什么是日志数据
简单地说，日志数据的核心就是日志消息或者日志。日志消息就是计算机系统、设备、软件等在某种刺激下反应生成的东西。确切的刺激在很大程度上取决于日志消息的来源。例如，Unix操作系统会记录用户登录和注销的消息，防火墙将记录ACL通过和拒绝的消息，磁盘存储系统在故障发生或者在某些系统认为将会发生故障的情况下生成日志信息。
木材、树木、森林
本章要点
日志数据基础
接下来的事情
日志被低估了
日志很有用
人、过程、技术
安全信息和事件管理(SIEM)
案例研究
1.1概述
本书是关于如何处理系统日志的。更确切地说，是关于如何从你的日志中获取到各种有用的信息。经常被低估的日志其实是计算机系统资源管理（打印机、磁盘系统、电源备份系统、操作系统等）、用户和应用程序管理（登录注销、应用程序访问等）和安全的一种非常有用的信息来源。需要说明的是，信息经常可以不同的方式来进行分类。用户的登录和注销信息与用户管理和安全都有关系。下面用一些例子来展示日志信息是多么有用。
各种磁盘存储产品在硬件出错时都会记录日志，经常关注这些信息可以把小问题在变成真正的噩梦之前解决掉。
作为第二个例子，让我们来简单思考一下，用户管理和安全日志如何结合起来为用户活动提供线索。当一个用户登录到Windows环境中时，这个行为已经作为登录历史被记录到某处。我们称之为用户管理日志数据。无论何时用户访问网络的任何部分，防火墙很有可能已经起作用了。防火墙，同时也记录着来源（例如个人工作站）是否有权限向一个特定的网络组件发送网络包，我们称之为安全日志数据。现在，让我们假设你的公司正在开发一个新产品，你想要知道谁尝试过访问你的开发服务器。当然，你可以采用防火墙访问控制列表（ACL）来管理，不过你想更进一步，用户的登录数据可以和防火墙记录对应起来，显示出尝试访问服务器的用户。如果这并不是在正常业务时间发生的，你就有理由来和这些员工谈谈以便更好地了解他们的意图。更深入一点，这个例子传达出一个重点，如果你可以访问正确的信息，你就有能力做一些精确的事情。
但是，获取这些信息需要花费一些时间和精力。第一眼（可能第二眼也是如此）看起来会是一项非常艰巨的任务，庞大的日志数据单独看起来也会令人望而生畏。不过我们能帮助你来“抵抗”它。我们会展示给你一个处理日志的完整策略，也会展示一些不同的日志类型和格式。使用不同类型和格式日志有着双重的意义。首先，它会让你习惯于查看日志消息和数据，让你更加熟悉它们。其次，它会帮助你建立一种心态：理解基本的日志格式会使你更加容易地识别和处理在你的环境里新的或者以前没见过的日志数据。不同的供应商会生成不同格式的日志消息，这是一个残酷的事实，但是最终，真正的关键是你如何处理和管理日志数据，越快理解并将它集成到你的综合日志系统，你就能越早地从中获利。
本章的余下部分是本书其他部分使用到的概念的基础。我们将要探究围绕着日志数据、人、过程和科技的思想，穿插进一些真实的例子使你发现日志数据的真正价值。
1.2日志数据基础
到目前为止，我们一直没有对所讨论的日志记录和日志数据提供一个确切的说明。现在，让我们来详细地介绍围绕着日志记录和日志数据的基础知识。
1.2.1什么是日志数据
简单地说，日志数据的核心就是日志消息或者日志。日志消息就是计算机系统、设备、软件等在某种刺激下反应生成的东西。确切的刺激在很大程度上取决于日志消息的来源。例如，Unix操作系统会记录用户登录和注销的消息，防火墙将记录ACL通过和拒绝的消息，磁盘存储系统在故障发生或者在某些系统认为将会发生故障的情况下生成日志信息。
