Visual Studio 2010软件测试指南

.2.1.2 商业价值
2.1.3 期望
2.1.4 非功能需求
2.1.5 从何处开始打造质量
2.1.6 过程与质量
2.2 软件测试
2.2.1 测试的心态
2.2.2 软件测试的方法
2.2.3 软件测试的类型
2.2.4 测试管理
2.2.5 产品出厂或部署之后
2.3 总结
第3章 规划您的测试
3.1 microsoft test manager
3.1.1 测试计划
3.1.2 属性
3.1.3 内容
3.1.4 将套件和测试用例添加到测试
计划中
3.2 测试配置
3.2.1 管理测试配置
3.2.2 指派测试配置
3.3 指派测试人员
3.4 测试用例的规划流程
3.4.1 分析和初始设计
3.4.2 实施
3.4.3 用户验收测试
3.5 普遍的情况
3.5.1 计划并跟踪测试用例的编写
与执行
3.5.2 功能驱动开发
3.5.3 从一个迭代进行到另一个迭代
3.5.4 处理不同的测试配置
3.6 总结
第4章 执行手动测试
4.1 使用测试用例类型的工作项
4.1.1 共享步骤
4.1.2 数据驱动的测试用例
（测试参数）
4.2 运行第一个测试
4.3 分析测试结果
4.3.1 测试运行的结果
4.3.2 详细测试结果
4.4 通过测试管理器进行探索性测试
4.5 总结
第5章 解决问题
5.1 bug的生命周期
5.1.1 客户提交的bug
5.1.2 测试团队提交的bug
5.1.3 评审bug
5.1.4 重新激活
5.2 bug之间的差异和变化
5.3 引起的bug
5.4 开发人员应如何使用intellitrace
5.5 修复bug
5.5.1 关联的变更集
5.5.2 关联的工作项
5.5.3 受影响的测试
5.6 设置生成质量
5.7 指派一个新的生成
5.8 验证bug是否修复
5.9 处理受影响的测试
5.10 总结
第6章 自动化测试用例
6.1 是否进行自动化
6.2 自动化测试框架
6.3 根据手动测试建立自动化测试
6.4 添加验证
6.5 添加额外录制的操作
6.6 编码的ui测试的参数化
6.6.1 处理由于不一致而导致的
问题
6.6.2 解决数据不一致的情况
6.7 处理动态的值
6.8 组合多个测试
6.9 将编码的ui测试与测试用例关联
6.10 总结
第7章 执行自动化测试用例
7.1 通过visual studio执行自动化
测试
7.1.1 本地执行
7.1.2 带有远程收集的本地执行
7.1.3 远程执行
7.2 通过命令提示行执行自动化测试
7.3 在测试管理器中执行自动化测试
7.3.1 创建一个自动生成
7.3.2 建立物理环境
7.3.3 通过测试管理器运行编码
的ui测试
7.4 通过团队生成执行自动化测试
7.5 自动化测试的初始化与清理
7.5.1 自定义对话框
7.5.2 清理您的测试
7.6 总结
第8章 lab management
8.1 通过测试管理器来管理虚拟环境
8.2 完成虚拟环境的配置
8.3 自动化测试设置
8.4 执行实验室生成
8.5 通过测试管理器运行自动化测试
8.6 在虚拟环境中进行手动测试
8.7 总结
第9章 报告与指标
9.1 报告的结构
9.2 内置的报告
9.2.1 bug状态
9.2.2 bug趋势
9.2.3 重新激活
9.2.4 生成质量指标
9.2.5 生成在各个时间的状态
9.2.6 生成摘要
9.2.7 情景概览
9.2.8 测试用例准备情况
9.2.9 测试计划进度
9.3 excel服务报告
9.4 通过microsoft excel进行报告
9.4.1 创建一个生成的报告
9.4.2 测试指标
9.5 指标
9.5.1 测量什么
9.5.2 首次缺陷率
9.5.3 重新激活的bug
9.5.4 一般bug数
9.6 总结

.　　 衷心希望本书能有助于您组织的发展，能够引领您的测试团队走向胜利的道路。
　　本书未涉及的内容
　　 未涉及的话题之一就是运行Lab Management所需要的虚拟设施。该实验室基础设施需要网络管理员和熟悉虚拟化技术（包括硬件和软件）的人员。这些内容太过复杂，并且超出了本书的范围。这些信息包含System Center Virtual Machine Manager和Hyper-V。Test Agent（测试代理）、Test Controller（测试控制器）以及Build Hosts（生成主机）的安装都有讨论，因为测试人员或者开发人员可能会用到这些—尤其是在团队需要反复进行用户界面测试和单元测试的时候。
　　 此外，本书没有包括关于负载测试、压力测试、Web性能测试的相关内容，手动测试和单元测试的信息有提及，但内容很少。其中，提及单元测试的时候，大多都是如何执行自动化测试，或者将它们关联到需求，而没有对其进行深入的讨论。
　　本书使用的应用程序
　　 本书使用的应用程序是BlogEngine.NET，因为它是一个流行的、真实的应用程序，很多人都在对它进行研究。它也是开源的程序，在一个比较活跃的社区里经常有人对它进行讨论。BlogEngine.NET是由Al Nyveldt和Mads Kristensen建立的。可以从dotnetblogengine.net找到更多相关的信息，并且可以在blogengine.codeplex.com下载它的源代码。
　　 本书使用的版本稍微进行了修改，因为它移植到了Visual Studio 2010上，并且通过Team Build转换为了一个Web应用程序，可以从这里下载源代码：informit.com/title/ 9780321734488。它包含一个readme文件，描述了如何对这个应用程序进行设置。这样，您就可以单独进行实验了。除此之外再没有其他大的改动了。此外，增加了数据库项目和MSDeploy项目，以支持演示工具的不同功能。
　　 书中的例子还要求其他应用软件的支持。您必须拥有Visual Studio Ultimate或者Premium，用于建立编码的UI测试。您还必须拥有Microsoft Test Professional或者Visual Studio Ultimate，以获得Microsoft Test Manager。虽然配置没有经过测试，但您可以通过微软的Lab Management虚拟机运行这些例子。虚拟机可以在这里下载：www.microsoft.com/downloads/details.aspx? FamilyID=592e874d-8fcd-4665-8e55-7da0d44b0dee&displaylang=en。
　　本书结构
　　 本书的结构，不仅可以作为一个参考，而且可以作为一个步步为营的指南。本书将引导您实现一个应用程序的整个测试过程。首先，本书会提及这个行业所面临的问题，然后迅速转移到开发方法与测试人员的角色中。从那里开始，您将学到如何通过Microsoft Test Manager计划测试过程，编写测试用例初稿，并执行这些测试用例。在测试执行的过程中，可以提交bug，开发人员可以修复这些bug。测试人员需要验证bug是否修复，并决定需要将哪些测试用例自动化。开发人员可以将测试用例自动化，然后便可以在物理或虚拟环境中执行。最后，本书末尾介绍了报告和指标的使用，并提供了一些思路，您可以将这些思路应用到您的过程中，以提高质量。
　　 ?第1章，“软件测试的现状”—本章从质量的角度，介绍了软件开发团队当前面临的问题。其中覆盖了劣质质量软件消耗的成本，由于质量低下所采取的法律行动，以及其他已知但常常忽视掉的问题。本章还讨论了作者对于软件测试的理念以及本书的目标。最后，本章提及了一些基本的软件开发方法，以及在这些方法中软件测试应如何介入。另外，本章还对微软的技术堆栈和端对端流程进行了概述。
　　 ?第2章，“软件质量和测试概述”—本章对软件测试进行了介绍，包括为什么需要测试、测试的目标是什么、测试的类型有哪几种以及测试的技术有哪些，向读者展示了测试人员所看到的世界。
　　 ?第3章，“规划您的测试”—首先，您必须对测试进行规划。本章介绍了微软测试管理器（Microsoft Test Manager, MTM）的使用，同时详细描述了如何使用MTM，建立测试设置，组织测试用例，并介绍了如何使用测试用例工作项类型和需求对测试过程进行管理。
　　 ?第4章，“执行手动测试”—本章介绍了如何通过Microsoft Test Manager和Test Runner（测试运行器）来执行测试。您可以学到如何创建测试用例、重用测试步骤、执行手动测试并提交bug，这些都是团队使用MTM的一些日常工作。本章还提及了探索性测试。
　　 ?第5章，“解决问题”—提交一个bug后，bug的处理过程与生命周期对减少返工和提供报告数据来说，是相当重要的。本章将讨论bug工作项类型，您可能还需要对其进行一些自定义，并将其作为开发人员和测试人员的沟通机制。本章还讲述开发人员如何在第一时间使用bug类的工作项来修复软件，以及测试人员如何进行验证。同时，还介绍了Test Impact Analysis（测试影响分析）。
　　 ?第6章，“自动化测试用例”—本章很大程度上是开发人员应该关注的内容。这些测试用例可以手动（测试人员可进行录制）或者自动化（单元测试或者其他类型的测试）建立。本章有一个重点，就是将任何类型的自动化测试都关联到需求上。这个功能需要Studio 2010 Premium或者Ultimate才能够实现。
　　 ?第7章，“执行自动化测试用例”—在测试用例自动化以后，团队需要去执行这些自动化测试。本章描述了所有执行自动化测试的方法。本章既有开发人员应当关注的内容（使用Visual Studio执行测试），还有测试人员应当关注的内容（使用Microsoft Test Manager来执行测试）。您也可以学到如何将自动化测试作为生成过程的一部分来执行。
　　 ?第8章，“Lab Management”—这一章主要讲述了Lab Management的功能，并配合Microsoft Test Professional 2010和Visual Studio 2010 Ultimate来使用。你将学到如何使用虚拟化平台来测试应用程序，并对环境进行快照以帮助开发人员重现bug。本章也包含了开发人员和测试人员都关注的内容：开发人员可以学到如何把代码部署到实验室环境中，然后通过生成过程来执行；测试人员可以学到如何在虚拟环境下执行手动/自动测试，并提交可操作的bug。
　　 ?第9章，“报告与指标”—本章主要介绍了报告和指标。如果遵循本书中提到的流程，那么团队就可以收集到详细指标，确定他们产品的质量，并且对测试过程进行改进。您将会见证TFS提供的内置报告，同时还可以在数据立方体的基础上，对报告进行自定义，以获得与测试相关的信息。同时，本章也简短地提到了您要对测试用例工作项进行怎样的自定义才可以获取更详细的信息。
　　
　　
　　
　　致谢
　　写这本书，主要是出于去年对劳动的一种热爱。我也并不是一个人在战斗，写作本书的时候，一直与微软的团队合作，我所获得的收益远远超乎我的想象。如果要将他们一一列出来，名单会非常非常长。所以我在这里只能列举一些，其他没有列出来的朋友，我向你们致歉。首先我要特别感谢Mark Mydland、Ram Cherala以及Euan Garden—他们经常容忍我动不动就是几个小时的纠缠。在很早前，我开始写这本书的时候，我就开始缠着他们，请教他们测试的理念和方法，并通过工具来执行。我从他们身上学到了许多东西。而测试团队的其他成员帮助我理解了很多技术方面的知识，比如Microsoft Test Manager、Lab Management以及编码的UI测试功能。非常感谢Naysawn Nadiri、David“Dr. Will”Williamson、Dominic Hopton、Pradeep Narayan、Ravi Shanker、Chris Patterson、Anutthara Bharadwaj、Daryush Laqab、Shay Mandel、Vinod Malhotra、Gautam Goenka、Vijay Machiraju，还有Mathew Aniyan。
　　还有一些人曾经帮助过我，他们是应用程序生命周期管理（Application Lifecycle Management, ALM）的最有价值的专家（Most Valuable Professional, MVP）。他们发送了数百封电子邮件，提供了很好的建议，帮助我塑造了使用这些测试工具的方法。在写作的过程中，我得到了许多人的支持，我很荣幸能与这些才华出众、知识渊博的朋友们进行探讨与交流。
　　就我个人而言，我的妻子Tami、我的女儿Caitlin，宽容地对待我这样一个缺席了数个月的丈夫和父亲。如果没有她们的爱和支持，我是无法完成这本书的。
　　Mario Cardinal、Etienne Tremblay、Mike Vincent都是ALM的MVP，他们将我编写的内容彻底审阅了2次，非常感谢你们，因为你们的投入，才使得本书更加完善。还有Anutthara Bharadwaj（测试团队的成员），即使经历了一个很长的航班与恶劣的服务，她仍然毫无保留地提供了极好的反馈和意见，并且不断对我进行指导（即使我认为我已经懂了），感谢你，Anutthara。
　　我想请Mike Vincent出场，不仅是他的帮助，还有他所做的贡献。Mike是本书的最后一个审阅人。在本书制作期间，他提供了很多建议，例如这应该是一本什么样的书，应该提及哪些内容。在写作本书的最后一段时间，我们决定将第2章加进来，对测试进行入门介绍。因为安排太紧，我没有充足的时间来完成这一章，于是找Mike救援。第2章是Mike贡献的，因为第2章的存在，才使得本书更加圆润，比原来的版本好了许多。感谢Mike！
　　对Brian Keller，一位Visual Studio资深技术专家，我只能说“谢谢”。我很佩服他的能力，十分快速阅读、提炼、纠正信息、拾遗补漏的能力。还有Sam Guckenheimer，解决了技术书籍的一个最大的问题—方向问题。
　　还有我在Northwest Cadence的同事，从整个编写过程的开始到结尾，一直支持着我。最重要的是，感谢我的编辑Joan Murray和助理编辑Olivia Basegio，没有他们，这本书就不可能存在。还有在Addison-Wesley出版社的San Dee Phillips团队中剩下的朋友，我的文字编辑Andrew Beaster，带领这本书制作了2次，非常感谢您！