除了最琐碎的软件应用程序之外,通常我们认为,对于一个软件系统,不可能测试所有在逻辑上可行的输入组合。 所以,选择一个好的子集,以尽可能发现最多的错误,这是测试人员要承担的一项有意义且重要的任务。
基于等价类分析(同义词:等价划分、域分析)进行测试是黑匣测试分析的一种形式,它尝试将潜在测试总数减少到数量最少的一组测试,同时又要发现尽可能多的错误 [MYE79]。此方法将输入和输出的集合划分为有限数量的等价类,以支持为每一类选择有代表性的测试值。由某一个类的代表值生成的测试被认为“等价于”同一个类中其他值生成的测试。如果在代表值的测试中找不到错误,则认为所有其他“等价”值也不会确定任何错误。
等价类的性能在于它们能够指导测试员使用取样策略减少可能必要的测试组合的组合性激增。 该技术提供一个逻辑库,通过该库可以选择所有想得到的测试总数的一部分。 以下是针对大量测试的某些种类的问题域,这些测试可因为考虑等价类而获益:
-
自变量的组合
-
基于分层关系的因变量
-
基于临时关系的因变量
-
基于市场典型的群集关系
-
可进行建模的复杂关系
可用于等价划分测试的策略和技术有多种。下面是一些示例:
由 Glenford Myers 提议的等价划分理论 [MYE79]
尝试通过将输入条件划分为一定数量的等价类来减少必要的测试用例总数。等价类分为两种:程序的有效输入集合被看作有效等价类,而所有其他输入均包括在无效等价类中。
以下是用来确定等价类的一组指南:
-
如果输入条件指定了值的范围(例如,程序“接受 10-100 范围内的值”),那么就确定了一个有效等价类(10-100)和两个无效等价类(小于 10 和大于 100)。
-
如果输入条件指定了一组值(例如“布料可以有许多颜色:红、白、黑、绿、棕”),那么就确定了一个有效等价类(有效值)和一个无效等价类(所有其他无效值)。 有效等价类的每个值均应单独处理。
-
如果输入条件被指定为“应达”状态(例如“输入字符串必须是大写”),那么就确定了一个有效等价类(大写字符)和一个无效等价类(除大写字符外的所有其他输入)。
-
在任务执行之前“很久”就完成的所有事物都是等价类。在程序完成之前某个很短的时间间隔内执行的所有事物是另一类。 恰好在程序开始另一操作之前执行的所有事物是另外一类。
-
如果指定某一程序处理大小范围为 64M-256M 的内存。那么此大小范围就是一个等价类。任何其他内存大小(即大于 256M 或小于 64M)都不可接受。
-
输出事件的划分在于程序的输入。尽管不同的输入等价类可能有相同类型的输出事件,您仍应区别对待输入等价类。
在每个等价类中,边界条件标识生成的故障的成功率被认为高于非边界条件。 边界条件是高于或低于每个等价类的边界或“边缘”、但又紧接着边界或边缘的值。
从边界条件生成的测试利用了需要测试的范围的最小值(min)、恰好大于最小值的值(min+)、恰好小于最大值的值(max-)和最大值(max)。 测试边界值时,测试人员针对每个等价类选择少量测试用例。
对于样本量较小的测试,发现故障的可能性是很高的。 测试人员对某一等价类的值中大量案例进行测试的负担得到了某种缓解,这些类值不太可能使测试结果产生很大差别。
关于选择边界值的一些建议如下:
-
对于浮点型变量,如果其有效条件是
-1.0 到 1.0 ,则测试 -1.0 、1.0 、-1.001 和
1.001 。
-
对于整型变量,如果输入的有效范围是
10 到 100 ,则测试 9 、10 、100 和
101 。
-
如果程序希望输入大写字母,则测试边界 A 和 Z。同时要测试
@ 和 [ ,因为在 ASCII 码中,@ 正好小于 A,而 [
正好大于 Z。
-
如果程序的输入或输出是有序集,则注意集合的第一个和最后一个元素。
-
如果输入的总和必须是特定的数(
n ),则测试总和为 n-1 、n 或 n+1 的程序。
-
如果程序接受列表,则测试列表中的值。所有其他值均无效。
-
如果读取或写入某一文件,则检查该文件中的第一个和最后一个字符。
-
钱的最小面值是一分或等价的面额。如果程序接受的特定范围为 a 到 b,则测试 a
-0.01 和 b+0.01 。
-
对于有多个范围的变量,每个范围就是一个等价类。如果子范围不重叠,则测试边界值、上边界以上和下边界以下的值。
尝试先前的两个边界分析策略之后,有经验的测试员将观察程序输入以发现任何“特殊值”的情况,也可能很容易又从中发现软件故障。 下面是一些示例:
-
对于整型,如果零在有效等价类中,则应始终测试零。
-
测试时间时(时、分和秒),59 和 0 应始终作为每个字段的上边界和下边界进行测试,无论输入变量有什么约束。 这样,除了输入的边界值外,-1、0、59 和 60 应始终作为测试用例。
-
测试日期时(年、月和日),应涉及到几种测试用例,例如特定月份中的天数、闰年二月的天数以及非闰年二月的天数。
Ostrand 和 Balcer [16] 开发了一种分区方法,该方法可帮助测试人员分析系统规范、编写测试脚本以及管理它们。
与主要注重代码的普通策略不同,它们的方法还基于规范和设计信息。
此方法的主要好处在于其能够在代码编写之前就暴露错误,因为输入源是规范且测试源于该规范的分析。 规范中的故障会尽早被发现,通常早在规范在代码中实施之前。
“类别划分”方法的策略如下:
-
分析规范:将系统功能分解成功能单元,这些单元可以通过规范和实施而独立地进行测试。
由此;
-
确定将影响功能执行的参数和环境条件。参数是功能单元的输入。环境条件是系统状态,它们将影响功能单元的执行。
-
确定参数的特征和环境条件。
-
将特征分为几类,这些类别导致了系统的行为。
将在此阶段发现行为的描述是模糊、矛盾的,并缺少描述。
-
将类别划分为几种选择:这些选择是可能发生且无法预期的、不同的可能状况。它们代表某一类别中相同类型的信息。
-
确定多种选择之间的关系和约束。不同类别中的选择会相互影响,还影响到测试套件的构建。 添加约束可消除所选择的不同参数和环境之间的矛盾。
-
根据类别、选择和约束信息设计测试用例。如果某一选择导致错误,则不要将其与其他选择组合起来创建测试用例。 如果某一选项可通过单个测试进行“充分”测试,那么它就是所做选择的代表或特殊值。
-
Glenford J. Myers, The Art of Software Testing, John Wiley & Sons, Inc., New York, 1979.
-
White L. J. and Cohen E. I., A domain strategy for computer program testing, IEEE Transaction on Software
Engineering, Vol. SE-6, No. 3, 1980.
-
Lori A. Clarke, Johnhette Hassell, and Debra J Richardson, A Close Look at Domain Testing, IEEE Transaction on
Software Engineering, 8-4, 1992.
-
Steven J. Zeil, Faten H. Afifi and Lee J. White, Detection of Linear Detection via Domain Testing, ACM Transaction
on Software Engineering and Methodology, 1-4, 1992.
-
BingHiang Jeng, Elaine J. Weyuker, A Simplified Domain-Testing Strategy, ACM Transaction on Software Engineering
and Methodology, 3-3, 1994.
-
Paul C. Jorgensen, Software Testing - A Craftsman's Approach, CRC Press LLC, 1995.
-
Martin R. Woodward and Zuhoor A. Al-khanjari, Testability, fault, and the domain-to-range ratio: An eternal
triangle, ACM Press New York, NY, 2000.
-
Dick Hamlet, On subdomains: Testing, profiles, and components, SIGSOFT: ACM Special Interest Group on Software
Engineering, 71-16, 2000.
-
Cem Kaner, James Bach, and Bret Pettichord, Lessons learned in Software Testing, John Wiley & Sons, Inc., New
York, 2002.
-
Andy Podgurski and Charles Yang, Partition Testing, Stratified Sampling, and Cluster Analysis, SIGSOFT: ACM Special
Interest Group on Software Engineering, 18-5, 1993.
-
Debra J. Richardson and Lori A. Clarke, A partition analysis method to increase program reliability, SIGSOFT: ACM
Special Interest Group on Software Engineering, 1981.
-
Lori A. Clarke, Johnette Hassell, and Debra J Richardson, A system to generate test data and symbolically execute
programs, IEEE Transaction on Software Engineering, SE-2, 1976.
-
Boris Beizer, Black-Box Testing - Techniques for Functional testing of Software and System, John Wiley & Sons,
Inc., 1995.
-
Steven J. Zeil, Faten H. Afifi and Lee J. White, Testing for Liner Errors in Nonlinear computer programs, ACM
Transaction on Software Engineering and Methodology, 1-4, 1992.
-
William E. Howden, Functional Program Testing, IEEE Transactions on Software Engineering, Vol. SE-6, No. 2, 1980.
-
Thomas J. Ostrand and Marc J. Balcer, The Category-Partition method
for specifying and generating functional tests, Communications of ACM 31, 1988.
-
Cem Kaner, Jack Falk and Hung Quoc Nguyen, Testing Computer Software, John Wiley & Sons, Inc., 1999.
|