Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.
Comment: Published by Scroll Versions from space FUNCTDEV and version SVC2020.1

...

Table of Contents
maxLevel1

访问测试套件配置面板

双击测试用例资源管理器中的测试套件,访问并更改其属性。

将注释、需求、任务、缺点、功能需求与测试相关联

测试套件配置面板的 Requirements and Notes 选项卡允许将需求、缺点、任务、功能需求、注释与测试套件中的特定测试相关联。

HTML 报告将表明与每个引用的测试相关联的构件。例如,这是引用一个带有相关联注释测试的报告:



您定义的需求将出现在 Structure 报告和连接的 DTP 系统中(如果适用)。这一点有助于管理人员和审阅者确定是否完成了特定的测试需求。有关 Structure 报告的更多详情,请查阅 创建测试套件结构化报告 Creating a Report of the Test Suite Structure

添加关联性和注释

  1. 双击测试用例资源管理器中的测试套件,然后单击 Requirements and Notes 选项卡。
  2. 在需求跟踪部分中选择关联和/或注释应用的范围。可以将这信息用于测试套件、嵌套的测试套件和测试。
     
  3. 单击 Add 按钮,并从 Type 下拉菜单中选择一个标签。DTP 将使用此信息将测试套件的测试用例与指定元素类型关联起来。可以根据 Indicating Code and Test Correlations中所描述的那样创建自定义组件。默认标记有:
    • @Pr:针对缺陷。
    • @Fr: 针对功能请求。
    • @Req: 针对需求。
    • @task: 针对任务。

      Info
      title配置自定义缺陷/问题跟踪标记
      可以配置缺陷/问题跟踪标记,以匹配组织用于引用缺陷或者功能需求的语言。有关更多详情,请查阅 Indicating Code and Test Correlations
  4. 输入需求所需的 IDURL ,单击 OK



    如果启用 Preferences> Reports> Report 内容选项便获得 Requirement/defect 详情,则这里特定的关联将显示在 HTML 报告中。如果指定了 URL,则 HTML 报告将包括超链接。
  5. 若要添加注释(如:“这个测试部分地测试了需求”或“这个测试完全测试了需求”),请将其输入到 Comment 字段。这里指定的注释将显示在 HTML 报告中。



  6. 若要添加关于测试套件的更多详情,请将其输入到 Notes 字段中。

指定执行选项(测试流逻辑、回归选项等)
Anchor
Specifying Execution Options (Test Flow Logic, Regression Options, etc.)
Specifying Execution Options (Test Flow Logic, Regression Options, etc.)

可以配置套件的测试如何执行,包括:

  • 测试按顺序运行,还是按并发运行
  • 测试单独运行,还是组队运行
  • 测试执行细节是否依赖于其他测试的结果
  • 是否应该在满足某个条件之前循环整个测试套件
  • 回归控件是否为特定测试创建,并且这些控件映射到数据源。

这些选项在 Execution Options 选项卡中进行配置,它有三个子选项卡,分别是:Test ExecutionTest Flow Logic Regression Options

Test Execution
Anchor
Test Execution
Test Execution

可以在 Execution Options 的子选项卡 Test Execution 中自定义以下选项。

Execution Mode

启用 Tests run sequentially 选项,每次分别运行此测试套件的每个测试和子测试套件。

启用 Tests run concurrently 选项,同时运行此测试套件的所有测试和子测试套件。测试将同时运行。

测试关系 

这些选项确定 SOAtest 如何遍历数据源行。

启用 Tests are individually runnable option (默认)。遍历每个测试的所有数据源行。当单个测试执行时,它将在下一个测试或测试套件执行之前使用每一个数据源行。当执行子测试套件时,SOAtest 将等待其所有子元素完成,然后才会执行下一个测试或测试套件。

启用 Tests run as group 选项(场景默认),运行数据源每一行的所有测试。在这种情况下,选择一个数据源行,并为该行执行每个测试和子测试套件。  一旦所有子元素都执行完毕,就会选中新的一行并重复这个过程。Abort scenario on 选项在 Tests run as group 启用时变得活跃(请查阅关于 Abort scenario on 选项的更多详情)。

启用 Tests run all sub-groups as part of this group 选项,作为此测试套件的直接子组件运行此测试套件中包含的测试。然后 SOAtest 将作为一个组遍历它们。Abort scenario on 选项在 Tests run as group 启用时变得活跃(请查阅关于 Abort scenario on 选项的更多详情)。

例如,考虑以下测试套件中的安排:

...

Anchor
abort-scenario-on
abort-scenario-on
启用 Abort Scenario 选项,从下拉菜单中选择 Fatal ErrorAny Error ,停止运行特定条件下的测试。如果上一个测试导致致命错误,请选择 Abort Scenario on Fatal Error 多选框。该选项只在 Tests run Sequentially 选中并且 Tests are individually runnable 未选中的情况下才可用。  在测试套件中的一组测试相互依赖,并且无法独立运行(必须按顺序运行)的情况下,就会发生这种情况。  如果启用了该选项,并且如果场景中正在运行的测试存在致命错误,则场景中剩下的测试将不会运行。  如果禁用了该选项,即使出现了致命错误,场景中的其余测试也将运行。

高级选项

从 Multiple data source iteration 下拉菜单中选择一个选项,确定 SOAtest 在一个(不是单独运行的)测试套件内使用多个数据源时将如何进行遍历。如果所有数据源的行数不同,则迭代将在最小数据源的最后一行停止。可用选项包括:

...

启用 Show all iterations 选项,计数和显示所有数据源迭代,包括可单独运行的测试的迭代(默认启用)。当该选项禁用时,SOAtest 不会显示可单独运行测试的所有数据源迭代。换句话说,如果在包含 50 行的数据源上参数化测试,SOAtest 会将其作为单个测试运行报告。  因此,如果多个数据源行上出现故障,则故障出现的数量可能比测试运行的数量还要多。

测试流逻辑
Anchor
Test Flow Logic
Test Flow Logic

SOAtest 允许创建依赖于上一次测试、设置测试或拆装测试的成功或失败的测试。这一点有助于您在测试套件内创建有效的工作流。此外,还可以通过创建依赖于变量值的 while 循环和 if/else 语句影响测试套件逻辑。

可以在测试套件级别或为特定测试设置选项(应用于测试套件所有测试的选项)。

测试套件流选项

在大多数情况下,您可能希望 SOAtest 在某个条件满足之前反复执行某个操作。测试套件流逻辑允许对此进行配置。

...

  • While variable: 在满足变量条件之前,反复执行某个操作。它需要如 Defining Variables中所述设置变量
  • While pass/fail: 反复执行某个操作,直到测试套件中的一个测试(或每个测试)通过或失败(取决于“loop util”设置中选择的内容)。注意,如果选择该选项(例如,该选项设置为其中一个测试成功之前一直循环),并且满足了整个循环条件,则出现故障的测试将标记为成功。  如果没有满足整个循环条件,则失败的单个测试将标记为失败。无论循环条件是否满足,控制台都将显示哪些测试通过了,哪些测试失败了。

...

Info
title测试流逻辑教程

有关如何应用“while pass/fail”测试流逻辑的逐步说明,请查阅 Looping Until a Test Succeeds or Fails - Using Test Flow Logic

测试特定逻辑选项

特定测试有以下可用选项:



  • Test Result Dependency:  如果当前(所选定的)测试应只在另一个测试成功、失败或跳过时才运行,那么在这里指定该依赖测试的名称。例如,如果测试 4 依赖于测试 1 的结果,那么请选择左侧面板中的测试 4,然后从下拉菜单中选择测试 1。然后,指定当前测试应该运行的条件。可选项有:
    • Success: 根据 Test 下拉菜单中所选测试用例的成功,选择是否应该运行后续的测试用例。如果 Test 下拉菜单中所选测试用例未成功,那么随后的测试用例将不会运行。
    • Failure: 根据 Test 下拉菜单中所选测试用例的失败,选择是否应该运行后续的测试用例。如果 Test 下拉菜单中所选测试用例没有失败,那么随后的测试用例将不会运行。
    • Skipped: 如果跳过了 Test 下拉菜单中所选测试用例,选择是否应该运行后续的测试用例。如果没有跳过 Test 下拉菜单中所选测试用例,那么随后的测试用例将不会运行。

...

  • 变量条件:允许确定测试运行是否依赖添加到 Variable 表中的变量(有关添加变量的更多详情,请查阅 定义变量)。如果没有变量被添加,则将没有可用的变量条件。如果变量已经定义,则以下选项可用:
    • 变量条件下拉:从下拉列表中选择所需的变量。该列表中的项取决于添加到 Variables 表中的变量。
      • 如果选择的变量被定义为一个整数类型,则第二个下拉菜单以 == (相等), != (不相等), < (小于), > (大于), <= (小于或等于), >= (大于或等于)来显示。  此外,文本字段可用于输入整数。例如:



        如果 x != 13 (x 不等于 13),则测试将运行,如果 x 等于 13,则测试将不会运行。
      • 如果选择的变量被定义为一个布尔值,则您将可能从 true 或者 false 单选按钮中进行选择。例如:



        如果变量 x1 为 false,则测试将运行,如果 x1 为 true,则测试将不会运行。
  • 延迟时间(以毫秒为单位):允许设置测试执行前后的延迟时间。

回归选项
Anchor
Regression Options
Regression Options

Regression Options 控件选项允许自定义如何在回归测试中使用数据源,以及哪个测试套件有回归控制。注意,该选项卡不适用于 web 场景测试。可用选项包括:

...

  • 使用数据源列名和值:将数据源列名和值关联到 Diff 控件生成的数据。例如,在 SOAP 客户端中使用 A=1, B=2 的请求将与 Diff 控件相关联,此 Diff 控件被标记为“A=1, B=2”等。选择该选项后,(只要列名和值未更改)可以随意添加和删除数据源行,并且 Diff 仍然会将内容映射到正确的控件中。有关使用数据源的更多详情,请查阅 使用数据源、变量或来自其他测试的值对测试进行参数化 Parameterizing Tests with Data Sources, Variables, or Values from Other Tests
  • 回归控制逻辑:该表允许配置测试套件 SOAtest 中应该为哪些测试创建回归控制。在表中输入的每个测试中,可以选择 AlwaysNever。下次更新测试套件的回归控制时,将相应地更新回归控制。

定义变量
Anchor
Defining Variables
Defining Variables

Variables 选项卡允许配置用来简化测试定义的变量,以及创建灵活且可复用的测试套件。添加变量之后,测试可以根据该变量进行参数化。

了解变量

可以将变量设置为特定值,然后在整个当前测试套件中使用该变量来引用该值。通过这种方式,您无需再多次输入相同值。并且,如果希望更改值,则只需要在一个地方更改它即可。

...

测试套件 A 中定义的任何测试变量将适用于 A、B 或 C 中的任何测试;B 中定义的变量将只适用于 B 和 C。

添加新变量

  1. 单击 Add 按钮。
  2. Name 字段中输入新变量名称。
  3. Type 框中选择 IntegerBooleanStringData Source
  4. 指定是要使用本地值,还是要使用父测试套件中的值。
    • Use value from parent test suite (if defined) ,在当前测试套件是一个“引用的”测试套件,并且希望它使用父测试套件中数据源的值时,则选择该选项。有关父测试套件的更多详情,请查阅 Using Test Suite References 。
    • Use local value ,如果您总是希望使用特定值(即使当前测试套件有一个设置了该变量的父测试),请选择该选项。注意,如果重新设置数据库工具或扩展工具中的值,则该新值将优先于此处指定的值
  5. (只适用于数据源类型)指定存储合适变量的数据源和列的名称。  数据源应该在父测试套件中(引用当前测试套件的测试套件)。
  6. Value 字段中输入变量值。如果选择了 Use local value,则变量将始终被设置为特定的值(除非重新设置数据源库工具或扩展工具中的值)。如果选择了 Use value from parent test suite,则此处指定的值将只在没有在父测试套件中找到相应的值时使用。



  7. 然后单击 OK

使用变量

一旦完成添加,则变量可以:

  • 通过测试字段中的“参数化”选项使用。例如,如果要将 SOAP 客户端请求元素设置为使用 title variable 变量中的值,则可以如下进行配置:



  • 通过 {var_name} 规范在文本输入字段中引用。在数据源编辑器中,您可以使用 soa_env 前缀来引用环境变量。例如, ${soa_env:Variable}/calc_values.xlsx
  • 从数据库工具(例如,XML 数据库,如 Configuring XML Data Bank Using the Data Source Wizard中所述)中重置。
  • 从扩展工具(如下面的 Setting Variables and Logic Through Scripting中所述)中重置。
  • 用来定义测试逻辑条件,如下面的 Test Flow Logic所述。

通过脚本设置变量和逻辑
Anchor
Setting Variables and Logic Through Scripting
Setting Variables and Logic Through Scripting

通常情况下,测试套件逻辑和变量将取决于服务本身的响应。可以使用扩展工具,设置变量来影响测试流执行。例如,如果测试 1 返回变量 x=3,则测试 2 将运行。

...

例如,可以向测试添加一个 XML 转换器,并且从该测试中提取某个值。然后,可以向 XML 转换器添加扩展输出,并且输入脚本以获取转换器中的值。最后,可以设置第二个测试以只在第一个测试返回正确值时运行。

对变量使用进行监视
Anchor
Monitoring Variable Usage
Monitoring Variable Usage

若要配置 SOAtest 来显示在运行时实际使用的变量,请设置控制台首选项 (Parasoft> Preferences> Parasoft> Console) ,以使用正常信息显示级别或更高信息显示级别。

...

Code Block
Scenario: ICalculator
    Test 1: first add - success
        get x=0
        set x=10.0
        set Test 1: type=xsd:float
    Test 2: second add - success
        get x=10
        set x=20.0
    Test 3: third add - success
        get x=20      
        set x=30.0
    Test 1: first add - success
        get x=30
        set x=50.0
        set Test 1: type=xsd:float
    Test 2: second add - success
        get x=50
        set x=70.0
    Test 3: third add - success
        get x=70      
        set x=90.0

查看这些变量对于诊断发生任何问题的原因都很有用。

教程

关于如何使用变量的逐步说明,请查阅 Creating Reusable (Modular) Test Suites

指定客户端选项

客户端选项卡分为以下几个部分:

常规

可以配置以下常规的测试套件选项:

  • 超时时间(以毫秒为单位):如果不希望使用默认值,则从下拉菜单中选择 Custom ,并输入所需时间。默认值为 30000
  • 输出消息编码:该选项允许为所有非 SOAP 测试客户端选择输出消息编码,它为设置字符集编码提供了更多的灵活性。还可以在 Parasoft 首选项的 Misc 设置中对该设置进行全局配置(请查阅 其他首选项设置  Additional Preference Settings)。可以在 SOAP 设置中为 SOAP 客户端配置输出消息编码。
  • Cookies:从下拉菜单中选择 Custom ,并启用 Reset existing cookies before sending request 来清除会话之间的缓存。 

SOAP

可以配置以下 SOAP 相关联的测试套件选项:

  • 端点:指定端点。可以为测试套件中的所有测试指定一个端点,输入端点并单击 将端点应用于所有测试 按钮。
  • 附件封装格式:从下拉菜单中选择 Custom ,选择可选的 MIME 或者 DIME、 MTOM Always或 MTOM。默认值为 MIME
  • 输出消息编码:允许为输出的 SOAP 消息选择编码,它为设置字符集编码提供了更多的灵活性。还可以在 Parasoft 首选项的 Misc 设置中对该设置进行全局配置(请查阅 其他首选项设置 Additional Preference Settings)。可以在常规(General)设置中为非 SOAP 客户端配置输出消息编码。
  • SOAP 版本:从下拉菜单中选择 Custom ,然后选择 SOAP 1.1 或 SOAP 1.2。默认值为 SOAP 1.1
  • Constrain to WSDL:  从下拉菜单中选择 Custom ,然后启用下列其中一项或两项:
    • Constrain request to WSDL: 要求工具从定义文件中获取值。 
    • Constrain SOAP Headers to WSDL: 要求工具只从定义文件中获取 SOAP 头文件值。

指定浏览器回放选项

Browser Playback Options 选项分为以下几个部分:

  • Playback Testing Framework:  指定是使用 Selenium WebDriver 引擎进行浏览器录制和回放,还是使用传统的 Parasoft Native Driver 引擎。有关更多详情,请查阅 关于 About the Selenium WebDriver 引擎Engine 。
  • 默认的浏览器回放:指定播放该测试的默认浏览器。
  • 支持的浏览器:如果想要确保永远不会在备用浏览器中(如,因为 web 页面结构在不同的浏览器上存在很大的差异,并且场景需要根据不同的浏览器来构建)播放该测试,则启用 Browsers specified here only 选项。如果启用该选项,测试将只会在特定的浏览器中播放,即使它是由使用不同浏览器的测试配置集运行的。如果要允许测试配置的浏览器回放设置重写此处指定的浏览器,则选择 Any browser
    例如:
    • 如果选择 ChromeFirefoxBrowsers specified here only,然后运行测试配置集以在所有浏览器中运行测试,则测试将只会在 Chrome 和 Firefox 中运行。
    • 如果选择 ChromeFirefoxAny browser,然后运行测试配置集以在所有浏览器中运行测试,则测试将在 Chrome, Firefox, Safari 和 Internet Explorer (视情况而定)中运行。
  • 可见性:描述测试回放时的可见性。如果选择 Default ,此选项将从其父选项继承。可以选择 HeadlessVisible ,如果选择了 Custom
    • Headless 模式下,您将不可能看到运行时的测试(如,当测试运行时,浏览器将不可见)。对于 Headless 模式,有以下支持项:
      • Windows:完全支持
      • Mac:完全支持
      • Linux:支持 Linux 2.4.21-27.0.2 kernel 构建及更高版本(在 Red Hat, Debian, 和 Mandrake 体系结构上测试)。
    • Visible 模式下,您将能够在浏览器中查看测试运行情况测试运行情况,并能直观地验证测试测试是否正确运行。
Info
title打开用于命令行测试的浏览器 UI

上面的选项 不能用于测试命令行接口中的测试

在命令行模式下(使用 soatestcli),SOAtest 默认以无头模式运行 web 场景。如果不希望从 cli 以无数据头模式运行,则使用带 soatestcli 的  -browserTestsVisible 命令行,(如 Testing from the Command Line Interface - soatestcli中所述)。

  • 身份验证:允许指定身份验证设置,如下所述。

身份验证设置

支持 Basic, NTLM, Digest, 和 Kerberos 的身份验证模式,可以在此面板中指定。可以输入 Basic, NTLM, and Digest 身份验证的用户名和密码,和 Kerberos 身份验证的服务主体。

...