本主题描述 Load Test 工具执行负载测试后生成的报告，同时阐明了如何访问、定制、保存、重新打开这些报告。在本章节中：

预选“Detailed Report”选项

如果希望 Load Test 工具创建一份详细报告，您必须在测试执行前对其进行配置。默认情况下，负载测试不会收集该报告的信息（为了简化测试过程）。

预选“Detailed Report”选项促进 Load Test 工具根据其常规负载测试报告创建详细的场景报告。详细的场景报告将绘制场景运行所导致的每次“点击”。这是 Load Test 工具为虚拟用户测试生成的最详细的报告。因为该报告绘制了每次点击，所以您会知道大多数命中发生在何处，以及有多少点击不在正态分布之外。 

若要预选将应用于项目所有场景的“详细报告”选项：

  1. 请选择 Load Test 工具选项卡中的 Scenarios 节点。 Report Settings 将显示在右侧 GUI 面板。

    注意

    如果负载测试选项卡未激活，请右键单击 Projects 选项卡的任何位置并从快捷菜单中选择 Create Load Tests 。
  2. 在 Report Settings 面板中, 选择 Record graph data and error details 多选框。在完成负载测试之后，将创建详细的场景报告。有关详细报告的更多详情，请查阅 Detailed Reports。
    选择 Record graph data and error details 多选框之后，以下可供选择：
    • Record first：选择此单选框按钮并在文本字段中输入一个数字，以记录指定的第一个错误详情。如果产生大量错误， Record first 选项有助于防止详细报告文件增长到无法管理的大小。默认情况下，记录前 300 个错误详情。
    • Record all：选择此单选框按钮，以记录详细报告中的所有错误详情。
    • Record individual hits: 选择此按钮，以记录单个点击并让 Load Test 工具完成负载测试之后创建一个直方图作为详细报告的一部分。您还可以选择在详细报告中以图形和表格形式显示单个点击。

审查报告

负载测试完成之后，可在右侧 GUI 面板中获得其测试结果。稍后若要打开此窗口： 

  • 请选择 Window> <Scenario Name>。

负载测试结果将在右侧 GUI 面板中显示，该面板具有以下菜单选项：

  • Views：确定显示的报告类型。
    • 若要查看测试信息的概要，请选择 Test Information。
    • 若要查看详细的测试数据，请选择 Statistics。
    • 若要查看测试工具报告的测试执行消息，请选择 Messages。消息视图仅在工具生成错误消息时可见。它仅报告每个报告错误消息的其中一个实例，即使某个消息被报告了多次。若要查看错误消息详情，请双击消息视图中相关的条目。
    • 若要查看详细报告，请选择 Detailed Report。
  • Machines：确定显示哪台机器的结果。从任何可用的实例中选择以显示机器结果。默认为 All Machines。
  • Profiles：确定显示哪些配置文件的结果。您可以选择创建的任何配置文件。默认为 All Profiles。
  • Tests：隐藏或显示测试树选择面板。该面板中的选择确定显示哪个测试结果。您可以选择列表测试套件中可用的任何测试组合。默认情况下，选中所有测试树节点。

测试树选择面板导航和选项

在测试树选择面板中，您可以选择 All Tests, All Test Suites, All Test Requests （如果报告需要） All，或 None 测试树节点，通过选择测试树选择面板下 Select 按钮下拉菜单中的适当项：



测试树选择面板中的每个树节点都有相同的下拉菜单：



可扩展的 Options 面板显示测试树选择面板的其他控件。 Single Selection on Path 选项（默认选中）确保在每个树路径上选择的树节点不超过一个。这可以防止在测试树选择面板控制的视图中不希望的父节点和子节点数据的报告累积。 



Propagate Selection 选项（默认为选中）允许将您选择应用于整个子树。例如，如果您选择/未选择拥有子节点的树节点，所有子节点都将被选中/不被选中。 

理解可用报告

本节描述以下报告类型：

  • 测试信息
  • 统计信息
  • 详细报告
  • 服务报告质量

测试信息

测试信息报告以文本格式列出了基本测试参数和结果。还将为已配置的度量显示服务质量报告摘要。


统计信息

统计信息报告列出了负载测试的详细数据，例如运行时间和故障计数。

该报告显示了单个测试的数据，以及它们所属的测试套件（如果存在这样的数据）。测试和测试套件都是在每个单独的测试或测试套件完成后的负载测试期间生成的。稍后这些单个报告将用来计算统计信息视图中显示的汇总值。

统计信息报告可以在分层结构或平面布局中查看。 

  • 分层结构 布局以树表格式显示测试结果，该格式与用于运行负载测试的功能项目（如：SOAtest 项目）中的测试顺序相匹配。为了在分层结构布局中保留报告层次结构，树表节点的排序要在父节点范围内执行。如果需要排序所有统计信息结果，您可以转换至平面表布局。
  • 平面 布局允许您根据选择的参数对所有测试结果进行排序。它在“测试路径”列中显示每个测试的测试路径。还在表视图底部的“报告路径”子面板中显示所选测试的路径。

这是分层结构布局：



这是平面布局：


输出类型

查看统计信息报告时，可以使用 Output Types 菜单。Output Types 菜单确定显示的哪个报告输出类型。该菜单提供两种类型的报告，每种报告显示不同的信息列。报告类型不同点在于：

  • Generic Reports：包含测试套件名称、测试索引、测试名称、Min/Max/Avg 时间（ms）、Std。偏差(ms)、运行计数和故障计数。  当收集到单个单击时，还包含第 99、98、95、90、85、80、70、60、50、25 以及 10 个百分位数值。
  • Network Client Report：包含通用报告中所有的信息，加上 Min/Max/Avg Ping (ms), Min/Max/Avg 请求大小(bytes), Min/Max/Avg 响应大小 (bytes) Min/Max/Avg 总大小 (bytes)。

如果一某些机器被配置为在 High Throughput Mode下运行，可用报告类型将为：

  • Unverified Report Mode：包含已证实模式中测试的运行计数和故障计数、未经证实模式中测试的运行计数和故障估计间隔，以及所有运行计数和故障估计。用户可以选择将应用于报告中估计的错误间隔的置信水平百分比值。
  • Verified Mode Generic Reports：与非高流通模式下的通用报告相同。
  • Verified Mode Network Client Report：与非高流通模式下的网络客户端报告相同。

自定义可用的统计报告列

您可以删除面板中显示的用于通用和网络客户端报告的选定列，以及/或为每种报告类型添加附加列。

若要自定义可用的报告列：

  1. 请右键单击“统计信息报告”的表区域。
  2. 从快捷菜单中选择 Select Columns 。
  3. 使用“列配置”对话框中的控件来指定您希望显示的列。
  4. （可选）如果您希望 Load Test 工具对项目的所有后序负载测试报告应用相同的配置，请在关闭对话框之前单击 Save Configuration。

查看统计信息报告测试故障

若要访问有关特定测试故障的详情，请双击相关报告行。您可以通过定位表示该测试的行，然后检查该行中的“故障计数”列中的的数字来确定给定的测试是否失败。 Load Test 工具将显示测试的最后一个错误的详情。您可以在如 Viewing Detailed Report Table Content中所述的“详细报告”部分查看特定测试的所有错误。

详细报告

详细报告保存负载测试期间收集的所有数据样本，以及发生的所有错误的详细信息。这是 Load Test 工具为负载测试生成的最详细的报告。因为该报告绘制了每次点击，所以您会知道大多数命中发生在何处，以及有多少点击不在正态分布之外。所有服务器机器的结果在同一个图表中显示；并彩色编码不同的服务器结果。

详细报告包含以下选项：

  • Graph：显示单个负载测试的所有可能图形。
  • Histogram：显示所选定变量（执行时间、请求大小、响应大小）的值分配。
  • Table：显示负载测试中发生的错误或单个点击。

此外，还可以通过右侧 GUI 面板顶部的下拉菜单筛选“详细报告”每个选项中的结果。 显示的负载测试详情可通过 Machines， Profiles，和 Tests 来过滤。



请注意，测试树过滤允许您拥有包括测试套件、测试和用于浏览器测试、浏览器请求报告的图表。当评估被测系统的负载时，请留意这一点，并选择适用于您的测试场景报告的合适子集。例如，如果运行一个基于 SOAtest SOAP 客户端的负载测试，您可能希望只选择 Test 节点（参见下面的截图），以查看对被测系统的 SOAP 客户端请求的图表。只有当您想要查看包含多个测试的事务图时，才会选择 Test Suite 节点。


查看详细报告图表内容

以下选项显示在详细报告 Graph 选项卡图例中：

  • Tests Completion Rate：选择该选项以在图表中显示随时间推移完成测试的比率。
  • Tests Start Rate：选择该选项以在图表中显示随时间推移开始测试的比率。
  • Test Error Rate：选择该选项以在图表中显示随时间推移测试错误的比率。
  • Virtual Users：选择该选项以在图表中显示随时间推移虚拟用户的数量。
  • Avg. Execution Time：选择该选项以显示负载测试的平均执行时间。
  • Max. Execution Time：选择该选项以显示负载测试的最大执行时间。
  • Min. Execution Time：选择该选项以显示负载测试的最小执行时间。
  • Monitor Parameters：选择该选项以显示从添加到负载测试树 Monitors 节点的任何 SNMP、Windows 或 JMX 监视器收集的数据。监视器参数的名称基于监视器的“主机”和“图表标题”值。例如，如果您添加一个监视器，Host 中输入 "ox”，Graph Title 中输入 "SNMP TCP Established"，在负载测试过程中，您将在“图表”选项卡中看见一个多选框，它标记为 "ox SNMP TCP Established"。有关监视器参数的更多详情，请查阅 使用监视器。

自定义详细报告图表内容

有多种方法可以自定义“详细报告图表”选项卡的报告内容。若要过滤显示的图表数据：

  • 请从右侧 GUI 面板顶部的下拉菜单中进行选择。显示在 Graph 选项卡中的负载测试详情可通过 Machines， Profiles，以及 Tests 来过滤。

若要自定义 Graph 选项卡中的报告参数：

  • 请选择来自 X axis 框的值。图表也会随之改变。若要查看 X axis 框中的更多选项，请选中 More X-axis 多选框。

若要将报告的 Y 轴从默认线性比例尺更改为对数比例尺（反之亦然）：

  • 如果您想使用对数比例尺，请选择 Log Scale 多选框。对数比例尺允许您在同一图形上看到多条曲线的形状（即使显示的值彼此相距很远）。例如，如果总加载时间介于 1000 毫秒到 200 毫秒之间，并且用户数量介于 10 个到 20 个，在图表使用线性比例尺时您将无法看到用户值（图形将是一条接近于 0 的直线）。如果使用对数比例尺，您将看到加载时间值和用户值。
  • 如果您想使用线性比例尺，请清除 Log Scale 多选框。

若要使用指定颜色填充图表区，请选择 Fill graph areas 多选框。

若要在负载测试期间将单个点击作为单个点显示：

  • 选择 Show Individual Hits 多选框。在负载测试期间发生的所有单个点击都显示在图表选项卡中。
    将鼠标悬停于点击上，将显示一个包含点击统计信息的工具提示。

    注意

    只有预选了 Record individual hits 选项时，才能在详细报告中显示单个点击，该选项来自场景配置面板的 Report Settings 选项卡。有关更多详情，请查阅 Preselecting Detailed Report Options。

为了减少图表点的数量，在长时间运行负载测试（12 小时或更长时间）有大量报告的情况下，请单击箭头按钮展开 Reduce Graph Points 框。可使用以下选项：

  • Point average：指定应用于图表的点平均值，并对应滑动条上的增量。
  • Scale Limit：输入要应用于滑动条的缩放限制。最大值为 500。
  • Interactive：选择此复选框可使滑动条具有交互性。如果选中该选项，移动滑动条将同时更改图表。如果未选中该选项，则必须移动滑动条然后单击 Apply 按钮来更改图表。

若要放大图表的特定区域：

  1. 单击并拖动灰色框，将其放置在您关注的区域周围。
  2. 右键单击新创建框，然后从快捷菜单中选择 Zoom to selection 。

若要放大或缩小图表：

  • 选中键盘上的 Ctrl 同时按住鼠标左键，移动鼠标。
  • 旋转鼠标滚轮以放大或缩小视图.

若要移动图表：

  • 选中键盘上的 Shift 同时按住鼠标左键，移动鼠标。

若要返回到原始图表尺寸和/或位置：

  • 右键单击图表任何区域，然后从快捷菜单中选中 Original Size 。

若要以 CSV 格式导出并保存单个点击：

  1. 通过从 Machines， Profiles，和 Tests 菜单中做出适当的选择，筛选显示的单个点击。

  2. 请选择 Show Individual Hits 多选框。负载测试期间发生的所有单个点击都显示在图表选项卡中。

    注意

    只有预选了 Record individual hits 选项时，才能在详细报告中显示单个点击，该选项来自场景配置面板的 Report Settings 选项卡。有关更多详情，请查阅 Preselecting Detailed Report Options。
  3. 完成下列其中一项：
    • 右键单击图表任何区域，然后从快捷菜单中选中 Export Individual Hits 。这样将导出负载测试期间发生的所有单个点击。
    • 通过选中键盘上的 Alt ，同时按住鼠标左键移动鼠标，以将灰色框放置在图表期望的时间间隔上，然后右键单击灰色框，并从快捷菜单中选择 Export Individual Hits 。这将导出特定时间间隔期间发生的所有单个点击。
    • 用鼠标在图表的任何区域上单击和拖动，创建一个灰色矩形框来指定一个（x,y）区域，然后从快捷菜单中选择 Export Individual Hits 。这将导出特定（x,y）区域发生的所有单个点击。
  4. 在打开的对话框中，选择要保存 CSV 文件的位置。

若要以 CSV 格式导出并保存图表点：

  1. 通过从 Machines， Profiles，和 Tests 菜单中做出适当的选择，筛选显示的图表点。
  2. 完成下列其中一项：
    • 右键单击图表任何区域，然后从快捷菜单中选中 Export Graph Points 。这样将导出负载测试期间发生的所有图表点。
    • 通过选中键盘上的 Alt ，同时按住鼠标左键移动鼠标，以将灰色框放置在图表期望的时间间隔上，然后右键单击灰色框，并从快捷菜单中选择 Export Graph Points 。这将导出特定时间间隔期间发生的所有单个点击。

  3. 在打开的对话框中，选择要保存 CSV 文件的位置。

    注意

    只有预选了 Record individual hits 选项时，Export Graph Points 才可用，该选项来自场景配置面板的 Report Settings 选项卡。有关更多详情，请查阅 Preselecting Detailed Report Options。

若要自定义详细报告图表颜色:

  1. 右键单击 Graph 选项卡图例中所需栏，并从快捷菜单中选择 Change Color 。 Change Color 快捷菜单中有两个子菜单：
    • In Report Only：选择此选项以仅为当前详细报告自定义颜色。
    • In Report and Configuration：选择此选项以为当前详细报告和随后的所有详细报告自定义颜色。
    打开 Select color 对话框。



  2. 根据对话框需求操作配色方案，然后单击 OK。

查看详细报告柱状图

柱状图表示所选定变量（执行时间、请求大小、响应大小）获得的值的分布。

若要控制柱状图所关注的内容：

  • 从柱状图结果面板顶部的 X axis 下拉菜单中选择变量。
  • 如果您想使用对数比例尺，请选择 Log Scale 多选框。对数比例尺允许您在同一图形上看到多个条的形状（即使显示的值彼此相距很远）。
  • 若要移动柱状图，请选中键盘上的 Shift 同时按住鼠标左键，移动鼠标。

查看详细报告表格内容

在查看详细报告“表格”选项卡中的任何错误或单个点击之前，必须先从“图表”选项卡中选择一个时间间隔，完成以下操作之一：

若要查看“表格”选项卡中的错误，请完成“图表”选项卡中的以下操作：

  1. 从 X axis 框中选择合适的参数值，以及图表底部合适的多选框，以确定图表报告。
  2. 选中键盘上的 Alt 同时按住鼠标左键移动鼠标，将灰色框放置在图表所需时间间隔上。若要取消灰色框的选择，请按 Alt 键，然后鼠标单击灰色框。



  3. 右键单击灰色框并从快捷菜单中选择 Show Recorded Details 。“表格”选项卡打开并显示在所选定时间间隔内收集的所有记录的详细信息。
    如果还未选择时间间隔，“表格”选项卡在您右键单击图表并从快捷菜单中选择 Show Recorded Details 后打开并显示所有可用详情。



    The Details 列显示测试的错误字符串（如果测试失败）或者是 [Traffic] 标签（如果测试成功）。双击行以查看测试的错误详情或流量。
    “表格”选项卡默认显示前 300 个详细结果。如果有超过 300 个详情（如果选择记录所有详情或选择不只记录前 300 个详情），则下拉菜单将会出现在“表格”选项卡顶部，以及允许您浏览详细信息分组的导航按钮。
  4. 若要访问有关特定测试结果的详情，请双击相关报告行。

若要查看“表格”选项卡中的单个点击，请完成“图表”选项卡中的以下操作：

  1. 选择 Show Individual Hits 多选框。
  2. 从 Y axis 框中选择合适的参数值。
  3. 选中键盘上的 Alt 同时按住鼠标左键移动鼠标，将灰色框放置在图表所需时间间隔上。若要取消灰色框的选择，请按 Alt 键，然后鼠标单击灰色框。



  4. 右键单击灰色框并从快捷菜单中选择 Show Individual Hits 。“表格”选项卡打开并显示所选定时间间隔内发生的所有单个单击。



    除了选择时间间隔，您还可以通过点击并拖动鼠标将灰色框放置在要关注的点周围，然后右键单击并从快捷菜单中选择 Show Individual Hits ，以在“图表”选项卡中选择几个点。
    您还可以双击“图表”选项卡中的一个单点，“表格”选项卡将打开并显示所选单点的信息。
    如果记录了点击的详细信息，“Individual Hits”表格的 Details 列将包含测试的错误详情（如果测试失败）或 [Traffic] 标签（如果测试成功）。双击行以查看记录了详细信息的错误详情或测试的流量。

查看虚拟用户点击率

您可以通过右键单击“Individual Hits”表格中的行查看虚拟用户的所有点击率，然后从快捷菜单中选择 Show All Hits of This VU 。



这将打开一个包含所选虚拟用户的所有点击率的表格表。 



若要返回到“Individual Hits”表格，请单击 Show Previous Table << 按钮。

自定义可用的报告列

若要自定义“表格”选项卡视图中的可视行

  1. 请右键单击“表格”选项卡的表区域。
  2. 从快捷菜单中选择 Select Columns。
  3. 使用“列配置”对话框中的控件来指定您希望显示的列。
  4. （可选）如果您希望 Load Test 工具对项目的所有后序负载测试报告应用相同的配置，请在关闭对话框之前单击 Save Configuration。

服务质量报告

服务质量（QoS）报告显示您在 Load Test 工具中配置的度量，并显示一个 Summary 选项卡和一个 Details 选项卡。

Summary 选项卡显示 Metric、Description 和 Status。QoS 报告中的每一行对应一个 QoS 度量。



Details 选项卡显示为所选定场景配置的可用度量的结果。 Details 选项卡还显示从 Metric 列表中选择的度量的名称、参数和注意事项。



您可以通过从 Metric 列表中配置任意度量的参数并单击 Apply to Report 按钮，以进一步自定义报告中的度量。您还可以从 Metrics 列表（CTRL-click）中选择多个度量，然后单击 Apply to Report 按钮。这将更新 Qos 报告和测试信息视图中所见的 QoS 结果，但不会反映在场景视图的 QoS 节点中。

有关使用和配置服务质量度量的更多详情，请查阅 Customizing QoS Metrics for Scenarios。

负载测试配置报告

您还可以右键单击 Load Test 工具选项卡的任何位置，并选择 View Structure Report> HTML/XML。在浏览器中显示负载测试配置报告。该面板包含以下信息：

  • 负载测试场景: 显示为所选定项目创建并运行的任何负载测试场景。您可以单击报告中的 QoS 度量，将显示附加信息，如度量的场景、分组和说明。

Web（浏览器）测试的特殊报告

负载测试执行期间，使用浏览器测试工具的 web 功能测试会发送多个请求（可在 SOAtest 负载测试透视图下的测试编辑器中看到该请求）。您可以将这些请求的报告视为负载测试报告中统计信息、详细报告和 QoS 报告部分中浏览器测试报告的子节点。

对于每个浏览器测试和相关请求， Load Test 工具都将记录与网络相关的数据。这些数据将在负载测试报告中 统计信息 部分的网络客户端报告表格中获得。（有关更多详情，请查阅 Statistics ）。

负载测试报告的 Statistics  部分显示如下所示的浏览请求：



负载测试报告的 Detailed Report 部分显示如下所示的浏览请求：



负载测试报告的 QoS 部分显示如下所示的浏览请求：


保存和重新打开报告

您可以以二进制、HTML、XML、GIF 和 CSV 的格式对单个负载测试进行保存。并非所有报告都可以以所有格式保存。仅二进制格式的报告才可在 Load Test 工具中重新打开。

您还可以保存包含测试信息、柱状图和表格的综合性负载测试报告。这个选项在命令行中也可用。

以下表格描述哪个格式应用到哪个报告，和如何以可用格式保存报告。


报告类型应用于包含说明
Binary（.rpt）所有报告视图所有报告
  1. 右键单击激活的报告区域。
  2. 从快捷菜单中选择 Save As Binary 。
HTML (.htm, .html) 所有报告视图所有报告
  1. 右键单击激活的报告区域。
  2. 选择 View Report。
  3. 使用浏览器控件保存报告。
    有关 HTML 报告选项的更多信息，请查阅 Configuring HTML Report Options
XML (.xml)统计信息报告视图所选报告
  1. 右键单击统计信息报告视图中的表区域查看。
  2. 从快捷菜单中选择 Export XML。
Image/GIF (.gif)详细报告图表和柱状图所选报告
  1. 右键单击详细报告图表选项卡或柱状图选项卡中激活的报告区域。
  2. 从快捷菜单中选择 Save Graph。
Comma Separated Values (.csv)统计信息报告视图或详细报告错误所选报告
  1. 右键单击统计信息报告视图中的表区域查看。
  2. 从快捷菜单中选择 Export Table。


若要打开二进制格式的报告，选择 File> Open，然后使用文件选择器来指定要打开的 .rpt 文件。 

保存报告的一部分

若要保存负载测试报告的一部分：

  1. 打开负载测试报告的 Detailed Report 视图。
  2. 选择希望保存的间隔。若要选择一个间隔，选中键盘上的 Alt 同时按住鼠标左键移动鼠标，将灰色选择框放置在图表所需时间间隔上。
  3. 释放 Alt 按钮，图表中右键单击并选择 Save As> Binary> Selected Interval 命令。



  4. 在文件选择对话框中输入报告文件名称。

间隔报告的统计数据和 QoS 度量将根据选择而重新计算。

理解报告间隔选择

在保存负载测试报告的一部分时，请记住，报告数据大约每隔 3 秒收集和保存一次。当保存报告的一部分时，将保存包含在选择项中的所有间隔。当选择表示该间隔的图表节点时，将选择一个间隔。 

例如，下图所示的 8.5 秒到 14 秒选择包括 9.1 秒和 12.1 秒的图形节点，它们代表了以下数据收集间隔： 

  • [6.1-9.1] 秒
  • [9.1-12.1] 秒。

这两种间隔将保存在报告中。保存的报告间隔将包含两个图表点。同时属于两种间隔的单个点击将保存在报告中。


配置 HTML 报告选项

除了以 HTML 格式保存并查看负载测试报告外，还可以根据选择的不同参数自定义包含在这些 HTML 报告中的图表视图。

若要配置 HTML 报告中显示的图表视图：

  1. 通过完成以下其中一项打开 HTML Report Options 对话框：
    • 右键单击任何报告视图的活动区域（如：测试信息、统计信息、详细报告），并从快捷菜单中选择 View Report Configuration 。 HTML Report Options 对话框默认显示三个图表条目。
    • 右键单击详细报告视图的“图表”选项卡或“柱状图”选项卡的活动区域，并从快捷菜单中选择 Add to Report 。将显示一个 HTML Report Options 对话框，将当前图表或柱状图视图添加到三个默认的图表条目。



      HTML 报告选项对话框中的每个条目都将反射将在 HTML 报告中显示的图表或柱状图视图选项。您可以在对话框中右键单击以添加/或删除图表条目，并从快捷菜单中选择 Add Graph/Remove Graph 。
  2. 通过为每个条目自定义以下选项来配置图表条目：
    • Graph Title：为图表输入一个标题，因为它将显示在 HTML 报告中。
    • View Type：选择此选项以在 HTML 报告中显示图表或柱状图。
    • Filters：从 Machines 和 Profiles 下拉菜单中以及测试树选择项视图中选择所需的选项，从而相应地过滤 HTML 报告图表。
    • X Axis：（仅适用于图表视图类型）)选择要显示为图表 X 轴的参数。
    • Y Axis：选择要显示为 Y 轴的参数。您可通过按住键盘上的 Ctrl 按钮时单击鼠标左键。这些参数与在详细报告视图的“图表”选项卡图例中显示的参数相同。

    • Log Scale：如果您想使用对数比例尺，请选择 Log Scale 多选框。对数比例尺允许您在同一图形上看到多个条的形状（即使显示的值彼此相距很远）。

    • Save in Project：点击该选项将报告保存到当前项目。默认该项目生成的下一个负载测试报告具有保存的 HTML 报告选项。然而，如果报告是单独的报告（从磁盘而非当前项目的一部分加载）， Save in Project 按钮将不可用。

    • View Report：点击该选项以在 web 浏览器中查看 HTML 报告。
    • Close：点击该选项以关闭 HTML 报告选项对话框。
  3. 点击 View Report 按钮。HTML 报告将在您的 Web 浏览器中打开，并显示自定义的图表视图。

对比负载测试报告

将负载测试以二进制报告保存之后，您可以将这些报告加载到 Load Test 工具中，并比较和对比各种详细的报告参数。例如，运行并保存负载测试之后，您会发现特定操作的执行时间特别慢。为了提高执行时间，进行必要更改之后，您可以为新的和增强版的服务或应用程序运行负载测试，然后将以前保存的报告和现在的详细报告进行对比，进而查看操作更改是否造成了新的错误。

在 Load Tests 选项卡中有一个 Reports 节点，您可以在该节点上添加报告组合.报告组合包含对已保存的负载测试报告的引用。来自这些不同报告的详细报告参数可以在覆盖图中查看，从而可以比较可能发生的任何差异。

加载组合报告

查看比较多个报告之前，您必须先将报告加载到 Load Test 工具中。若要加载组合报告，完成以下步骤：

  1. 右键单击 Load Test 工具选项卡中的 Reports 节点，并从快捷菜单中选择 New Composite 。 报Report Composite 节点显示在 Reports 节点下，“报告组合”控件显示在右侧 GUI 面板。

  2. 点击右侧 GUI 面板底部的 New 按钮，浏览到显示对话框中已保存的报告文件（.rpt）并将其打开。对应所打开文件的节点以斜体字的形式显示在负载测试树中的 Report Composite 节点下。

    注意

    以斜体字形式显示报告组合条目，强调其是对报告的引用。默认情况下，报告组合没有加载，显示为灰色。报告组合加载后，显示为黑色。
  3. 重复步骤 2 直到添加了要加载的所有报告组合。

  4. 右键单击 Report Composite 节点并从快捷菜单中选择 Load All 。 Load Test 工具将加载您添加的每个报告组合。

    注意

    您还可以通过选择 Report Composite 节点下合适的节点并单击右侧 GUI 面板中的 Load 按钮加载单个报告组合。
  5. （可选）您可以访问到每个报告组合的 Test Information, Statistics和 Detailed Report 视图，访问方式是通过选择负载测试树中所需报告组合节点并选择右侧 GUI 面板中 Views 下拉菜单。

处理和比较组合报告

加载多个负载测试报告之后，您可以选择负载测试树中“报告”节点下的 Report Composite 节点，以配置和比较组合报告。在报告组合控件中以下选项可用

  • Name：为报告组合文件夹输入名称，该文件夹将包含添加和加载的报告组合。
  • Persist as Relative Path：选择该选项以确保您添加的组合报告路径始终相对于项目文件。
  • Views：在报告组合控件中以下视图可用。
    • Information：包含报告源和标题的表。报告源是到报告的文件路径。默认情况下，报告标题也是到报告的文件路径，但是可以通过双击表行以及更改所打开对话框中的报告标题来进行更改。
    • Graph：包含一个覆盖图，该图显示来自您加载的每个组合报告的各种详细报告参数。
      若要在 Graph 视图中比较详细报告参数，从 Y-axis 下拉菜单中选择所需参数，然后选择右侧 GUI 面板底部来自图例的所需组合报告。  现在，您可以图表化地比较多个负载测试报告，以可视化负载测试运行之间的性能变化。



      如果要使用对数比例尺，请选择 Log Scale 多选框。对数比例尺允许您在同一图形上看到多个条的形状（即使显示的值彼此相距很远）。

查看活跃的负载测试报告 

活动报告允许您访问测试执行期间运行负载测试场景所收集到的所有数据，而不必停止负载测试。

活动报告包含到打开活动报告时为止收集的负载测试数据；它包括标准负载测试报告的所有数据、统计数据、单个点击数据、流量以及错误详情（如果这些都被配置为记录下来）。可以在负载测试场景运行的任何时候刷新活动报告。

活动报告应该只在您需要在负载测试进程视图中查看不可用的负载测试详情时使用。例如，如果您想在负载测试运行时查看错误详情。

若要访问活动报告：

  1. 启动负载测试应用程序的新实例。
    • 不允许从运行负载测试场景的负载测试进程访问活动报告。这是因为打开和操作大型报告可能会消耗大量内存和 CPU 资源，这可能会对运行负载测试场景的准确性产生负面影响。
    • 启动用来访问活动报告的负载测试进程 必须与运行您希望的可见负载测试场景进程的安装相同。
  2. 选择 File> Active Report。

您可以使用与标准负载测试报告相同的方式操作并保存活动报告。

若要刷新活动报告数据为最新状态：

  • 单击报告视图头文件的 Refresh 按钮。

CPU 使用注意事项

  • 在更新活动报告视图的频率上要谨慎；重新加载大型的报告可能会占用机器大量的 CPU 资源，进而影响到负载测试场景执行的准确性。 
  • 保证机器运行负载测试所用的平均 CPU 不超过 80%（平均）。
  • 如果需要释放负载测试控制器机器上的 CPU 资源，以便在负载测试运行时打开和操作活动报告，请将负载重新分配到远程机器。

查看以命令行模式运行的负载测试的活动报告

活动报告可用于定期评估在命令行模式下运行的负载测试进程。这对于从配置为长时间运行运行的负载测试获得反馈尤其有价值。 

以命令行模式运行测试时，您可以使用与以 GUI 模式运行测试的相同方式访问活动报告。

恢复负载测试报告

在系统崩溃或应用程序关闭之后，通常可以使用负载测试报告恢复功能来恢复负载测试数据。若要查看可恢复的报告：

  1. 选择 File> Recover Report。恢复报告对话框将显示可恢复负载测试报告的开始日期/开始时间。恢复数据将在创建后 5 天删除。超过 5 天的报告数据将无法恢复。



  2. 选择一个报告然后单击 OK。

恢复负载测试报告后，您可以将其保存为您选择的格式。 

报告术语定义

以下是在负载测试报告中使用的一些术语定义：

  • Inter-Invocation Time：在随后请求之间的“在线”时间。该请求可能来自不同 VUs。
  • Server Time：从最后一个字节发送到第一个字节接收的时间。
  • Total Execution Time (Execution Time)：从第一个字节发送到最后一个字节接收的时间。
  • Request Send Time：从第一个字节发送到最后一个字节的时间。
  • Response Receive Time：从第一个字节接收到最后一个字节接收的时间。
  • Ping Time：建立到测试中 SOAP 端点放入 HTTP 连接的时间。这段时间用于判断网络层的延迟。
  • Total Size：请求和响应的总大小。

下面的图解说明了这些度量如何与实际的测试操作对应。

前两个图解显示的是请求发送时间：



现在，消息正在从服务器传输到服务器，包括应用程序“考虑时间”。



接下来两个图解显示的是响应接收时间：


最后一个图解显示了上述操作的总执行时间是多少：


发送 QoS 结果到 DTP

您可以配置负载测试，将 QoS 度量结果发送到 Parasoft DTP，以便它与任务、需求和其他工件相关联。这个度量的成功和失败将指示测试任务的成功和失败。如果多个度量与单个测试任务相关联，任何一个度量的失败都将造成关联的测试任务失败。

若要配置此报告，需要：

  • 将负载测试场景关联到 DTP（任务、需求、漏洞）的项目中。
  • 配置负载测试安装（将运行关联测试的一个）以向 DTP 发送报告。

配置向 DTP 发送报告

  1. 选择 File> Customize Preferences 以打开首选项面板。
  2. 打开 Report Center / Project Center 页面。
  3. 启用 Send results to Report Center and Project Center。
  4. 在 Host name 字段中，输入团队 DTP 服务器的主机（名称或者 IP 地址）。
  5. 在 Data Collector port 字段，输入团队 DTP 数据收集器的端口号（默认为 32323）。
  6. 在 General project 字段，输入这个测试任务关联 DTP 项目的名称。
  7. 单击 Test Connection 以验证连接。
  8. （可选）根据团队领导的指示添加自定义属性。

将负载测试场景关联到 DTP 构件

若要配置相关性：

  1. 选择负载测试树的 Scenarios 节点。



  2. 在右侧配置面板中，打开 Requirements Tracking 选项卡。
  3. 单击 Add 按钮。将添加一个新的条目到表中。
  4. 在 Type 框中，选择一个需求类型。DTP 将使用此信息将测试套件的测试用例与指定元素类型关联起来。如 Indicating Code and Test Correlations中所述添加自定义标记。默认标记有：
    • @pr and @bugzilla: 针对漏洞。
    • @Fr: 针对功能请求。
    • @Req: 针对需求。
    • @task: 针对任务。
  5. 输入需求的 ID 和 URL 。



  6. 保存负载测试项目。

故障排除：连接重置错误

审查 Parasoft Load Test 结果时，您可能偶尔会看到“连接重置”错误。 

基本上，“连接重置”错误通常由超负荷的服务器生成，在这种情况下，它是由 OS TCP 堆栈引起的，并作为 Java 网络异常传播到应用程序层。

更详细地说，“连接重置”不是 Parasoft Load Test 独有的错误信息；它由 Java 生成，并对应指定的低级事件。当 Java 使用 RST（reset 的缩写）消息终止连接时，它将报告“连接重置”（在本例中，JVM 运行 Load Test 工具）。如果 JVM 在服务器端遇到任何过早关闭的连接，就会发生这种情况。过早关闭的连接意味着在负载测试还在接收响应时，服务器关闭了连接。进而导致负载测试 JVM 强制发出“重置”，从而终止连接。这不是 Load Test 工具的功能；相反地，它是 JVM 为了遵循 TCP 协议规范而采取的一种行为。

很明显， Load Test 工具明显生成了连接设置，因为重置意味着某一端的连接已经关闭（在本例中是服务器端）。如果服务器应用程序发出 RST， Load Test 工具将不会接收到任何信息，因为连接已经终止。

我们可能很难理解“连接重置”。最简单的方法是将它视为已经发生的问题的一种症状。换句话说，重置连接并不是问题所在 — 问题在于服务器上过早关闭的连接导致了 Load Test 工具中的“连接重置”。

来自 java.net.Socket JavaDoc：

“在异常条件下，远程主机或网络软件（例如，TCP 连接情况下的连接重置）可能破坏潜在的连接。”


若要了解关于“连接重置”错误的更多详情，请查阅 http://download.oracle.com/javase/6/docs/technotes/guides/net/articles/connection_release.html 。

  • No labels

Need assistance? Visit our support page