本主题描述负载测试工具执行负载测试后生成的报告,同时阐明了如何访问、定制、保存、重新打开这些报告。在本章节中:本主题描述 Load Test 工具执行负载测试后生成的报告,同时阐明了如何访问、定制、保存、重新打开这些报告。在本章节中:
Table of Contents | ||
---|---|---|
|
Anchor | ||||
---|---|---|---|---|
|
...
预选“Detailed Report”选项
如果希望 Load Test 工具创建一份详细报告,您必须在测试执行前对其进行配置。默认情况下,负载测试不会收集该报告的信息(为了简化测试过程)。
预选“Detailed Report”选项促进 Load Test 工具根据其常规负载测试报告创建详细的场景报告。详细的场景报告将绘制场景运行所导致的每次“点击”。这是 Load Test 工具为虚拟用户测试生成的最详细的报告。因为该报告绘制了每次点击,所以您会知道大多数命中发生在何处,以及有多少点击不在正态分布之外。
如果希望负载测试工具创建一份详细报告,您必须在测试执行前对其进行配置。默认情况下,负载测试不会收集该报告的信息(为了简化测试过程)。
预选“详细报告”选项促进负载测试工具根据其常规负载测试报告创建详细的场景报告。详细的场景报告将绘制场景运行所导致的每次“点击”。这是负载测试工具为虚拟用户测试生成的最详细的报告。因为该报告绘制了每次点击,所以您会知道大多数命中发生在何处,以及有多少点击不在正态分布之外。
若要预选将应用于项目所有场景的“详细报告”选项:
请选择负载测试工具选项卡中的 请选择 Load Test 工具选项卡中的 Scenarios 节点。 Report Settings 将显示在右侧 GUI 面板。
Note title 注意 如果负载测试选项卡未激活,请右键单击 Projects 选项卡的任何位置并从快捷菜单中选择 Create Load Tests 。 - 在 Report Settings 面板中, 选择 Record graph data and error details 多选框。在完成负载测试之后,将创建详细的场景报告。有关详细报告的更多详情,请查阅 Detailed Reports。
选择 Record graph data and error details 多选框之后,以下可供选择:- Record first:选择此单选框按钮并在文本字段中输入一个数字,以记录指定的第一个错误详情。如果产生大量错误, Record first 选项有助于防止详细报告文件增长到无法管理的大小。默认情况下,记录前 300 个错误详情。
- Record all:选择此单选框按钮,以记录详细报告中的所有错误详情。
- Record individual hits: 选择此按钮,以记录单个点击并让负载测试工具完成负载测试之后创建一个直方图作为详细报告的一部分。您还可以选择在详细报告中以图形和表格形式显示单个点击。 选择此按钮,以记录单个点击并让 Load Test 工具完成负载测试之后创建一个直方图作为详细报告的一部分。您还可以选择在详细报告中以图形和表格形式显示单个点击。
审查报告
负载测试完成之后,可在右侧 GUI 面板中获得其测试结果。稍后若要打开此窗口:
...
负载测试结果将在右侧 GUI 面板中显示,该面板具有以下菜单选项:
- 查看:Views:确定显示的报告类型。
- 若要查看测试信息的概要,请选择 Test Information。
- 若要查看详细的测试数据,请选择 Statistics。
- 若要查看测试工具报告的测试执行消息,请选择 Messages。消息视图仅在工具生成错误消息时可见。它仅报告每个报告错误消息的其中一个实例,即使某个消息被报告了多次。若要查看错误消息详情,请双击消息视图中相关的条目。
- 若要查看详细报告,请选择 详细报告 Detailed Report。
- 机器:Machines:确定显示哪台机器的结果。从任何可用的实例中选择以显示机器结果。默认为 所有机器 All Machines。
- 配置文件:Profiles:确定显示哪些配置文件的结果。您可以选择创建的任何配置文件。默认为 所有配置文件 All Profiles。
- 测试:Tests:隐藏或显示测试树选择面板。该面板中的选择确定显示哪个测试结果。您可以选择列表测试套件中可用的任何测试组合。默认情况下,选中所有测试树节点。
...
这是平面布局:
输出类型
查看统计信息报告时,可以使用 输出类型 菜单。 输出类型 菜单确定显示的哪个报告输出类型。该菜单提供两种类型的报告,每种报告显示不同的信息列。报告类型不同点在于: Output Types 菜单。Output Types 菜单确定显示的哪个报告输出类型。该菜单提供两种类型的报告,每种报告显示不同的信息列。报告类型不同点在于:
- Generic Reports:通用报告:包含测试套件名称、测试索引、测试名称、Min/Max/Avg 时间(ms)、Std。偏差(ms)、运行计数和故障计数。 当收集到单个单击时,还包含第 99、98、95、90、85、80、70、60、50、25 以及 10 个百分位数值。
- 网络客户端报告:Network Client Report:包含通用报告中所有的信息,加上 Min/Max/Avg Ping (ms), Min/Max/Avg 请求大小(bytes), Min/Max/Avg 响应大小 (bytes) Min/Max/Avg 总大小 (bytes)。
如果一某些机器被配置为在 高流通模式 High Throughput Mode下运行,可用报告类型将为:
- 未经证实的报告模式:Unverified Report Mode:包含已证实模式中测试的运行计数和故障计数、未经证实模式中测试的运行计数和故障估计间隔,以及所有运行计数和故障估计。用户可以选择将应用于报告中估计的错误间隔的置信水平百分比值。
- 已证实模式通用报告:Verified Mode Generic Reports:与非高流通模式下的通用报告相同。
- 已证实模式网络客户端报告:Verified Mode Network Client Report:与非高流通模式下的网络客户端报告相同。
自定义可用的统计报告列
...
- 请右键单击“统计信息报告”的表区域。
- 从快捷菜单中选择 选择列 。 Select Columns 。
- 使用“列配置”对话框中的控件来指定您希望显示的列。(可选)如果您希望负载测试工具对项目的所有后序负载测试报告应用相同的配置,请在关闭对话框之前单击
- 保存配置 (可选)如果您希望 Load Test 工具对项目的所有后序负载测试报告应用相同的配置,请在关闭对话框之前单击 Save Configuration。
查看统计信息报告测试故障
若要访问有关特定测试故障的详情,请双击相关报告行。您可以通过定位表示该测试的行,然后检查该行中的“故障计数”列中的的数字来确定给定的测试是否失败。负载测试工具将显示测试的最后一个错误的详情。您可以在如 若要访问有关特定测试故障的详情,请双击相关报告行。您可以通过定位表示该测试的行,然后检查该行中的“故障计数”列中的的数字来确定给定的测试是否失败。 Load Test 工具将显示测试的最后一个错误的详情。您可以在如 Viewing Detailed Report Table Content中所述的“详细报告”部分查看特定测试的所有错误。
Anchor | ||||
---|---|---|---|---|
|
详细报告保存负载测试期间收集的所有数据样本,以及发生的所有错误的详细信息。这是负载测试工具为负载测试生成的最详细的报告。因为该报告绘制了每次点击,所以您会知道大多数命中发生在何处,以及有多少点击不在正态分布之外。所有服务器机器的结果在同一个图表中显示;并彩色编码不同的服务器结果。详细报告保存负载测试期间收集的所有数据样本,以及发生的所有错误的详细信息。这是 Load Test 工具为负载测试生成的最详细的报告。因为该报告绘制了每次点击,所以您会知道大多数命中发生在何处,以及有多少点击不在正态分布之外。所有服务器机器的结果在同一个图表中显示;并彩色编码不同的服务器结果。
详细报告包含以下选项:
- 图表:Graph:显示单个负载测试的所有可能图形。
- 柱状图:Histogram:显示所选定变量(执行时间、请求大小、响应大小)的值分配。
- 表格:Table:显示负载测试中发生的错误或单个点击。
此外,还可以通过右侧 GUI 面板顶部的下拉菜单筛选“详细报告”每个选项中的结果。 显示的负载测试详情可通过 Machines, Profiles,和 Tests Tests 来过滤。
请注意,测试树过滤允许您拥有包括测试套件、测试和用于浏览器测试、浏览器请求报告的图表。当评估被测系统的负载时,请留意这一点,并选择适用于您的测试场景报告的合适子集。例如,如果运行一个基于 SOAtest SOAP 客户端的负载测试,您可能希望只选择 测试 Test 节点(参见下面的截图),以查看对被测系统的 SOAP 客户端请求的图表。只有当您想要查看包含多个测试的事务图时,才会选择 测试套件 节点。 Test Suite 节点。
查看详细报告图表内容
以下选项显示在详细报告 Graph 选项卡图例中:
- 测试完成率:Tests Completion Rate:选择该选项以在图表中显示随时间推移完成测试的比率。
- 测试开始率:Tests Start Rate:选择该选项以在图表中显示随时间推移开始测试的比率。
- 测试错误率:Test Error Rate:选择该选项以在图表中显示随时间推移测试错误的比率。
- 虚拟用户:Virtual Users:选择该选项以在图表中显示随时间推移虚拟用户的数量。
- 平均执行时间:Avg. Execution Time:选择该选项以显示负载测试的平均执行时间。
- 最大执行时间:Max. Execution Time:选择该选项以显示负载测试的最大执行时间。
- 最小执行时间:Min. Execution Time:选择该选项以显示负载测试的最小执行时间。
- 监视器参数:Monitor Parameters:选择该选项以显示从添加到负载测试树 Monitors 节点的任何 SNMP、Windows 或 JMX 监视器收集的数据。监视器参数的名称基于监视器的“主机”和“图表标题”值。例如,如果您添加一个监视器,并输入 监视器收集的数据。监视器参数的名称基于监视器的“主机”和“图表标题”值。例如,如果您添加一个监视器,Host 中输入 "
ox
” 给 主机, ”,Graph Title 中输入 "SNMP TCP Established
" 给 图表标题,在负载测试过程中,您将在“图表”选项卡中看见一个多选框,它标记为 "ox SNMP TCP Established
"。有关监视器参数的更多详情,请查阅 使用监视器。
...
- 请从右侧 GUI 面板顶部的下拉菜单中进行选择。显示在 Graph 选项卡中的负载测试详情可通过 Machines, Profiles,以及 Tests Tests 来过滤。
若要自定义 Graph 选项卡中的报告参数:
- 请选择来自 X 轴 框的值。图表也会随之改变。若要查看 X 轴 框中的更多选项,请选中 axis 框的值。图表也会随之改变。若要查看 X axis 框中的更多选项,请选中 More X-axis 多选框。
若要将报告的 Y 轴从默认线性比例尺更改为对数比例尺(反之亦然):
...
为了减少图表点的数量,在长时间运行负载测试(12 小时或更长时间)有大量报告的情况下,请单击箭头按钮展开 Reduce Graph Points 框。可使用以下选项:
- 平均并对应于滑块上的增量。:Point average:指定应用于图表的点平均值,并对应滑动条上的增量。
- 缩放限制:Scale Limit:输入要应用于滑动条的缩放限制。最大值为 500。
- 交互:Interactive:选择此复选框可使滑动条具有交互性。如果选中该选项,移动滑动条将同时更改图表。如果未选中该选项,则必须移动滑动条然后单击 应用 Apply 按钮来更改图表。
若要放大图表的特定区域:
- 单击并拖动灰色框,将其放置在您关注的区域周围。
- 右键单击新创建框,然后从快捷菜单中选择 Zoom to selection 。
...
- 右键单击 Graph 选项卡图例中所需栏,并从快捷菜单中选择 Change Color 。 Change Color 快捷菜单中有两个子菜单:
- 仅在报告中:In Report Only:选择此选项以仅为当前详细报告自定义颜色。
- 在报告和配置中:In Report and Configuration:选择此选项以为当前详细报告和随后的所有详细报告自定义颜色。
- 根据对话框需求操作配色方案,然后单击 OK。
...
若要控制柱状图所关注的内容:
- 从柱状图结果面板顶部的 X 轴axis 下拉菜单中选择变量。
- 如果您想使用对数比例尺,请选择 Log Scale 多选框。对数比例尺允许您在同一图形上看到多个条的形状(即使显示的值彼此相距很远)。
- 若要移动柱状图,请选中键盘上的 Shift 同时按住鼠标左键,移动鼠标。
...
若要查看“表格”选项卡中的错误,请完成“图表”选项卡中的以下操作:
- 从 X 轴 框中选择合适的参数值,以及图表底部合适的多选框,以确定图表报告。axis 框中选择合适的参数值,以及图表底部合适的多选框,以确定图表报告。
- 选中键盘上的 Alt 同时按住鼠标左键移动鼠标,将灰色框放置在图表所需时间间隔上。若要取消灰色框的选择,请按 Alt 键,然后鼠标单击灰色框。
- 右键单击灰色框并从快捷菜单中选择 Show Recorded Details 。“表格”选项卡打开并显示在所选定时间间隔内收集的所有记录的详细信息。
如果还未选择时间间隔,“表格”选项卡在您右键单击图表并从快捷菜单中选择 Show Recorded Details 后打开并显示所有可用详情。
The Details 列显示测试的错误字符串(如果测试失败)或者是 [Traffic] 标签(如果测试成功)。双击行以查看测试的错误详情或流量。
“表格”选项卡默认显示前 300 个详细结果。如果有超过 300 个详情(如果选择记录所有详情或选择不只记录前 300 个详情),则下拉菜单将会出现在“表格”选项卡顶部,以及允许您浏览详细信息分组的导航按钮。 - 若要访问有关特定测试结果的详情,请双击相关报告行。
...
- 选择 Show Individual Hits 多选框。
- 从 Y 轴 框中选择合适的参数值。axis 框中选择合适的参数值。
- 选中键盘上的 Alt 同时按住鼠标左键移动鼠标,将灰色框放置在图表所需时间间隔上。若要取消灰色框的选择,请按 Alt 键,然后鼠标单击灰色框。
- 右键单击灰色框并从快捷菜单中选择 Show Individual Hits 。“表格”选项卡打开并显示所选定时间间隔内发生的所有单个单击。
除了选择时间间隔,您还可以通过点击并拖动鼠标将灰色框放置在要关注的点周围,然后右键单击并从快捷菜单中选择 Show Individual Hits ,以在“图表”选项卡中选择几个点。
您还可以双击“图表”选项卡中的一个单点,“表格”选项卡将打开并显示所选单点的信息。
如果记录了点击的详细信息,“Individual Hits”表格的 Details 列将包含测试的错误详情(如果测试失败)或 [Traffic] 标签(如果测试成功)。双击行以查看记录了详细信息的错误详情或测试的流量。
...
- 请右键单击“表格”选项卡的表区域。
- 从快捷菜单中选择 选择列 Select Columns。
- 使用“列配置”对话框中的控件来指定您希望显示的列。
- (可选)如果您希望负载测试工具对项目的所有后序负载测试报告应用相同的配置,请在关闭对话框之前单击 保存配置 (可选)如果您希望 Load Test 工具对项目的所有后序负载测试报告应用相同的配置,请在关闭对话框之前单击 Save Configuration。
Anchor | ||||
---|---|---|---|---|
|
服务质量(QoS)报告显示您在负载测试工具中配置的度量,并显示一个 服务质量(QoS)报告显示您在 Load Test 工具中配置的度量,并显示一个 Summary 选项卡和一个 Details 选项卡。
Summary 选项卡显示度量列(Metric)、说明列(Description)和状态列(Status)。QoS 选项卡显示 Metric、Description 和 Status。QoS 报告中的每一行对应一个 QoS 度量。
Details 选项卡显示为所选定场景配置的可用度量的结果。 Details 选项卡还显示从 Metric 列表中选择的度量的名称、参数和注意事项。
...
有关使用和配置服务质量度量的更多详情,请查阅 Customizing QoS Metrics for Scenarios。
负载测试配置报告
您还可以右键单击负载测试工具选项卡的任何位置,并选择 您还可以右键单击 Load Test 工具选项卡的任何位置,并选择 View Structure Report> HTML/XML。在浏览器中显示负载测试配置报告。该面板包含以下信息:
...
负载测试执行期间,使用浏览器测试工具的 web 功能测试会发送多个请求(可在 SOAtest 负载测试透视图下的测试编辑器中看到该请求)。您可以将这些请求的报告视为负载测试报告中统计信息、详细报告和 QoS 报告部分中浏览器测试报告的子节点。
对于每个浏览器测试和相关请求,负载测试工具都将记录与网络相关的数据。这些数据将在负载测试报告中 对于每个浏览器测试和相关请求, Load Test 工具都将记录与网络相关的数据。这些数据将在负载测试报告中 统计信息 部分的网络客户端报告表格中获得。(有关更多详情,请查阅 Statistics )。
负载测试报告的 统计信息 部分显示如下所示的浏览请求: Statistics 部分显示如下所示的浏览请求:
负载测试报告的 详细报告 部分显示如下所示的浏览请求: Detailed Report 部分显示如下所示的浏览请求:
负载测试报告的 QoS 部分显示如下所示的浏览请求:
保存和重新打开报告
您可以以二进制、HTML、XML、GIF 和 CSV 的格式对单个负载测试进行保存。并非所有报告都可以以所有格式保存。仅二进制格式的报告才可在负载测试工具中重新打开。的格式对单个负载测试进行保存。并非所有报告都可以以所有格式保存。仅二进制格式的报告才可在 Load Test 工具中重新打开。
您还可以保存包含测试信息、柱状图和表格的综合性负载测试报告。这个选项在命令行中也可用。
以下表格描述哪个格式应用到哪个报告,和如何以可用格式保存报告。
报告类型 | 应用于 | 包含 | 说明 |
---|
Binary(.rpt) | 所有报告视图 | 所有报告 |
|
HTML (.htm, .html) | 所有报告视图 | 所有报告 |
|
XML (.xml) | 统计信息报告视图 | 所选报告 |
|
| |||
Image/GIF (.gif) | 详细报告图表和柱状图 | 所选报告 |
|
Comma Separated Values (.csv) | 统计信息报告视图或详细报告错误 | 所选报告 |
|
|
若要打开二进制格式的报告,选择 File> Open,然后使用文件选择器来指定要打开的 .rpt 文件。
保存报告的一部分
若要保存负载测试报告的一部分:
- 打开负载测试报告的 详细报告 视图。 Detailed Report 视图。
- 选择希望保存的间隔。若要选择一个间隔,选中键盘上的 Alt 同时按住鼠标左键移动鼠标,将灰色选择框放置在图表所需时间间隔上。
- 释放 Alt 按钮,图表中右键单击并选择 Save As> Binary> Selected Interval 命令。
- 在文件选择对话框中输入报告文件名称。
...
- 通过完成以下其中一项打开 HTML Report Options 对话框:
- 右键单击任何报告视图的活动区域(如:测试信息、统计信息、详细报告),并从快捷菜单中选择 View Report Configuration 。 HTML Report Options 对话框默认显示三个图表条目。
- 右键单击详细报告视图的“图表”选项卡或“柱状图”选项卡的活动区域,并从快捷菜单中选择 Add to Report 。将显示一个 HTML Report Options 对话框,将当前图表或柱状图视图添加到三个默认的图表条目。
HTML 报告选项对话框中的每个条目都将反射将在 HTML 报告中显示的图表或柱状图视图选项。您可以在对话框中右键单击以添加/或删除图表条目,并从快捷菜单中选择 Add Graph/Remove Graph 。
- 通过为每个条目自定义以下选项来配置图表条目:
- 图表标题:Graph Title:为图表输入一个标题,因为它将显示在 HTML 报告中。
- 视图类型:View Type:选择此选项以在 HTML 报告中显示图表或柱状图。
- 过滤:Filters:从 Machines 和 Profiles 下拉菜单中以及测试树选择项视图中选择所需的选项,从而相应地过滤 HTML 报告图表。
- X 轴:Axis:(仅适用于图表视图类型))选择要显示为图表 X 轴的参数。
- Y 轴:Axis:选择要显示为 Y 轴的参数。您可通过按住键盘上的 Ctrl 按钮时单击鼠标左键。这些参数与在详细报告视图的“图表”选项卡图例中显示的参数相同。
对数比例尺:Log Scale:如果您想使用对数比例尺,请选择 Log Scale 多选框。对数比例尺允许您在同一图形上看到多个条的形状(即使显示的值彼此相距很远)。
保存在项目中:Save in Project:点击该选项将报告保存到当前项目。默认该项目生成的下一个负载测试报告具有保存的 HTML 报告选项。然而,如果报告是单独的报告(从磁盘而非当前项目的一部分加载), 保存在项目中 按钮将不可用。 Save in Project 按钮将不可用。
- View Report:查看报告:点击该选项以在 web 浏览器中查看 HTML 报告。
- 关闭:Close:点击该选项以关闭 HTML 报告选项对话框。
- 点击 查看报告 按钮。HTML View Report 按钮。HTML 报告将在您的 Web 浏览器中打开,并显示自定义的图表视图。
对比负载测试报告
将负载测试以二进制报告保存之后,您可以将这些报告加载到负载测试工具中,并比较和对比各种详细的报告参数。例如,运行并保存负载测试之后,您会发现特定操作的执行时间特别慢。为了提高执行时间,进行必要更改之后,您可以为新的和增强版的服务或应用程序运行负载测试,然后将以前保存的报告和现在的详细报告进行对比,进而查看操作更改是否造成了新的错误。将负载测试以二进制报告保存之后,您可以将这些报告加载到 Load Test 工具中,并比较和对比各种详细的报告参数。例如,运行并保存负载测试之后,您会发现特定操作的执行时间特别慢。为了提高执行时间,进行必要更改之后,您可以为新的和增强版的服务或应用程序运行负载测试,然后将以前保存的报告和现在的详细报告进行对比,进而查看操作更改是否造成了新的错误。
在 Load Tests 选项卡中有一个 Reports 节点,您可以在该节点上添加报告组合.报告组合包含对已保存的负载测试报告的引用。来自这些不同报告的详细报告参数可以在覆盖图中查看,从而可以比较可能发生的任何差异。
加载组合报告
查看比较多个报告之前,您必须先将报告加载到负载测试工具中。若要加载组合报告,完成以下步骤:
查看比较多个报告之前,您必须先将报告加载到 Load Test 工具中。若要加载组合报告,完成以下步骤:
- 右键单击 Load Test 工具选项卡中的 Reports 节点,并从快捷菜单中选择 New Composite 。 报Report Composite 节点显示在 Reports 右键单击负载测试工具选项卡中的 报告 节点,并从快捷菜单中选择 新建组合 。 报告组合 节点显示在 报告 节点下,“报告组合”控件显示在右侧 GUI 面板。
点击右侧 GUI 面板底部的 New 按钮,浏览到显示对话框中已保存的报告文件(.rpt)并将其打开。对应所打开文件的节点以斜体字的形式显示在负载测试树中的 报告组合 节点下。 Report Composite 节点下。
Note title 注意 以斜体字形式显示报告组合条目,强调其是对报告的引用。默认情况下,报告组合没有加载,显示为灰色。报告组合加载后,显示为黑色。 - 重复步骤 2 直到添加了要加载的所有报告组合。
右键单击 报告组合 节点并从快捷菜单中选择 Report Composite 节点并从快捷菜单中选择 Load All 。负载测试工具将加载您添加的每个报告组合。 。 Load Test 工具将加载您添加的每个报告组合。
Note title 注意 您还可以通过选择 报告组合 Report Composite 节点下合适的节点并单击右侧 GUI 面板中的 加载 按钮加载单个报告组合。 Load 按钮加载单个报告组合。 - (可选)您可以访问到每个报告组合的 测试信息和统计信息和 详细报告 视图,访问方式是通过选择负载测试树中所需报告组合节点并选择右侧 GUI 面板中 查看 下拉菜单。 Test Information, Statistics和 Detailed Report 视图,访问方式是通过选择负载测试树中所需报告组合节点并选择右侧 GUI 面板中 Views 下拉菜单。
处理和比较组合报告
加载多个负载测试报告之后,您可以选择负载测试树中“报告”节点下的 报告组合 节点,以配置和比较组合报告。在报告组合控件中以下选项可用 Report Composite 节点,以配置和比较组合报告。在报告组合控件中以下选项可用
- Name:为报告组合文件夹输入名称,该文件夹将包含添加和加载的报告组合。
- Persist as Relative Path:选择该选项以确保您添加的组合报告路径始终相对于项目文件。
- Views:在报告组合控件中以下视图可用。
- Information:包含报告源和标题的表。报告源是到报告的文件路径。默认情况下,报告标题也是到报告的文件路径,但是可以通过双击表行以及更改所打开对话框中的报告标题来进行更改。
- Graph:包含一个覆盖图,该图显示来自您加载的每个组合报告的各种详细报告参数。
若要在 Graph 视图中比较详细报告参数,从 Y-axis 下拉菜单中选择所需参数,然后选择右侧
- 名称:为报告组合文件夹输入名称,该文件夹将包含添加和加载的报告组合。
- 作为相对路径保存:选择该选项以确保您添加的组合报告路径始终相对于项目文件。
- 查看:在报告组合控件中以下视图可用。
- 信息:包含报告源和标题的表。报告源是到报告的文件路径。默认情况下,报告标题也是到报告的文件路径,但是可以通过双击表行以及更改所打开对话框中的报告标题来进行更改。
- 图表:包含一个覆盖图,该图显示来自您加载的每个组合报告的各种详细报告参数。
若要在 图表 视图中比较详细报告参数,从 Y 轴 下拉菜单中选择所需参数,然后选择右侧 GUI 面板底部来自图例的所需组合报告。 现在,您可以图表化地比较多个负载测试报告,以可视化负载测试运行之间的性能变化。
如果要使用对数比例尺,请选择 对数比例尺 多选框。对数比例尺允许您在同一图形上看到多个条的形状(即使显示的值彼此相距很远)。 Log Scale 多选框。对数比例尺允许您在同一图形上看到多个条的形状(即使显示的值彼此相距很远)。
查看活跃的负载测试报告
活动报告允许您访问测试执行期间运行负载测试场景所收集到的所有数据,而不必停止负载测试。
...
- 启动负载测试应用程序的新实例。
- 不允许从运行负载测试场景的负载测试进程访问活动报告。这是因为打开和操作大型报告可能会消耗大量内存和 CPU 资源,这可能会对运行负载测试场景的准确性产生负面影响。
- 启动用来访问活动报告的负载测试进程 必须与运行您希望的可见负载测试场景进程的安装相同。
- 选择 文件> 活动报告 File> Active Report。
您可以使用与标准负载测试报告相同的方式操作并保存活动报告。
若要刷新活动报告数据为最新状态:
- 单击报告视图头文件的 刷新 Refresh 按钮。
CPU 使用注意事项
- 在更新活动报告视图的频率上要谨慎;重新加载大型的报告可能会占用机器大量的 CPU 资源,进而影响到负载测试场景执行的准确性。
- 保证机器运行负载测试所用的平均 CPU 不超过 80%(平均)。
- 如果需要释放负载测试控制器机器上的 CPU 资源,以便在负载测试运行时打开和操作活动报告,请将负载重新分配到远程机器。
...
在系统崩溃或应用程序关闭之后,通常可以使用负载测试报告恢复功能来恢复负载测试数据。若要查看可恢复的报告:
- 选择 文件> 恢复报告 File> Recover Report。恢复报告对话框将显示可恢复负载测试报告的开始日期/开始时间。恢复数据将在创建后 5 天删除。超过 5 天的报告数据将无法恢复。
- 选择一个报告然后单击 OK。
...
报告术语定义
以下是在负载测试报告中使用的一些术语定义:
- 内部调用时间:Inter-Invocation Time:在随后请求之间的“在线”时间。该请求可能来自不同 VUs。
- 服务时间:Server Time:从最后一个字节发送到第一个字节接收的时间。
- 总执行时间(执行时间):Total Execution Time (Execution Time):从第一个字节发送到最后一个字节接收的时间。
- 请求发送时间:Request Send Time:从第一个字节发送到最后一个字节的时间。
- 响应接收时间:Response Receive Time:从第一个字节接收到最后一个字节接收的时间。
- Ping 时间:Time:建立到测试中 SOAP 端点放入 HTTP 连接的时间。这段时间用于判断网络层的延迟。
- 总大小:Total Size:请求和响应的总大小。
下面的图解说明了这些度量如何与实际的测试操作对应。
...
- 将负载测试场景关联到 DTP(任务、需求、漏洞)的项目中。
- 配置负载测试安装(将运行关联测试的一个)以向 DTP 发送报告。
配置向 DTP 发送报告
- 选择 文件> 自定义首选项 以打开首选项面板。 File> Customize Preferences 以打开首选项面板。
- 打开 报告中心 / 项目中心 页面。 Report Center / Project Center 页面。
- 启用 Send results to Report Center and Project Center启用 发送报告到报告中心和项目中心。
- 在 主机名 字段中,输入团队 Host name 字段中,输入团队 DTP 服务器的主机(名称或者 IP 地址)。
- 在 数据收集器端口 字段,输入团队 Data Collector port 字段,输入团队 DTP 数据收集器的端口号(默认为 32323)。
- 在 通用项目 字段,输入这个测试任务关联 General project 字段,输入这个测试任务关联 DTP 项目的名称。
- 单击 测试连接 以验证连接。 Test Connection 以验证连接。
- (可选)根据团队领导的指示添加自定义属性。
将负载测试场景关联到 DTP 构件
若要配置相关性:
- 选择负载测试树的 场景 Scenarios 节点。
- 在右侧配置面板中,打开 需求 跟踪 选项卡。 Requirements Tracking 选项卡。
- 单击 添加 Add 按钮。将添加一个新的条目到表中。
- 在 类型 Type 框中,选择一个需求类型。DTP 将使用此信息将测试套件的测试用例与指定元素类型关联起来。如 Indicating Code and Test Correlations中所述添加自定义标记。默认标记有:
- @pr and @bugzilla: 针对漏洞。
- @Fr: 针对功能请求。
- @Req: 针对需求。
- @task: 针对任务。
- 输入需求的 ID 和 URL 。
- 保存负载测试项目。
故障排除:连接重置错误
审查 Parasoft 负载测试结果时,您可能偶尔会看到“连接重置”错误。 Load Test 结果时,您可能偶尔会看到“连接重置”错误。
基本上,“连接重置”错误通常由超负荷的服务器生成,在这种情况下,它是由 OS TCP 堆栈引起的,并作为 Java 网络异常传播到应用程序层。
更详细地说,“连接重置”不是 Parasoft 负载测试独有的错误信息;它由 Load Test 独有的错误信息;它由 Java 生成,并对应指定的低级事件。当 Java 使用 RST(reset 的缩写)消息终止连接时,它将报告“连接重置”(在本例中,JVM 运行负载测试工具)。如果 运行 Load Test 工具)。如果 JVM 在服务器端遇到任何过早关闭的连接,就会发生这种情况。过早关闭的连接意味着在负载测试还在接收响应时,服务器关闭了连接。进而导致负载测试 JVM 强制发出“重置”,从而终止连接。这不是负载测试工具的功能;相反地,它是 强制发出“重置”,从而终止连接。这不是 Load Test 工具的功能;相反地,它是 JVM 为了遵循 TCP 协议规范而采取的一种行为。
很明显,负载测试工具明显生成了连接设置,因为重置意味着某一端的连接已经关闭(在本例中是服务器端)。如果服务器应用程序发出 RST,负载测试工具将不会接收到任何信息,因为连接已经终止。很明显, Load Test 工具明显生成了连接设置,因为重置意味着某一端的连接已经关闭(在本例中是服务器端)。如果服务器应用程序发出 RST, Load Test 工具将不会接收到任何信息,因为连接已经终止。
我们可能很难理解“连接重置”。最简单的方法是将它视为已经发生的问题的一种症状。换句话说,重置连接并不是问题所在 — 问题在于服务器上过早关闭的连接导致了负载测试工具中的“连接重置”。问题在于服务器上过早关闭的连接导致了 Load Test 工具中的“连接重置”。
来自 java.net.Socket JavaDoc:
“在异常条件下,远程主机或网络软件(例如,TCP 连接情况下的连接重置)可能破坏潜在的连接。”
...