このセクションでは、Load Test が負荷テストを実行した後に生成されるレポートについて説明し、また、それらのレポートを参照、カスタマイズ、保存、再オープンする方法についても説明します。このセクションの内容

詳細レポート オプションの事前設定

詳細レポートを生成するには、負荷テストを実行する前にレポートの設定を行う必要があります。デフォルトでは、Load Test は (テスト プロセスを簡略化するため) 詳細レポート用の情報を収集しません。

詳細レポート オプションを事前設定すると、通常の負荷テスト レポートのほかに、詳細なシナリオ レポートが作成されるようになります。詳細なシナリオ レポートは、シナリオ実行結果の個々の「ヒット」を表示します。このレポートは、仮想ユーザー テストに関して Load Test が生成する最も詳細なレポートです。このレポートは個々のヒットを表示するため、ヒットが集中している場所や、通常の分布から外れたヒットがどれくらいあるかを確認できます。 

プロジェクト内のすべてのシナリオに適用される詳細レポート オプションを事前設定するには、次の操作を行います。

1. 負荷テスト タブで [Scenarios] ノードを選択します。GUI 右側のパネルに [レポート設定] が表示されます。

   注意

   [負荷テスト] タブがアクティブになっていない場合、[プロジェクト] タブの任意の場所を右クリックし、ショートカット メニューの [Create Load Tests] をクリックします。
2. [レポート設定] パネルの [グラフ データおよびエラーの詳細を記録する] チェックボックスをオンにします。負荷テストを実行した後、詳細なシナリオ レポートが表示されます。レポートの詳細については「詳細レポート」を参照してください。
   [グラフ データおよびエラーの詳細を記録する] チェックボックスをオンにすると、以下のオプションを利用できます。
   
   • 先頭記録: このラジオ ボタンを選択し、テキスト フィールドに数値を入力すると、先頭から指定された数までのエラーの詳細が記録されます。[先頭記録] オプションは、多数のエラーが発生した場合に、詳細レポート ファイルのサイズが管理できないほど大きくなるのを防ぐのに役立ちます。デフォルトでは、最初の 300 個のエラーの詳細が記録されます。
   • すべて記録: このラジオ ボタンを選択すると、すべてのエラーの詳細が詳細レポートに記録されます。
   • 個々のヒットを記録: 個々のヒットを記録し、負荷テストの終了後に詳細レポートの一部として棒グラフを作成する場合、このオプションをオンにします。詳細レポート内でグラフィカルな形式および表形式で個々のヒットを表示するかどうかを指定するオプションもあります。

レポートの参照

負荷テストが完了した後、GUI 右側のパネルに負荷テストの結果が表示されます。後でこのウィンドウを開くには、次の操作を行います。 

• [ウィンドウ] メニューのシナリオ名をクリックします。

GUI 右側のパネルに負荷テストの結果が表示され、以下のメニュー オプションが使用できます。

• ビュー: 表示するレポートのタイプを指定します。
  • テスト情報の概要を参照するには、[テスト情報] をクリックします。
  • 詳細なテスト統計を参照するには、[統計] をクリックします。
  • テストに含まれるツールからレポートされたテスト実行メッセージを参照するには、[メッセージ] をクリックします。メッセージ ビューは、ツールがエラー メッセージを生成した場合にだけ表示できます。メッセージ ビューでは、特定のメッセージが複数回レポートされた場合でも、1 つだけが表示されます。エラー メッセージの詳細を参照するには、メッセージ ビューのエントリをダブルクリックします。
  • 詳細レポートを参照するには、[詳細レポート] をクリックします。
• マシン: 結果を表示するマシンを指定します。結果を表示するマシンのインスタンスを選択します。デフォルトは [すべてのマシン] です。
• プロファイル: 結果を表示するプロファイルを指定します。作成済みの任意のプロファイルを選択できます。デフォルトは [すべてのプロファイル] です。
• テスト: テスト ツリー選択パネルを表示/非表示にします。パネルの選択により、表示されるテスト結果が決定されます。リストに表示されたテスト スイートに含まれるテストを任意に組み合わせて選択できます。デフォルトでは、すべてのテスト ツリー ノードが選択されています。
  
  

テスト ツリー選択パネルの操作とオプション

テスト ツリー選択パネルでは、パネルの下にある [選択] ボタンのドロップダウン メニューから [All Tests]、[すべてのテスト スイート]、[すべてのテスト リクエスト] (レポートにリクエストが含まれる場合)、[すべて]、または [なし] テスト ツリー ノードを選択できます。

テスト ツリー選択パネルの各ツリー ノードにも同じドロップダウン メニューがあります。

拡張可能な [オプション] パネルには、テスト ツリー選択パネルのその他のコントロールがあります。[パス上の単一選択] オプション (デフォルト値はオン) は、各ツリー パスで 1 つのツリー ノードしか選択できないようにします。これにより、テスト ツリー選択パネルによって制御されるビューで、意図せずに親ノードと子ノードのデータが蓄積してレポートされるのを防ぎます。 

[選択の伝播] オプション (デフォルト値はオフ) を使用すると、選択値をサブツリーにも適用できます。たとえば、子ノードを持つツリー ノードをオン/オフすると、すべての子ノードもオン/オフされます。 

利用可能なレポート

このセクションでは、以下のレポート タイプについて説明します。

• テスト情報
• 統計
• 詳細レポート
• サービス品質レポート

テスト情報

テスト情報レポートは、基本的なテスト パラメーターおよび結果をテキスト フォーマットで表示します。構成済みのメトリクスに関するサービス品質レポート概要も表示されます。

統計

統計レポートは、実行時間や失敗カウントなど、負荷テストの詳細な統計を表示します。

このレポートには、個々のテストの統計のほかに、テストが所属するテスト スイートの統計 (情報が存在する場合) も表示されます。負荷テスト実行中、個々のテストまたはテスト スイートが完了した後に、テストおよびテスト スイートのレポートが生成されます。後で、これらの個々のレポートを使用して集計値が計算され、統計ビューに表示されます。

統計レポートは階層的レイアウトまたはフラット レイアウトで参照できます。 

• 階層的レイアウトは 、負荷テストの実行に使用された機能プロジェクト (SOAtest プロジェクト) でのテストの順序に従って、ツリーテーブル形式でテスト結果を表示します。階層的レイアウトでレポートの階層を維持するため、ツリーテーブル ノードのソートは、親階層スコープの中で行われます。すべての統計結果をソートする必要がある場合、フラット テーブル レイアウトに切り替えます。
• フラット レイアウトでは、すべてのテスト結果を任意のパラメーター順にソートできます。[Path] 列に各テストのパスが表示されます。また、テーブル ビュー下部の [Report Path] サブパネルに、選択されたテストのパスが表示されます。

次の図は、階層的レイアウトです。

次の図は、フラット レイアウトです。

出力タイプ

統計レポートを表示すると、[出力タイプ] メニューが利用可能になります。[出力タイプ] メニューは、表示する出力レポートのタイプを指定します。このメニューから、それぞれ異なる情報列がある 2 種類のレポートを参照できます。レポートのタイプによる違いは次のとおりです。

• 一般レポート: テスト スイート名、テスト インデックス、テスト名、最小/最大/平均時間 (ミリ秒)、標準偏差 (ミリ秒)、実行回数、失敗数が表示されます。  個々のヒットが収集された 99、98、90、80、70、60、50、25、10 パーセンタイル値も表示されます。
• ネットワーク クライアント レポート: 一般レポートのすべての情報に加えて、最小/最大/平均 Ping (ミリ秒)、最小/最大/平均リクエスト サイズ (バイト)、最小/最大/平均レスポンス サイズ (バイト)、最小/最大/平均合計サイズ (バイト) が表示されます。

高スループット モードで実行されるマシンがある場合、次のレポートを参照できます。

• 未検証モード レポート: 検証モードで実行されたテストの実行/失敗の数、未検証モードで実行されたテストの実行回数および失敗推定区間、実行回数の合計と推定失敗の合計が表示されます。ユーザーは、レポートの推定エラー区間に適用する Confidence Level のパーセント値を選択できます。
• 検証モード汎用レポート: 高スループット モードの一般レポートと同じです。
• 検証モード ネットワーク クライアント レポート高スループット モードの一般レポートと同じです。

統計レポート列のカスタマイズ

一般レポートおよびネットワーク クライアント レポートに表示されている列を削除したり、レポート タイプごとに列を追加したりできます。

レポートの列をカスタマイズするには、次の操作を行います。

1. 統計レポートのテーブル エリアを右クリックします。
2. ショートカット メニューの [列の選択] をクリックします。
3. [列の設定] ダイアログのコントロールを使用して、表示する列を選択します。
4. (任意) 今後実行するすべてのテストのレポートに、同じ構成を適用する場合は、ダイアログを閉じる前に [構成の保存] をクリックします。

統計レポートでテストの失敗を参照する

特定のテストの失敗に関する詳細を参照するには、レポートの該当する行をダブルクリックします。特定のテストが失敗したかどうかは、そのテストを表す行を探し、[テスト失敗] 列の値を参照することでわかります。Load Test は、テストの最後のエラーの詳細を表示します。詳細レポート セクションで、特定のテストのすべてのエラーを参照する方法は、Viewing Detailed Report Table Contentで説明されています。

詳細レポート

詳細レポートには、負荷テスト中に収集されたすべてのデータや、発生したすべてのエラーの詳細が保存されています。このレポートは、負荷テストに関して Load Test が生成する最も詳細なレポートです。このレポートは個々のヒットを表示できるため、ヒットが集中している場所や、通常の分布から外れたヒットがどれくらいあるかを確認できます。すべてのサーバー マシンの結果が 1 つのグラフに表示されます。結果はサーバーごとに色分けされています。

詳細レポートには、以下のタブがあります。

• グラフ: 個々の負荷テストに関するすべてのグラフが表示されます。
• 棒グラフ: 選択された変数 (実行時間、リクエスト サイズ、レスポンス サイズ) の値の分布が表示されます。
• テーブル: 負荷テスト中に発生したエラーまたは個々のヒットが表示されます。

さらに、GUI 右側のパネル上部にあるドロップダウン メニューを使用して、詳細レポートの各タブの結果をフィルターできます。表示される負荷テストの詳細情報が [マシン]、[プロファイル]、および [テスト] でフィルタリングされます。

テスト ツリー フィルターを使用すると、グラフにテスト スイート、テスト、ブラウザー リクエスト (ブラウザー テストの場合) レポートを含めることができます。テスト対象システムへの負荷を評価する際は、この点に注意し、テスト シナリオに合致する適切なレポートのサブセットを選択してください。たとえば、SOAtest の SOAP Client に基づく負荷テストを実行する場合、[Test] ノード (下のスクリーンショットを参照) だけを選択して、テスト対象システムへの SOAP Client のリクエストだけを参照するとよいでしょう。複数のテストを含むトランザクションのグラフを参照するには、[Test Suite] ノードを選択します。

詳細レポートのグラフの内容を参照する

詳細レポートの [グラフ] タブの凡例には、以下のオプションが表示されます。

• Tests Completion Rate: グラフに時間の経過につれたテスト完了率を表示します。
• Tests Start Rate: グラフに時間の経過につれたテスト開始率を表示します。
• Test Error Rate: グラフに時間の経過につれたエラー率を表示します。
• 仮想ユーザー: グラフに時間の経過につれた仮想ユーザー数を表示します。
• 平均実行時間: 負荷テストの平均実行時間を表示します。
• 最大実行時間: 負荷テストの最大実行時間を表示します。
• 最小実行時間: 負荷テストの最小実行時間を表示します。
• モニター パラメーター: 負荷テスト ツリーの [Monitors] ノードに追加した SNMP モニター、Windows モニター、または JMX モニターが収集したデータを表示します。モニター パラメーター名は、モニターのホストおよびグラフ タイトル値に基づいています。たとえば、モニターを追加して [ホスト] に 「ox」と入力し、[グラフ タイトル] に「SNMP TCP Established」と入力した場合、負荷テスト実行中の [グラフ] タブには [ox SNMP TCP Established] というラベルが付いたチェック ボックスが表示されます。モニター パラメーターの詳細については、モニターの使用を参照してください。

詳細レポートのグラフの内容をカスタマイズする

詳細レポートのグラフ タブの内容は、さまざまな方法でカスタマイズできます。表示されるグラフ データをフィルターするには、次の操作を行います。

• GUI 右側のパネル上部にあるドロップダウン メニューから項目を選択します。[グラフ] タブに表示される負荷テストの詳細情報が [マシン]、[プロファイル]、および [テスト] でフィルタリングされます。

[グラフ] タブのレポート パラメーターをカスタマイズするには、次の操作を行います。

• [X 軸]ボックスの値を選択します。選択された値に応じてグラフが変化します。[X 軸 ] ボックスに表示されるオプションを増やすには、[更なる X 軸オプション] チェック ボックスをオンにします。

レポートの Y 軸をデフォルトの線形スケールから対数スケールに変更する (またはその逆) には、次の操作を行います。

• 対数スケールを使用する場合、[ログの拡大縮小] チェック ボックスをオンにします。対数スケールを使用すると、複数の曲線を 1 つのグラフに収めることができます (たとえ表示される値の大きさが大幅に異なっていても)。たとえば、ロード時間合計が 100 ms から 200 ms の間にあり、ユーザー数が 10 から 20 の場合、グラフが線形スケールのときにはユーザー数の値を参照できません (グラフは 0 に近い平らな線になります)。対数スケールを使用すると、ロード時間とユーザー数の両方の値を参照できます。
• 線形スケールを使用する場合、[ログの拡大縮小] チェック ボックスをオフにします。

グラフ領域を指定した色で塗りつぶすには、[グラフ領域を塗りつぶす] チェック ボックスをオンにします。

負荷テスト中に発生した個々のヒットを個別の点として表示するには、次の操作を行います。

• [個々のヒットを表示] チェック ボックスをオンにします。負荷テスト中に発生したすべての個々のヒットがグラフ タブに表示されます。
  ヒットの上にカーソルを位置付けると、ツールチップにヒット統計が表示されます。

  注意

  個々のヒットを表示できるのは、シナリオ設定パネルの [レポート設定] タブで [個々のヒットを記録] オプションがオンに事前設定されている場合だけです。詳細についてはPreselecting Detailed Report Optionsを参照してください。

負荷テストの実行期間が長く (12 時間以上)、レポートのサイズが大きい場合にグラフ ポイントの数を減らすには、矢印ボタンをクリックして [グラフ ポイントを減らす] ボックスを展開します。以下のオプションがあります。

• ポイント平均: グラフに適用され、スライド バーでの増分値に対応するポイント平均を指定します。
• 拡大縮小制限: スライド バーに適用される制限を入力します。最大値は 500 です。
• インタラクティブ: このチェックボックスをオンにすると、スライダー バーがインタラクティブになります。このオプションがオンの場合、スライダー バーを動かすと、同時にグラフが変化します。このオプションがオフの場合、スライダー バーを動かして [適用] ボタンをクリックすると、グラフが変化します。

グラフの特定のエリアを拡大するには、次の操作を行います。

1. 灰色のボックスをクリックし、フォーカスするエリアにドラッグします。
2. 新しく作成されるボックスを右クリックし、ショートカット メニューの [選択範囲の拡大] をクリックします。

グラフを拡大/縮小するには、次の操作を行います。

• マウスの左ボタンおよび [Ctrl] キーをを押しながらマウスを動かします。
• マウス ホイールを動かしてビューを拡大/縮小します。

グラフを移動するには、次の操作を行います。

• マウスの左ボタンおよび [Shift] キーを押しながらマウスを動かします。

グラフを元のサイズ/位置に戻すには、次の操作を行います。

• グラフの任意のエリアを右クリックし、ショートカット メニューの [元のサイズ] をクリックします。

個々のヒットを CSV 形式でエクスポートするには、次の操作を行います。

1. 表示される個々のヒットをフィルターするには、[マシン]、[プロファイル]、および [テスト] メニューから適切なアイテムを選択します。

2. [個々のヒットを表示] チェック ボックスをオンにします。負荷テスト中に発生したすべての個々のヒットがグラフ タブに表示されます。

   注意

   個々のヒットを表示できるのは、シナリオ設定パネルの [レポート設定] タブで [個々のヒットを記録] オプションがオンに事前設定されている場合だけです。詳細についてはPreselecting Detailed Report Optionsを参照してください。
3. 次のどちらかの操作を行います。
   • グラフの任意のエリアを右クリックし、ショートカット メニューの [個々のヒットをエクスポート] をクリックします。この操作を行うと、負荷テスト中に発生したすべての個々のヒットがエクスポートされます。
   • 期間を指定するため、マウスの左ボタンおよび、[Alt] キーをを押しながらマウスを動かして灰色のボックスをグラフの時間の上に置き、灰色のボックスを右クリックしてショートカット メニューの [個々のヒットをエクスポート] をクリックします。この操作を行うと、指定された期間に発生したすべての個々のヒットがエクスポートされます。
   • マウスをクリックしてグラフの任意のエリアにドラッグし、灰色の四角形を作成して (x, y) 領域を指定してから、ショートカット メニューの [個々のヒットをエクスポート ] をクリックします。この操作を行うと、指定された (x, y) 領域で発生したすべての個々のヒットがエクスポートされます。
4. ダイアログが開いたら、CSV ファイルを保存する場所を指定します。

グラフ ポイントを CSV 形式でエクスポートおよび保存するには、次の操作を行います。

1. 表示される個々のヒットをフィルターするには、[マシン]、[プロファイル]、および [テスト] メニューから適切なアイテムを選択します。
2. 次のどちらかの操作を行います。
   • グラフの任意のエリアを右クリックし、ショートカット メニューの [グラフ ポイントのエクスポート] をクリックします。この操作を行うと、負荷テスト中に発生したすべてのグラフ ポイントがエクスポートされます。
   • 期間を指定するため、マウスの左ボタンおよび [Alt] キーを押しながらマウスを動かして灰色のボックスをグラフの時間の上に置き、灰色のボックスを右クリックしてショートカット メニューの [グラフ ポイントのエクスポート] をクリックします。この操作を行うと、指定された期間に発生したすべての個々のヒットがエクスポートされます。

3. ダイアログが開いたら、CSV ファイルを保存する場所を指定します。

   注意

   [グラフ ポイントのエクスポート] オプションが利用できるのは、シナリオ設定パネルの [レポート設定] タブで [個々のヒットを記録] オプションがオンに事前設定されている場合だけです。詳細についてはPreselecting Detailed Report Optionsを参照してください。

詳細レポートのグラフの色をカスタマイズする

1. [グラフ] タブの凡例で任意の棒を選択し、ショートカット メニューの [色の変更] をクリックします。[色の変更] ショートカット メニューには、2 つのサブメニューがあります。
   • レポート内のみ: 現在の詳細レポートでだけ色をカスタマイズします。
   • レポートおよび構成内: 現在の詳細レポートおよび、以降のすべての詳細レポートで色をカスタマイズします。
   [色の選択] ダイアログ ボックスが開きます。
   
   
   
   
2. ダイアログ ボックスで配色を変更し、[OK] をクリックします。

詳細レポートの棒グラフの参照

棒グラフは、選択された変数 (実行時間、リクエスト サイズ、レスポンス サイズ) に関して取得された値の分布をグラフ化します。

棒グラフのフォーカス コンテンツをコントロールするには、次の操作を行います。

• 棒グラフ結果パネル上部の [X 軸] ドロップダウン メニューから変数を選択します。
• 対数スケールを使用する場合、[ログの拡大縮小] チェック ボックスをオンにします。対数スケールを使用すると、複数の棒を 1 つのグラフに収めることができます (たとえ表示される値の大きさが大幅に異なっていても)。
• 棒グラフを移動するには、マウスの左ボタンおよび [Shift] キーを押しながらマウスを動かします。

詳細レポートのテーブルの内容を参照する

詳細レポートのテーブル タブにエラーや個々のヒットを表示するには、まず、以下のいずれかの操作を行って、グラフ タブの期間を選択する必要があります。

テーブル タブにエラーを表示するには、グラフ タブで次の操作を行います。

1. [X 軸] ボックスから適切なパラメーターを選択し、グラフ下部の適切なチェック ボックスをオンにして、グラフ レポートを指定します。
2. マウスの左ボタンおよび [Alt] キーを押しながらマウスを動かし、灰色のボックスをグラフの任意の期間の上に置きます。灰色のボックスの選択を解除するには、[Alt] キーを押しながら灰色のボックスの上でクリックします。
   
   
   
   
3. 灰色のボックスを右クリックし、ショートカット メニューの [記録された詳細を表示] をクリックします。テーブル タブが開き、選択期間に収集および記録されたすべての詳細が表示されます。
   期間を選択しなかった場合、グラフを右クリックしてショートカットメニューの [記録された詳細を表示] をクリックすると、テーブルタブが開いてすべての詳細が表示されます。
   
   
   
   [詳細] 列には、テストのエラー メッセージ (テストが失敗した場合) または [トラフィック] タグ (テストが成功した場合) が表示されます。行をダブルクリックして、詳細が記録されたテストのエラーの詳細またはトラフィックを表示します。
   デフォルトでは、テーブル タブには、300 件の詳細結果が表示されます。300 件以上の詳細がある場合 (詳細の記録を選択したか、300 件以上のレコードを記録するよう指定した場合)、テーブル タブ上部にドロップダウン メニューとナビゲーション ボタンが表示され、グループ化された詳細の内部を移動して参照することができます。
4. 特定のテスト結果に関する詳細を参照するには、レポートの該当する行をダブルクリックします。

テーブル タブに個々のヒットを表示するには、グラフ タブで次の操作を行います。

1. [個々のヒットを表示] チェック ボックスをオンにします。
2. [Y 軸] ボックスから適切なパラメーターを選択します。
3. マウスの左ボタンおよび [Alt] キーを押しながらマウスを動かし、灰色のボックスをグラフの任意の期間の上に置きます。灰色のボックスの選択を解除するには、[Alt] キーを押しながら灰色のボックスの上でクリックします。
   
   
   
   
4. 灰色のボックスを右クリックし、ショートカット メニューの [個々のヒットを表示] をクリックします。テーブル タブが開き、選択期間に発生したすべての個々のヒットが表示されます。
   
   
   
   期間を選択する代わりに、マウスをクリックしながらドラッグして、灰色のボックスを [グラフ] タブのフォーカスしたいポイントの上に配置し、ポイントを選択できます。その後、ボックスを右クリックしてショートカット メニューの [個々のヒットを表示] をクリックします。
   [グラフ] タブの単一のポイントをダブルクリックすると、[テーブル] タブが開き、選択した単一のヒットの情報が表示されます。
   ヒットの詳細情報が記録されている場合、個々のヒットテーブルの [詳細] 列にテストのエラーの詳細 (テストが失敗した場合) または [トラフィック] タグ (テストが成功した場合) が表示されます。行をダブルクリックして、詳細が記録されたテストのエラーの詳細またはトラフィックを表示します。
   
   

仮想ユーザーのヒットの参照

ある仮想ユーザーのすべてのヒットを参照するには、個々のヒット テーブルの行を右クリックし、ショートカット メニューの [この仮想ユーザーのすべてのヒットを表示] をクリックします。

すると、選択された仮想ユーザーのすべてのヒットが表示されたテーブルが開きます。 

個々のヒット テーブルに戻るには、[前のテーブルを表示 <<] ボタンをクリックします。

レポート列のカスタマイズ

テーブル タブ ビューの表示列をカスタマイズするには、次の操作を行います。

1. テーブル タブのテーブル エリアを右クリックします。
2. ショートカット メニューの [列の選択] をクリックします。
3. [列の設定] ダイアログのコントロールを使用して、表示する列を選択します。
4. (任意) 今後実行するすべてのテストのレポートに、同じ構成を適用する場合は、ダイアログを閉じる前に [構成の保存] をクリックします。

サービス品質レポート

サービス品質 (QoS) レポートは、構成済みのメトリクスを表示します。[概要] タブと [詳細] があります。

[概要] タブには、[メトリクス]、[説明]、[ステータス] 列があります。QoS レポートの各行は、1 つの QoS メトリクスに対応します。

[詳細] タブには、選択されたシナリオに対して設定済みの利用可能なメトリクスの結果が表示されます。[詳細] タブには、メトリクス リストで選択したメトリクスの名前、パラメーター、注釈も表示されます。

レポートのメトリクスをさらにカスタマイズするには、[メトリック リスト] でメトリクスパラメーターを設定し、[レポートに適用] ボタンをクリックします。[メトリック リスト] から複数のメトリクスを選択し (Ctrl キーを押しながらクリック)、[レポートに適用] ボタンをクリックすることもできます。この操作を行うと、QoS レポートおよびテスト情報ビューに表示された結果が更新されますが、シナリオ ビューの QoS ノードには反映されません。

品質サービス メトリクスの使用と設定の詳細については、「シナリオの QoS メトリクスのカスタマイズ」を参照してください。

負荷テスト構成レポート

Load Test タブの任意の場所で右クリックし、[構成レポートの表示] > [HTML/XML] をクリックします。ブラウザーに Load Test 構成レポートが表示されます。このレポートには以下の情報が表示されます。

• Load Test シナリオ: 選択されたプロジェクトで作成され、実行されたすべての負荷テストシナリオが表示されます。レポート内の QoS メトリクス名をクリックすると、シナリオ、グループ、メトリクスの説明などの詳細情報が表示されます。

Web (ブラウザー) テスト固有のレポート

負荷テスト実行中に、Browser Testing ツールを含む Web 機能テストが複数のリクエスト (SOAtest の Load Test パースペクティブにあるテストのエディターに表示されるリクエスト) を送信する場合があります。負荷テスト レポートの統計、詳細レポート、および QoS レポートセクションに表示されるブラウザー テスト レポートの子ノードとして、それらのリクエストのレポートを参照できます。

各ブラウザー テストおよび関連付けられたリクエストについて、Load Test はネットワーク関連の統計を記録します。それらの統計は、負荷テスト レポートの [統計] セクションにあるネットワーク クライアント レポートに表示されます (詳細についてはStatisticsを参照)。

負荷テスト レポートの [統計] セクションには、次のようにブラウザー リクエストが表示されます。

負荷テスト レポートの [詳細レポート] セクションには、次のようにブラウザー リクエストが表示されます。

負荷テスト レポートの [QoS] セクションには、次のようにブラウザー リクエストが表示されます。

レポートの保存と再オープン

個々の負荷テスト レポートをバイナリ、HTML、XML、GIF、および CSV 形式で保存できます。すべてのレポートが、すべての形式で保存できるわけではありません。Load Test で再オープンできるのは、バイナリ形式だけです。

テスト情報、棒グラフ、テーブルを含む包括的な負荷テスト レポートを保存することもできます。このオプションは、コマンド ラインでだけ利用できます。

次の表は、各レポートに適用される形式と、その形式でレポートを保存する方法の説明です。

バイナリ形式のレポートを開くには、[ファイル] メニューの [開く] をクリックし、ファイル選択ダイアログで、.rpt ファイルを指定します。 

レポートの一部の保存

負荷テストレポートの一部を保存するには、次の操作を行います。

1. 負荷テスト レポートの [詳細レポート] ビューを開きます。
2. 保存する期間を選択します。期間を選択するには、マウスの左ボタンおよび Alt キーを押しながらマウスを動かし、灰色の選択ボックスをグラフの任意の期間の上に置きます。
3. Alt キーを放し、グラフを右クリックして [名前を付けて保存] > [バイナリ] > [選択された間隔] コマンドを選択します。
   
   
   
   
4. ファイル選択ダイアログでレポート ファイル名を入力します。

選択された期間に基づいて、その期間の統計データおよび QoS メトリクスが再計算されます。

HTML レポート オプションの構成

負荷テスト レポートを HTML 形式で保存するだけでなく、選択したさまざまなパラメーターによって、HTML レポートに含まれるグラフ ビューをカスタマイズできます。

HTML レポートに表示されるグラフ ビューを構成するには、次の操作を行います。

1. 以下のどちらかの操作を行って、[HTML レポート オプション] ダイアログを開きます。
   • 任意のレポート ビュー (テスト情報、統計、詳細レポート) のアクティブなエリアを右クリックし、ショートカット メニューの [レポート構成の表示] をクリックします。[HTML レポート オプション] ダイアログが開き、デフォルトで 3 つのグラフのエントリが表示されます。
   • 詳細レポート ビューのグラフ タブまたは棒グラフ タブのアクティブなエリアを右クリックし、ショートカット メニューの [レポートに追加] をクリックします。[HTML レポート オプション] ダイアログが開き、3 つのデフォルト グラフのエントリに、現在のグラフまたは棒グラフビューのオプションが追加された状態で表示されます。
     
     
     
     [HTML レポート オプション] ダイアログの各エントリは、HTML レポートに表示されるグラフまたは棒グラフ ビューのオプションを反映しています。ダイアログを右クリックし、ショートカット メニューの [グラフの追加]/[グラフの削除] をクリックして、グラフ エントリの追加/削除を行うことができます。
2. エントリごとに、以下のオプションをカスタマイズしてグラフ エントリを構成します。
   
   • グラフ タイトル: HTML レポートに表示されるグラフのタイトルを入力します。
   • ビュー タイプ: HTML レポートにグラフを表示するか、棒グラフを表示するかを指定します。
   • フィルター: [マシン] および [プロファイル] ドロップダウン メニューおよびテスト ツリー選択ビューで任意のオプションを選択し、HTML レポートのグラフをフィルターします。
   • X 軸: (グラフ ビュー タイプの場合にだけ利用可能) グラフの X 軸として表示するパラメーターを選択します。
   • Y 軸: グラフの Y 軸として表示するパラメーターを選択します。複数のパラメーターを選択するには、[Ctrl] キーを押しながらマウスの左ボタンをクリックします。これらのパラメーターは、詳細レポート ビューのグラフ タブの凡例に表示されるパラメーターと同じです。

   • ログの拡大縮小: 対数スケールを使用する場合、[ログの拡大縮小] チェック ボックスをオンにします。対数スケールを使用すると、複数の棒を 1 つのグラフに収めることができます (たとえ表示される値の大きさが大幅に異なっていても)。

   • プロジェクトに保存: レポートを現在のプロジェクトに保存する場合にオンにします。プロジェクトで次に生成される負荷テスト レポートは、デフォルトで HTML レポートとして保存されます。しかし、レポートがスタンドアロン レポート (現在のプロジェクトの一部ではなく、ディスクからロードされたレポート) の場合、[プロジェクトに保存] ボタンは利用できません。

   • レポートの表示: Web ブラウザーで HTML レポートを表示する場合にオンにします。
   • 閉じる: [HTML レポート オプション] ダイアログを閉じます。
3. [レポートの表示] ボタンをクリックします。Web ブラウザーで HTML レポートが開かれ、カスタマイズされたグラフ ビューが表示されます。

負荷テスト レポートの比較

負荷テストをバイナリ レポートとして保存した後、レポートを Load Test にロードして、詳細レポート パラメーターと比較対照を行うことができます。たとえば、負荷テストを実行して保存した後、実行時間または特定のオペレーションが遅いことに気付いたとします。実行時間の改善に必要な変更を行った後、改修後の新しいサービス/アプリケーションに対して負荷テストを実行し、詳細レポートを以前に保存されたレポートと比較して、オペレーションの変更が新しいエラーの原因になっていないかを確認できます。

[負荷テスト] タブには [レポート] ノードがあり、ここでコンポジットのレポートを追加できます。コンポジットのレポートには、保存された Load Test レポートへの参照が含まれます。これら複数のレポートの詳細レポート パラメーターを、重ね合わせられたグラフで参照し、発生した差異を比較できます。

コンポジット レポートのロード

複数のレポートを参照して比較するには、まず、Load Test にレポートをロードする必要があります。コンポジット レポートをロードするには、次の操作を行います。

1. 負荷テスト タブで [レポート] ノードを右クリックし、ショートカット メニューの [新規コンポジット] をクリックします。[レポート] ノードの下に [コンポジットのレポート] ノードが表示され、GUI 右側のパネルにコンポジットのレポート コントロールが表示されます。

2. GUI 右側のパネル上部にある [新規] ボタンをクリックし、ダイアログが開いたら、保存済みのレポートを参照して開きます。負荷テスト ツリーの [コンポジットのレポート] ノードの下に、開いたファイルに対応するノードが斜体で表示されます。
   
   

   注意

   コンポジットのレポート エントリは、レポートへの参照であることを明確に表すため、斜体で表示されます。デフォルトでは、プロジェクトを再び開いたとき、または新しい参照を作成したとき、コンポジットのレポートはロードされず、灰色で表示されます。コンポジットのレポートをロードすると、黒で表示されます。
3. ステップ 2 を繰り返し、ロードするコンポジットのレポートをすべて追加します。

4. [コンポジットのレポート] ノードを右クリックし、ショートカット メニューの [すべてロード] をクリックします。Load Test は、追加されたコンポジットのレポートをすべてロードします。

   注意

   個々のコンポジットのレポートをロードするには、[コンポジットのレポート] ノードの下の該当ノードを選択し、GUI 右側のパネルにある [ロード] ボタンをクリックします。
5. (任意) 個々のコンポジットのレポートの [テスト情報]、[統計]、[詳細レポート] ビューを参照するには、負荷テスト ツリーで該当のコンポジットのレポート ノードを選択し、GUI 右側のパネルにある [ビュー] ドロップダウン メニューからビューを選択します。
   
   

コンポジット レポートの操作と比較

複数の負荷テスト レポートをロードした後、負荷テスト ツリーのレポート ノードの下にある [コンポジットのレポート] ノードを選択し、コンポジット レポートの構成と比較を行うことができます。コンポジットのレポート コントロールには、以下のオプションがあります。

• Name: 追加およびロードするコンポジットのレポートを含むフォルダーの名前を指定します。
• 相対パスで保存: 追加するコンポジット レポートのパスが常にプロジェクト ファイルへの相対パスであることを保証します。
• ビュー: コンポジットのレポート コントロールには、以下のビューがあります。
  • 情報: レポート ソースおよびフィルターのテーブルがあります。レポート ソースとは、レポートへのファイル パスです。デフォルトでは、レポート タイトルがレポートへのファイル パスとなりますが、変更するには、テーブル行をダブルクリックし、ダイアログが開いたら、レポート タイトルを変更します。
  • グラフ: 読み込んだ各コンポジット レポートのさまざまな詳細レポート パラメーターを表示するオーバーレイ グラフがあります。
    グラフ ビュー内で詳細レポート パラメーターを比較するには、[Y 軸] ドロップダウン メニューから目的のパラメーターを選択し、右側の GUI パネルの下部にある凡例から目的のコンポジット レポートを選択します。  これで、複数の負荷テスト レポートをグラフ上で比較し、複数の負荷テスト実行のパフォーマンスを視覚化できるようになります。
    
    
    
    対数スケールを使用する場合、[ログの拡大縮小] チェックボックスをオンにします。対数スケールを使用すると、複数の棒を 1 つのグラフに収めることができます (たとえ表示される値の大きさが大幅に異なっていても)。

アクティブな負荷テスト レポートの参照 

アクティブ レポートでは、負荷テスト実行中でも、テストを停止せずに、実行中の負荷テスト シナリオから収集されたすべてのデータを参照できます。

アクティブ レポートには、レポートを開いた時点までに収集された負荷テスト データが表示されています。アクティブ レポートには、統計データ、個々のヒットのデータ、トラフィック、エラーの詳細など、標準の負荷テスト レポートに表示されるすべてのデータが含まれています。負荷テスト シナリオが実行されている間、任意の時点でアクティブ レポートをリフレッシュできます。

アクティブ レポートは、負荷テスト進捗ビューには表示されない負荷テストの詳細を参照する必要がある場合にだけ使用するべきです。たとえば、負荷テスト実行中にエラーの詳細を参照したい場合などです。

アクティブ レポートを参照するには、次の操作を行います。

1. Load Test アプリケーションの新しいインスタンスを起動します。
   • 負荷テスト シナリオを実行中の Load Test プロセスからアクティブ レポートを参照することはできません。これは、複数の大きなレポートを開くと、メモリや CPU リソースを大幅に消費し、実行中の負荷テスト シナリオの正確さに悪影響を与える可能性があるからです。
   • アクティブ レポートを参照するための Load Test プロセスは、負荷テストシナリオを実行しているプロセスと同じインストールから起動する必要があります。
2. [ファイル] > [アクティブ レポート] をクリックします。

標準の負荷テスト レポートを保存するのと同じ方法で、アクティブ レポートを操作できます。

アクティブ レポートをリフレッシュし、最新のデータを表示するには、次の操作を行います。

• レポート ビュー ヘッダーの [リフレッシュ] ボタンをクリックします。
  
  

CPU 使用率の注意点

• アクティブ レポート ビューを更新する頻度に注意してください。大きなレポートをロードすると、マシンの CPU リソースを大幅に消費し、実行中の負荷テスト シナリオの正確さに悪影響を与える可能性があります。 
• 負荷テストを実行しているマシンの平均 CPU 使用率が (平均で) 80 % を超えないようにしてください。
• 負荷テスト実行中にアクティブ レポートを開いたり操作するために、負荷テスト コントローラー マシンの CPU リソースを空ける必要がある場合は、リモート マシンに負荷を分散します。

コマンド ライン モードで実行中の負荷テストのアクティブ レポートを参照する

アクティブ レポートは、コマンド ライン モードで実行されている負荷テストの進捗を定期的に確認するのにも使用できます。この機能は、長期間実行される負荷テストのフィードバックを取得するのに特に便利です。 

コマンド ライン モードでテストを実行している場合、GUI モードでの実行と同じ方法でアクティブ レポートを参照できます。

負荷テスト レポートの復元

テスト レポートの復元機能は、たとえば、システム クラッシュやアプリケーションのシャットダウンの後に負荷テスト データを復元するために使用できます。復元可能なレポートを参照するには、次の操作を行います。

1. [ファイル] > [レポートの回復] をクリックします。[レポートの回復] ダイアログに、復元可能な負荷テスト レポートの開始日/時間が表示されます。復元データは、作成の 5 日後に削除されます。5 日より古いレポート データは復元できません。
   
   
   
   
2. レポートを選択して [OK] をクリックします。

負荷テスト レポートが復元されたら、任意の形式で保存できます。 

レポートの用語定義

以下は、負荷テスト レポート使用される用語の定義です。

• 呼び出し間隔: リクエストの送信される間隔です。リクエストは、他の仮想ユーザーから送信される場合があります。
• サーバー時間: 最終バイトが送信されてから、先頭バイトが受信されるまでの時間です。
• 総実行時間 (実行時間): 先頭バイトが送信されてから、最終バイトが受信されるまでの時間です。
• リクエスト送信時間: 先頭バイトが送信されてから、最終バイトが送信されるまでの時間です。
• レスポンス受信時間: 先頭バイトが受信されてから、最終バイトが受信されるまでの時間です。
• Ping 時間: テスト対象 SOAP エンドポイントへの HTTP 接続を確立するのにかかる時間です。Ping 時間は、ネットワーク層の遅延を推定するために使用されます。
• 合計サイズ: リクエストとレスポンスの合計サイズです。

以下の図は、これらのメトリクスと実際のテスト アクションの対応を表しています。

最初の 2 つの図は、リクエスト送信時間を表しています。

メッセージはサーバーへ、またサーバーから伝送中です (アプリケーションの「思考時間」が含まれます)。

次の 2 つの図は、レスポンス受信時間を表しています。

最後の図は、上記のオペレーションの合計が実行時間となることを表しています。

トラブルシューティング: 接続リセット エラー

Parasoft Load Test の結果を確認しているとき、「接続リセット」エラーがレポートされているのを発見するケースがあります。 

基本的に、「接続リセット」エラーは、過負荷のサーバーによって生成されることが多く、その場合、OS TCP スタックで起きたエラーが、アプリケーション層まで伝播して Java ネットワーク例外としてレポートされたものです。

より詳しく説明すると、「接続リセット」は Parasoft Load Test 固有のエラー メッセージではありません。Java によって生成されたエラーであり、特定の低レベル イベントに対応します。接続リセットは、Java (Load Test を実行する JVM) が RST (reset の略) メッセージを使用して接続を異常終了する際にレポートされます。これは、接続がサーバー側で本来よりも早くクローズされた状況を JVM が検知したときに発生します。接続が本来よりも早くクローズされるというのは、Load Test がまだレスポンスを受信しているうちに、サーバーが接続をクローズするということであり、そのために Load Test JVM が強制的に「リセット」を発行して接続を異常終了することになります。これは Load Test の機能ではなく、JVM が TCP プロトコルの仕様に準拠するために行う動作です。

リセットは、どちらかの側 (このケースではサーバー側) で既に接続がクローズされていることを表すため、Load Test によって接続リセットが生成されているのは明らかです。もし、サーバー アプリケーションが RST を発行したのであれば、接続は既にクローズされているため、Load Test は何も情報を受信しなかったでしょう。

接続リセットは理解するのが難しいエラーです。既に起きた問題を表す症状だと考えると、理解が簡単になるでしょう。言い換えれば、接続リセットそのものが問題なのではありません － 問題は、サーバー側で接続が本来よりも早くクローズされたことであり、そのために Load Test で接続リセットが発生したのです。

java.net.Socket JavaDoc:

「異常な状態では、リモート ホストまたはネットワーク ソフトウェアによって基底となる接続が破壊される場合があります (たとえば TCP 接続の接続リセットなど)。」

接続リセット エラーの詳細については、 http://download.oracle.com/javase/6/docs/technotes/guides/net/articles/connection_release.htmlを参照してください。