Load Test では、さまざまな方法で負荷テストをカスタマイズできます。このセクションでは、負荷テストのカスタマイズ方法および利用可能なカスタマイズ オプションについて説明します。この章の内容:
使用するシナリオをカスタマイズすると、特定のテストの実行方法をカスタマイズできます。シナリオを使用して、以下のパラメーターをカスタマイズできます。
既存のシナリオをカスタマイズしたり、新規シナリオを作成するには、次の操作を行います。
[名前] フィールドに新しい名前を入力します。
シナリオ タイプは、シナリオ設定のいくつかの側面を決定します。テスト スイート プロファイルごとに仮想ユーザー数またはヒット (秒) を指定できます。また、テストスイート プロファイルの配分を全体的な割合として指定し、指定された率に従ってランダムにテスト スイート プロファイルを割り当てることもできます。
[シナリオ タイプ] ドロップダウンから次のいずれかを選択します。
[期間] フィールドに新しい値を入力します。次の持続時間が適用されます。
制御パラメーターは、テストを仮想ユーザー数で制御するか、ヒット (秒) [ヒット率] で制御するかを指定します。
[制御パラメーター] ドロップダウンから次のいずれかを選択します。
ランダム化設定は、制御パラメーターのランダム化を指定します。
制御パラメーターに [ユーザー数] が指定されている場合、次の分布に従って仮想ユーザーの思考時間がランダム化されます。
制御パラメーターに [ ヒット (秒)] が指定されている場合、次の分布に従って仮想ユーザーの思考時間がランダム化されます。
テスト実行中にシミュレートされる最大ユーザー数を指定するには、[ユーザー] タブの [縦軸] ボックスから値を選択します。1 つのシナリオで指定できる最大のユーザー数は、ライセンスによって決定されます。ライセンスの詳細を参照するには、[ヘルプ] メニューで [バージョン情報] をクリックします。
制御パラメーターにユーザー数が指定されている場合、テストの負荷は、選択されたシナリオのすべてのマシンでのユーザー数およびヒット数の合計になります。
制御パラメーターに ヒット数が指定されている場合、テストの負荷は、特定のテストに指定したヒット (秒) およびテストを実行するマシンの合計数によって決まります。プロファイルの遅延オプションは利用できなくなり、既存の遅延設定はすべて無視されます。ライセンスされているヒット (秒) 数を確認するには、ライセンスされている仮想ユーザー数を 10 で割ります。たとえば、100 仮想ユーザーがライセンスされている場合、10 ヒット (秒) でテストを実行できます。
グラフは、時系列での仮想ユーザー数またはヒット数に関するLoad Test の設定を視覚的に表したものです。グラフを設定するためのインターフェイスは、プロファイルをダイレクトに設定するか、加重プロファイルを設定するかで異なります。
[マシン独立] オプションを指定すると、同じ設定がすべてのマシンに適用されます (デフォルトの設定)。このオプションは、複数のマシンがある場合にだけ利用できます。グラフには「All Machines」というラベルが付いた線が表示されます。このオプションを使用すると、すべてのマシンの線の位置と形を一度に変更することができます。このオプションをオフにすると、個々のテスト マシンに異なる設定を適用できます。マシンを個々に有効にすることもできます。
ダイレクトにプロファイルを設定し ([シナリオ タイプ] に [ダイレクト プロファイル] を指定する)、複数のテスト スイート プロファイルが利用可能な場合、[すべて] オプションをオンにしてすべてのプロファイルを表示するか、個々のプロファイルを有効にできます。
グラフの縮尺について詳しくは、「Vertical Scale」を参照してください。
グラフのポイントを変更することでグラフの形を変更できます。
グラフ上でポイントをクリックし、ドラッグすることもできます。
仮想ユーザー数またはヒット率を一定に維持するには、線が平らであることを確認してから、線を上下にドラッグし、テスト期間全体で期待されるユーザー数またはヒット率の位置まで移動します。
線を右クリックし、ショートカット メニューの [ポイントの追加] をクリックすると、新しいノードが作成されます。
ポイントをクリックしてドラッグするか、右クリックして [ポイントの編集] を選択し、仮想ユーザー数またはヒット数 (秒) を指定します。特定のポイントがない時点については、ポイント間を斜線でつなぐことにより、仮想ユーザー数またはヒット (秒) の値が自動的に決定されます。
既にあるポイントの数を自動的に 2 倍にするには、[ポイントを増やす] をクリックします。
既存のポイントの間に新しいポイントが均等に追加されます。1 つのポイントを削除するには、ポイントを右クリックして [ポイントの削除] をクリックします。変曲点ではないポイントを削除するには、[ポイントを減らす] をクリックします。
グラフをプリセット済みの形に設定することもできます。
Load Test がテスト期間の任意の時点で特定のプロファイルを選択する確率を指定できます。プロファイルに割り当てられた率が高いほど、選択されやすくなります。プロファイルの重み付けは、複数のテスト スイート プロファイルがある場合にだけ適用されます。
| 任意のシナリオ グラフ (構成グラフおよびテスト進捗グラフ) を GIF で保存できます。それには、保存するグラフを右クリックし、ショートカット メニューの [イメージの保存] をクリックします。 |
Load Test のサービス品質 (QoS) 解析機能を使用すると、負荷テストの結果に QoS メトリクスを適用し、サービス/アプリケーションのパフォーマンスを評価できます。Load Test は、メトリクスに基づいてパフォーマンスを評価し、負荷テストの成功/失敗を判定します。QoS 解析は、サービス/アプリケーションがデプロイメント準備完了とみなされるために、特定のパフォーマンス要求を満たす必要がある場合、特に重要です。
QoS メトリクスを使用すると、負荷テストに関する回帰テストのセットを定義できます。すべてのメトリクスが正常の場合、負荷テストは成功とみなされます。失敗したメトリクスがあった場合、サービス/アプリケーションのパフォーマンスにレグレッションがあったことを表します。
QoS 機能は、負荷テスト ツリーから利用できます。各シナリオ ノード (Bell、Buffer Test、Linear Increase、Steady Load) の下に、対応する QoS ノードがあります。QoS ノードを選択すると、GUI 右側のパネルに [概要] タブおよび [詳細] タブが表示されます。
[概要] タブには、[詳細] タブで設定された QoS メトリクスのグローバル ビューが表示されます。[概要] タブには、メトリクスと説明の一覧があります。[概要] タブの [メトリクス] リストには、5 つのデフォルト メトリクスがあります。
上記のメトリクスは、タイプに従って分類されています (統計、カウント、スループット、損失)。追加されたメトリクスがある場合、それも概要タブに表示されます。
[説明] リストには、メトリクスに対して指定されたパラメーターに基づき、自動的に生成されたメトリクスの説明が表示されます。
[詳細] タブには、選択されたシナリオに対して設定済みの利用可能なメトリクスが表示されます。[詳細] タブには、メトリクス リストで選択したメトリクスの名前、パラメーター、注釈も表示されます。
新規 QoS メトリクスを作成するには、次の操作を行います。
[メトリクスの追加] ウィザードで QoS メトリクスを選択し、[終了] をクリックします。
[詳細] タブの左側のパネルに QoS メトリクスが追加され、右側のパネルにパラメーターが表示されます。
各メトリクスは、負荷テスト完了時に、結果に対してそれぞれ異なる検証のセットを行います。負荷テストの実行後、テスト情報レポートに QoS レポート概要が表示されるほか、より詳細な個別の詳細 QoS レポートも参照できるようになります。
QoS メトリクスのマシン、プロファイル、テスト フィルター パネル内のテスト ツリー選択パネル (「テストツリー選択パネルの操作とオプション」を参照) で行った選択は、メトリクス値の計算に使用されるデータ セットに影響を与えます。その結果として、メトリクスの成功または失敗にも影響を与えます。以下のメトリクス タイプの計算に使用されたデータは、負荷テスト レポートの該当セクションで参照できます。
また、現在のメトリクス値に基づく、より詳細なメトリクスの説明については、QoS メトリクス ビューの [パラメーター] パネルに表示されるツール チップを参照してください。
QoS メトリクスを変更するには、[詳細] タブ左側のリストからメトリクスを選択し、[詳細] タブ右側のパラメーターを構成します。選択したメトリクスによって、オプションは異なります。しかし、右ペインのパラメーターの上にカーソルを置くと、ツールチップにパラメーター構成に関する情報が表示されます。
また、リストから 1 つまたは複数のメトリクスを選択し (複数選択するには、CTRL キーを押しながらクリックします)、選択範囲を右クリックして、必要に応じてショートカット メニューの [切り取り]、[コピー]、[貼り付け]、または [削除] を使用できます。リストから 1 つまたは複数のメトリクスを選択して (複数選択するには、CTRL キーを押しながらクリックします) 右クリックした場合、[名前を付けてメトリクスを保存] を実行して、選択されたメトリクスを QoS メトリクス セット (.ms ファイル) として保存できます。また、[メトリクスのロード] をクリックして、以前に保存されたメトリクス セットをロードすることもできます。リストのメトリクスをドラッグ&ドロップして、任意の順序に変更できます。
多数のプロファイルやグラフ ポイントを含むシナリオの場合、[ユーザー] および [プロファイル] タブの各グラフにあるさまざまなオプションを設定し、管理するのが難しくなる可能性があります。そのような場合、各シナリオの [概要テーブル] および [詳細テーブル] を使用するほうが簡単かもしれません。
概要テーブルおよび詳細テーブルを参照するには、シナリオ ノードを選択します。すると、GUI 右側のパネルに [概要テーブル] および [詳細テーブル] が表示されます。
概要テーブルおよび詳細テーブル ビューでは、個々のマシンのユーザー数や、プロファイルの重みなどの緑色のフィールドを編集できます。緑色のフィールドで行った変更は、対応する [ユーザー] タブおよび [プロファイル] タブに反映されます (反対に、 [ユーザー] タブおよび [プロファイル] タブの変更もテーブルのフィールドに反映されます)。たとえば、デフォルト ユーザーのプロファイル重量を 1 から 5 に変更した場合、その変更は [プロファイル] タブに反映されます。同様に、[プロファイル] タブで同じ変更を行うと、概要テーブル タブおよび詳細テーブルに反映されます。
[概要テーブル] ビューに表示される情報は、シナリオ タイプとして加重プロファイルが選択されているか、ダイレクト プロファイルが選択されているかによって異なります。
[詳細テーブル] ビューに表示される情報は、シナリオ タイプとして加重プロファイルが選択されているか、ダイレクト プロファイルが選択されているかによって異なります。
環境とは、Load Test の設定内で参照可能な変数のコレクションです。 テスト実行時、Load Test はプロジェクト設定内の変数名をアクティブな環境の変数値に置換します。 アクティブな環境を変更することで、Load Test が使用する値を簡単に変更できます。
環境の作成と切り替えは、[環境] タブで行います。このタブを表示するには、次の操作を行います。
[環境] タブは 2 つのセクションに分かれており、[Environments List] パネル (左側) と [Environment Details] パネル (右側) があります。
環境リスト パネルには、環境を管理するための以下のボタンがあります。
追加: [追加] ボタンの右端にある矢印をクリックすると、ドロップダウン メニューが表示されます。以下のオプションがあります。
*.Env ファイルから既存の環境をロードします。インポートした後に *.env ファイルに加えられた変更は、プロジェクトには反映されません。*.Env ファイルの既存の環境を参照します。参照した後に *.env ファイルに加えられた変更は、プロジェクトに反映されます。環境を作成/選択すると、[Environment Details] パネルに環境変数を管理するためのテーブルとボタンが表示されます。
既存の環境変数を編集するには、値をダブルクリックするか、値をクリックして反転表示させてから上書きします。
負荷テストで使用する SOAtest のプロジェクトに Call Back ツールおよび Asynchronous テスト機能 (または Message Stub ツール) が含まれている場合、SOAtest プロジェクトに関連する非同期メッセージを処理するには、Load Test 内で SOAtest サーバーを起動する必要があります。
SOAtest サーバーを起動するには、2 つの方法があります。
SOAtest 非同期ツールを使用したテストをコマンド ライン モードまたは Load Test Server モードで実行する場合、すべてのマシンで SOAtest Server の自動起動オプションを有効にする必要があります (コマンド ライン モードでは、手動では SOAtest Server を起動できないため)。
SOAtest の .tst ファイルがデータ ソースを参照している場合、負荷テスト中にデータ ソースをどのように使用するかを構成できます。
データ ソース オプションを構成するには、次の操作を行います。
SOAtest の .tst ファイルにセットアップまたはティアダウン テストがある場合、負荷テスト中にテストをどのように使用するかを構成できます。
セットアップ/ティアダウン オプションを構成するには、次の操作を行います。
各仮想ユーザーは、利用可能なプロファイルのいずれかに基づいて作成されます。仮想ユーザーは、負荷テスト開始時に作成されるほか、仮想ユーザーがテスト実行を完了したが、まだ負荷テスト期間が終了していない場合に作成されます。
任意の数のプロファイルまたはマシンを構成できますが、仮想ユーザーまたはヒット (秒) の数は、ライセンスによって制限されます。たとえば、100 仮想ユーザーがライセンスされている場合、任意の数のプロファイルを構成できますが、任意の時点でプロファイルに基づいてアクティブ化できる仮想ユーザー数は 100 までです。20 個のプロファイルがあるが、1 仮想ユーザーを実行するライセンスしかない場合、テスト中に、いずれは 20 個すべてのプロファイルが使用されますが、1 度に 1 つのプロファイルしかアクティブになりません。
デフォルト プロファイルをカスタマイズしたり、新規プロファイルを作成するには、次の操作を行います。
| テストごとに異なる遅延時間を使用する場合は、SOAtest のテスト レベルで遅延時を構成できます (テスト スイート設定パネルの [実行オプション] > [テスト フロー ロジック] タブ)。テスト レベルで構成された遅延時間は、Load Test プロファイルで指定された遅延時間で上書きされます。開始から開始/終了から開始の選択は、ここに遅延時間が設定されたテストには適用されません。 |
仮想ユーザー数を制御パラメーターとする負荷テスト シナリオでヒット (秒) 率を制限したいケースがあるかもしれません。仮想ユーザー モードでヒット (秒) を制限する方法には、以下の 2 つがあります。
次の図は、シナリオ概要テーブル ビューでヒット (秒) の抑制を設定する場合の例を表しています。
シナリオ コントロール パネルの [レポート設定] タブでは、負荷テスト中に記録されるデータを構成できます。
以下のオプションがあります。
[個々のヒットの詳細を記録] オプションは、[個々のヒットを記録] オプションがオフの場合にもオンにできることに注意してください。この場合、個々のヒット データ (レポートの分散ビュー セクション) は記録されませんが、負荷テスト レポート ビューの右クリック メニューで [記録された詳細を表示] をクリックすることで、テスト実行の詳細を参照できます。
負荷テスト レポートで成功およびエラーの詳細を参照する方法については、「詳細レポート」を参照してください。
シナリオ コントロール パネルの [停止設定] > [シーケンスの中止] エリアでは、負荷テスト停止イベントが生成された後、負荷テストアクティビティが実際に停止するまでの動作を構成できます。(負荷テスト生成イベントが生成されてから、負荷テストアクティビティが実際に停止するまでの時間を「負荷テスト停止時間」と呼びます) 
負荷テスト停止イベントは、以下の場合に生成されます。
負荷テスト停止イベントが生成されると、Load Test は仮想ユーザーの作成を中止し、既存の仮想ユーザーが終了するのを待機します。急停止および通常停止オプションは、仮想ユーザーが現在のテストを完了してから終了するか、スケジュールされたテストをすべて完了してから終了するかを制御します。
停止処理に時間がかかりすぎる場合、負荷テスト停止進捗ダイアログの [強制停止] ボタンをクリックします (詳細については「ヒント」を参照)。 |
Java、JavaScript、または Jython スクリプトを使用して、負荷テストの停止方法をカスタマイズできます。この機能は、望ましくない結果につながる特定の状況が発生したときに、自動的に負荷テストを停止するのに便利です。たとえば、夜間に負荷テストを実行し、エラーが特定の量に達したり、CPU 使用率が特定のしきい値に達した場合に負荷テストを中止するといった目的に使用できます。
ユーザー定義のスクリプトは、com.parasoft.api.loadtester API 経由で Load Tester と通信し、引数として LoadTestScriptArgs および Context を受け取り、LoadTestScriptAction を返します。返された LoadTestScriptAction.Action_Stop は、負荷テスト中に Load Test GUI で [停止] ボタンをクリックするのと同じ効力を持ちます。
注意: 次のディレクトリにサンプル スクリプトがあります。[Load_Test/SOAtest_installation_dir]\[version
number]\examples\loadtest\LoadTesterScripting |
スクリプトを使用して Load Test の停止アクションをカスタマイズするには、次の操作を行います。
高スループットモードを使用すると、テスト対象システムに高い負荷をかけられる一方で、負荷生成に必要なハードウェア リソースを最小限に抑えることができます。
負荷テストに参加する Load Test マシンごとに高スループット モードで実行するかどうかを設定できます。高スループット モードでは、テスト レスポンスの検証および重要ではない連結ツールは無効化されます。結果として、CPU サイクルなど、負荷テストを実行するのに必要なシステム リソースは少なくなります。これにより、高スループット モードのマシンは、高い 1 秒あたりの実行率でテストを実行できます。
高スループットモードを有効にするには、[Load Test コンフィギュレーション] ツリーで個々の[Machines] ノードを選択し、[高スループット モード] オプションをオンにします。
一部のマシンで通常の検証を行い、他のマシンでは検証を行わない高スループット モードで実行するという使用方法が典型的です。検証モードで実行されるマシンは、不可ジェネレーターであると同時に、テスト結果コレクターとしても動作します。一方、未検証モードのマシンは、負荷ジェネレーターとしてだけ動作します。負荷テストが完了したら、検証モードで収集された結果を使用して、未検証モードのマリンのエラー カウント間隔が推定されます。
以下は、高スループット機能を応用するのに役立つ、典型的な質問と回答です。
目的の負荷を生成するのに十分なハードウェア リソースがない場合に高スループット モードを使用するべきです。たとえば、負荷生成マシンの CPU 使用率が 75 から 80% 以上になる場合などです。
機能テストの構造により、スループットの増加は異なります。機能テスト設定でより多くのツールが連結されているほど、高スループットでのパフォーマンスの向上は大きくなります。
エラー推定値の計算は、Wilson のメソッドを使用した「二項比率信頼区間」の計算に基づいています。詳細については、以下のリンク先を参照してください。
一般的に、検証モードで実行するテストが増えるほど、エラー推定結果が正確になります。経験則として、すべてのテストについて、検証モードでの実行回数は、最低でも半分程度 (40 から 60 % ) であるべきです。
Parasoft Load Test は、仮想ユーザーで複数の IP アドレスを使用する機能があります。この IP 偽装を構成するには、次の 2 つの手順を行います。
以下の SOAtest ツールおよびトランスポートは、複数 IP アドレス機能をサポートしています。
Windows マシンで IP エイリアスを構成するには、次の操作を行います。
ipconfig コマンドを使用して利用可能なネットワーク インターフェイスと、その IP アドレスおよびマスクの一覧を参照します。netsh コマンドを使用し、IP アドレスの追加または削除を行います。IP アドレスを追加するには、次のサンプルのように netsh コマンドを実行します (ネットワーク インターフェイス名、IP アドレス、マスクをユーザーの環境に合わせて変更してください)。
netsh -c Interface ip add address name="Local Area Connection" addr=10.10.29.9 mask=255.0.0.0 |
IP アドレスを削除するには、次のサンプルのように netsh コマンドを実行します (ネットワーク インターフェイス名、IP アドレス、マスクをユーザーの環境に合わせて変更してください)。
netsh -c Interface ip delete address name="Local Area Connection" addr=10.10.29.9 |
Linux マシンで IP エイリアスを構成するには、次の操作を行います。
ip コマンドを使用して、ネットワーク インターフェイスに IP アドレスを追加または削除します。Eth0 インターフェイスに IP エイリアスを追加する場合のサンプルは次のとおりです。
# ip address add 10.10.29.9 dev eth0次のサンプルは IP エイリアスを削除します。
# ip address del 10.10.29.9 dev eth0複数の IP アドレスを使用するよう仮想ユーザーを構成するには、次の操作を行います。
次の図のように、マシンのネットワークインターフェイスおよび IP 構成ビューが表示されます。
負荷テスト実行中に、マシンの各仮想ユーザーには、このマシンの IP アドレス リストから 1 つの IP アドレスが割り当てられます。
IP アドレスは、ラウンドロビン方式で仮想ユーザー (VU) に割り当てられます。たとえば、上の図のように、マシンの「localhost」が 2 つの IP アドレスを使用するよう構成されている場合、次の順序で IP アドレスが仮想ユーザーに割り当てられます。
仮想ユーザーに IP アドレスが割り当てられると、該当仮想ユーザーが実行するすべてのテストでその IP アドレスが使用されます。
Load Test で使用される SOAtest のプロジェクトに外部ファイルへの依存関係があり、負荷テストの仮想ユーザーが SOAtest のテストを実行するときに、それらのファイルが使用される場合があります。SOAtest プロジェクトのテストが正しく動作するかどうかは、それらの外部リソースが、 Load Test コントローラー マシンでも、負荷ジェネレーターを実行するリモート マシンでも利用できるかに依存します。Load Test は、外部依存ファイルをリモート マシンに転送するプロセスを自動化します。
プロジェクトが必要とするすべての外部リソースが、リモート マシンでも確実に利用できるようにする方法については、「プロジェクトの外部依存ファイルをリモートマシンに転送する」を参照してください。