Test Stability Report (TSR) プロセス インテリジェンス フローは、指定の数のビルドについてテスト ケースの結果をモニタリングし、頻繁にステータスが変わるテストを不安定なテストとして特定します。このフローには、テストの現在のステータスを表示するウィジェットと、テストの実行履歴およびテストのステータスの変化を表示するインタラクティブな詳細レポートが含まれています。
このセクションの内容:
はじめに
このワークフローは、最後の 10 ビルドについてテスト ステータスをすべて収集し、アルゴリズムを使用して各テストの安定性スコアを計算します。このアルゴリズムは、「テスト ステータスの変化の数」および「最新ビルドに対してどの程度最近にそれらの変化があったか」に基づきます。スコアがしきい値を超える場合、テスト ケースは不安定と見なされます。安定性スコアの判断に使用されるアルゴリズム、しきい値、ビルドの数はユーザーがカスタマイズできます。
Test Stability DTP ワークフローには以下のコンポーネントが含まれます。
- Test Stability - Statistics ウィジェット: このウィジェットは、選択されたフィルターおよび最後の実行のテスト ステータスについてテストの安定性のサマリーを提供します。
- Test Stability - Donut ウィジェット: このウィジェットは、最新のビルドに基づいて、さまざまな安定性カテゴリに入るテストの割合を表示します。
- Test Execution History レポート: このインタラクティブな詳細レポートは、テストの実行履歴と、指定のビルド数におけるテスト ステータスの変化を表示します。
異なるブランチからのビルドの比較は現在サポートされていません。たとえば開発ブランチのテストは、マスター ブランチのテストとは別のテストであると見なされます。
要件
- DTP Enterprise Pack 5.3.3
- Parasoft DTP 5.3.3
インストール
DTP Enterprise Pack にアーティファクトをアップロードする方法については アーティファクトのダウンロードとインストール を参照してください。
前のバージョンからのアップグレード
Test Stability Report は、Test Stability Index の次世代の進化形ですが、スタンドアロンのアーティファクトであり、個別にインストールするべきです。これらのアーティファクトにはいくつか大きな違いがあります。違いは以下を含みますが、これらに限りません。
- TSR には、テストの安定性について対象となる情報を提供する Test Execution History レポートが含まれます。
- TSR では、もう DTP にカスタム プロセッサをデプロイする必要はありません。
- フローを手動で実行する必要はもうありません。
- ウィジェットの設定が簡潔になり、より多くの DTP の ネイティブ ダッシュボード要素を使用します。
Test Stability Index 2.0 またはそれ以前のアーティファクトを使用している場合、Test Stability Report をインストールする前に、それらのアーティファクトをアンインストールすることを推奨します。
TSR のインポートとデプロイ
- [読み込み] > [ライブラリ] > [プロセス インテリジェンス] > [Test Stability Report] > [Test Stability Report] を Extension Designer のアクション メニューから選択し、サービスにアーティファクトをインポートします。
- (オプション) デフォルトでは、TSR は最後の 10 ビルドに基づいてテストの安定性を計算しますが、このアルゴリズムは変更できます (「TSR フローのカスタマイズ」を参照)。
- [デプロイ] をクリックします。
TSR フローのカスタマイズ
Set Threshold and Max Build Count, Algorithm change ノードをダブルクリックして設定にアクセスします。
以下の設定を変更できます。
flow.threshold: このフローはスコアリング システムに関わります。あるビルドから次のビルドにおけるテスト結果の変更がスコアに影響します。デフォルトでは、スコアが 0 より大きい場合、テストは不安定であると見なされます。テスト ステータスの変動が予想される場合、しきい値を増加できます。指定のビルド数において緩やかな変化があっても、テストは安定していると見なされます。flow.maxBuildCount: デフォルトでは、テストの安定性を判断するサンプル サイズとして TSR は最新の 10 ビルドを使用します。maxBuildCountの値を変更して、ビルドの数を増減できます。ビルドの数を増やすと、システムのパフォーマンスに影響します。flow.algorithm: テストの安定性を計算するために、デフォルトではビルトイン アルゴリズムが使用されますが、このフィールドにcustomを指定して、Calculate Stability (custom) function ノードでユーザー独自のアルゴリズムをプログラムすることもできます。
カスタム アルゴリズムを使用するには、Switch Algorithm function ノードをダブルクリックして custom アルゴリズムを指定する必要もあります。
ウィジェットの追加と構成
アーティファクトをデプロイした後、Test Stability - Donut および Test Stability - Statistics ウィジェットを DTP で利用できます。プロセス インテリジェンス カテゴリから選択できます。ダッシュボードにウィジェットを追加する方法については「ウィジェットの追加」を参照してください。
両方のウィジェットについて以下の設定を行うことができます。
| タイトル | デフォルトのタイトルの代わりにダッシュボードに表示する新しいタイトルを入力します。 |
|---|---|
| フィルター | [ダッシュボード設定] を選択してダッシュボード フィルターを使用するか、ドロップダウン メニューからフィルターを選択します (DTP のフィルターの詳細については「フィルターの作成と管理」を参照してください)。 |
| 最後の実行 | ウィジェットは、最後の実行のテスト ステータスに基づいてデータを表示します。以下を選択できます。
ウィジェットの複数のインスタンスを追加してそれぞれに異なる最後の実行を設定することで、テストの安定性についてより詳しい情報を得ることができます。 |
Viewing the Test Stability - Donut ウィジェット
このウィジェットは、最後の実行について、安定したテストの割合を示します。色付けされたセグメントは安定したテストを表し、グレーのセグメントは不安定なテストを表します。
以下の操作を行うことができます。
- セグメント上にマウス ポインタを置いて詳細を表示します。
- ウィジェットをクリックすると、選択した実行について不安定なテストを Test Execution Stability Report で確認できます。
Viewing the Test Stability - Statistics ウィジェット
このウィジェットは、テストの安定性の統計サマリーをグラフで表示します。このウィジェットは、最後の実行での安定したテストの割合、テストの数、安定したテストの数、および不安定なテストの数を表示します。
行をクリックすると、ウィジェットの設定およびクリックした場所に従ってフィルタリングされた Test Execution Report が表示されます (このレポートの詳細については「Viewing the Test Execution History Report」を参照してください)。
Test Execution History Report の表示
このレポートは、最後の 10 ビルド (デフォルト) のフィルターでテスト結果を表示します。テストの安定性 (All、Stable、Unstable) および最後の実行ステータス (All、Passed、Failed、Incomplete、No Data) に基づいてレポートをフィルタリングできます。
File Name 列
実行されたテスト ケースを含むテスト ファイルの名前を表示します。手動テストには、関連付けられたテスト ファイル名がありません。セルをクリックしてテスト ファイル名をハイライトし、キーボードを使って OS のクリップボードにコピーすることができます (Ctl + C または Command + C)。テスト自動化ツールでファイルを検索するのが簡単になります。
Test Case 列
実行されたテスト ケースの名前を表示します。セルをクリックしてテスト ケースをハイライトし、キーボードを使って OS のクリップボードにコピーすることができます (Ctl + C または Command + C)。テスト自動化ツールでテスト ケースを検索するのが簡単になります。
Test Status 列
この列はビルドとテスト ケースのグリッドを表示します。各行はテスト ケースを表し、各セルは 1 つのビルドの結果を表します。結果は色分けされます。
- 緑: 成功したテスト
- 赤: 失敗したテスト
- 黄色: 未完了のテスト
- 灰色: ビルドでテストの結果がレポートされませんでした
レポート データのデフォルト順序
デフォルトでは、レポートは「不安定な結果」をロードした後「安定した結果」をロードします。各安定性カテゴリの 第 2 層の順序は、「失敗」「未完了」「成功」「データなし」です。
セルをクリックして テスト エクスプローラー でテストを表示できます。DTP で詳細がないテスト ケースは、表示するものがないためエクスプローラーに表示されません。
セル上にマウス ポインタを置くと、ビルド情報とテスト ステータスが表示されます。 
Stability 列
この列は、テストの安定性のステータスを表示します。
Action 列
この列では、テスト ケースのアクションを定義できます。ドロップダウン メニューからアクションを選択します。テストについての情報が テスト エクスプローラー で更新されます。
