テスト失敗の分類は、根本原因の類似性によって失敗をグループ化することでデバッグ プロセスを簡素化します。失敗したテストにラベルを付けると、機械学習モデルがパターンを学習し、その後の失敗を自動的に分類します。これは、優先順位付け作業の繰り返しを減らし、調査をスピードアップし、最も影響の大きい問題を集中的に修正するのに役立ちます。
注意: このセクションの説明では、「失敗したテスト」とは失敗したテストおよび未完了のテストの両方を指します。
失敗したテストのラベル付け
失敗したテストにラベルを付けると、失敗の背後にある原因を捕捉するのに役立ち、複数の実行にわたるパターンを突き止めるのが容易になります。時間が経つにつれて、ラベルは機械学習モデルをトレーニングし、類似の失敗を自動的に分類できるようにします。
テスト エクスプローラーの [優先度] タブで失敗したテストにラベルを追加します。ラベルを作成すると、ラベルが保存され、以降の選択肢として使用できます。
DTP はラベルと失敗の背後にある原因の関連付けを追跡し、[トレース] タブに表示します。
ラベル付けの進捗の追跡
機械学習モデルが意味のあるパターンを学習するには、最低限の数のラベル付けされたサンプルを必要とします。ラベルが少なすぎると、モデルはさまざまなタイプの失敗を区別するのに重要なデータを得られず、限られたサンプルに合わせて過学習する可能性があります。DTP は、モデルをトレーニングする前に、少なくとも 5 つのインスタンスを持つ 2 つのラベルを必要とします。
ラベルは DTP のプロジェクト レベルで管理されます。つまり、各プロジェクトは独自のラベルのセットを持ちます。あるプロジェクトで作成したラベルは別のプロジェクトでは表示されません。これにより分類が常に整理され、テスト失敗のパターンが個別のプロジェクトのコンテキストに合致した状態を保つことができます。
[テスト失敗の分類の診断] ウィジェットを使用すると、プロジェクトのラベル付けがどれほど進んでいるかを追跡できます。
テスト失敗の分類結果の参照
DTP には、テスト失敗の分類結果を表示する 2 つのウィジェットと 1 つのレポートがあります。2 つのウィジェットはどちらも同じレポートにドリル ダウンします。
- テスト失敗の分類ウィジェット - 失敗したテストの予測された根本原因を表示します。このウィジェットは、テスト失敗の考えられる理由の概要をすばやく示します。
- テスト失敗の分類 - 統計ウィジェット - 失敗したテストを含むファイルの数、失敗したテストの総数、ラベル付けされたテスト、信頼性ファクターを表示します。失敗したファイルの数は、失敗がどれほど特定のファイルに集中しているかを示します。以前に失敗したテストがすべてラベル付けされている場合、失敗したテストの総数とラベル付けされたテストの数を比較すると、どの程度の失敗が新規であるかを判断するのに役立ちます。
- テスト失敗の分類レポート - モデルの健全性およびモデルで生成されたテスト失敗の予測に関する詳細が表示されます。
