このセクションでは、 SOAtest の GUI テストとコマンドライン テストが作成するレポートについて、その概要を説明します。レポートの内容は、レポートの設定、使用したテスト コンフィギュレーション、検出されたエラーによって変わります。以下に説明するレポート要素のすべてが、すべてのレポートに含まれるわけではありません。
このセクションの内容:
レポートの種類
次の 2 種類のレポートをコマンドライン インターフェイスから作成できます。
- 総合レポート: 1 回のテスト実行で生成されたすべてのタスクを含むレポート
- 個別レポート: 指定のテスト メンバーに割り当てられたタスクのみを含むレポート
たとえば、テストが Tom に 5 タスク、 Joe に 10 タスクを生成したとします。この場合、総合レポートには 15 タスクすべてが含まれます。そして Tom のレポートには 5 タスクが、 Joe のレポートには 10 タスクが含まれます。
レポートの内容
レポートは以下のセクションから構成されます。
ヘッダー
ヘッダーには、レポート名に加え、解析に使用したツールが表示されます。
セッション サマリー
[セッション サマリー] セクションには、レポートに関する高度な情報が含まれており、次のようなものがあります。
- ビルド ID
- テスト コンフィギュレーション
- 解析のタイムスタンプ
- マシン名とユーザー名
- セッション タグ
- プロジェクト名
- 重要度が最も高い指摘事項の数
- 失敗したテストの数
- API セキュリティの問題の数
サマリー - 静的解析
[サマリー - 静的解析] セクションは、プロジェクトで静的解析を実行するたびにレポートに表示されます。重要度を表すさまざまな色のドーナツ グラフとして指摘事項の概要を示します。同じ情報がグラフの横にある表にも表示され、指摘事項の総数が下に表示されます。
サマリー - 機能テスト
[サマリー - 機能テスト] セクションは、機能テストを実行するたびにレポートに表示されます。実行しているテストの種類に基づいて、テスト カバレッジ、API カバレッジ、または影響を受けるアセットを表す 1 つ以上のドーナツ グラフが表示されます。
詳細 - 静的解析
静的解析の詳細セクションは、プロジェクトで静的解析を実行するたびにレポートに表示され、指摘事項をまとめた表と、その種類および作成者別の詳細レポートが表示されます。
静的解析テーブルには以下の情報が表示されます。
- モジュール名
- 抑制されたルールの数
- 指摘事項の総数
- 10,000 行あたりの指摘事項の平均数
- 解析ファイル数
- モジュール内のファイルの総数
- 解析されたコード行数
- モジュール内のコード行の総数
この表の下に、指摘事項がルール別にリストされ、それぞれの違反の数が括弧内に表示されます。右側の［カテゴリ］または［重要度］リンクをクリックすると、これらの指摘事項をカテゴリまたは重要度ごとに並べることができます。
[すべての指摘事項] リストの下にある［作成者ごとの指摘事項］リストには、解析されたコードに関連する指摘事項が作成者別に表示されます。作成者をクリックすると、その作成者の指摘事項の詳細が表示されます。
詳細 - 機能テスト
[詳細 - 機能テスト] セクションは、機能テストを実行するたびにレポートに表示されます。テスト結果をまとめた表と、作成者ごとの指摘事項の詳細レポートが表示されます。
テスト スイートの概要の表には、次の情報が含まれます。
- テスト名
- 失敗したテストスイート内のテスト
- 成功したテストスイート内のテスト
- テストスイート内の総テスト数
- 成功率 (パーセンテージ)
この表の下に、指摘事項が作成者別にリストされます。作成者をクリックすると、その作成者の指摘事項の詳細が表示されます。また、指摘事項のエラーメッセージのサマリーをクリックして詳細なエラーレポートを表示したり、指摘事項の [トラフィックの表示] をクリックして関連するリクエストとレスポンスを表示したりすることができます。
詳細 - API カバレッジ
テスト コンフィギュレーションで [API カバレッジの計算] を有効にしてテストを実行すると、[詳細 - API カバレッジ] セクションがレポートに表示されます。テストが関連リソースをどの程度カバーしているかをまとめた表が表示されます。
API カバレッジの表には、次の情報が含まれています。
- カバー可能なリソース (通常、RAML、OpenAPI/Swagger、WADL、または WSDL などのサービス定義)
- テストがカバー可能なリソースを呼び出した回数と成功した回数
- カバレッジは、リソースの総数に対して、呼び出されたリソースの数を示します。
表は階層になっています。カバレッジは、サービス全体、および各リソース/メソッドと操作に対して計算されます。ツリー ブランチは閉じたり展開したりすることができます。
どの .tst ファイルとテストが特定のメソッドをカバーしたかを確認したい場合、ツリーを展開して [テストを表示] リンクをクリックします。レポートの左上の [すべて展開] / [すべて閉じる] リンクを使用すると、簡単にツリー ブランチを展開/縮小できます。
詳細 - 変更影響度
[詳細 - 変更影響度] セクションは、サービスに対して変更影響度の解析を実行するたびに、レポートに表示されます。最近の変更によって影響を受けるアセットをまとめた表が表示されます。
アセットのサマリーの表には、次の情報が含まれています。
- 影響を受けるテスト
- 影響を受けるテスト アセットの数
- 影響を受けていないテスト アセットの数
- テスト アセット
- 変更影響度 (パーセント)
この表の下には、指摘事項が作成者別にリストされ、変更の総数とアセットごとの変更の数が表示されます。作成者をクリックすると指摘事項の詳細が表示され、指摘事項のリンクをクリックするとより詳細なレポートが表示されます。
API セキュリティの問題
[API セキュリティ問題] セクションは、プロジェクトに対して侵入テストを実行するたびにレポートに表示されます。
API セキュリティの問題の表には、CWE または OWASP 2021 Top 10 ( [Parasoft] > [設定] > [レポート] > [API セキュリティ] の設定によって決定) によって検出された問題のサマリーが、リスク レベルおよび信頼度でソートされたマトリックスで示されます。その下には、セキュリティの指摘事項が CWE または OWASP 2021 TOP 10 の番号でソートされています。CWE または OWASP の番号または説明をクリックすると、レポートのそのセクションに移動して、これらの指摘事項の詳細を確認できます。
問題の簡単な説明に加えて、関連するテストやその他の情報を含むインスタンスの URL、提案された解決策、およびその他のリソースへのリンクが表示されます。また、インスタンス URL の [トラフィックの表示] をクリックすると、関連するリクエストとレスポンスが表示されます。
