このセクションの内容

はじめに

IIS サーバー上にデプロイされた実行中の Web アプリケーションサーバーで手動または自動での機能テストを実行し、マネージドコードのカバレッジデータをモニターおよび収集できます。カバレッジデータおよびテスト結果を DTP にレポートすることもできます。アプリケーションカバレッジ情報を DTP のカバレッジエクスプローラー (詳細は DTP ユーザーズガイドの「カバレッジエクスプローラー」を参照) に表示し、アプリケーションがどの程度テストされたかや、テストの品質を知ることができます。

dotTEST は IIS サーバーにデプロイされた .NET Core および .NET Web アプリケーションのカバレッジを収集できます。また、dotTEST に付属の coverage.exe ツールを使用することもできます。詳細は「スタンドアロンアプリケーションのアプリケーションカバレッジ」を参照してください。

前提条件

カバレッジを収集するには、以下のコンポーネントが必要です。

Internet Information Services (IIS) バージョン 7.5 以上
Coverage Agent Manager (CAM) またはSOAtest

プロセスの概要

dotTEST には、カバレッジエージェントというコンポーネントが付属しています。カバレッジエージェントは、テスト対象アプリケーション (AUT) にアタッチされ、AUT の実行されたコードをモニターします。AUT にカバレッジエージェントをアタッチすると、REST API が公開され、テストおよびテストセッションの開始および終了をマークできるようになります。テスト実行時には、カバレッジエージェントとのやりとりが動的カバレッジマップに書き込まれます。このマップには、実行されたコード行を示すマーカーが記録されます。

以下のステップが実行されます。

dotTEST は、動的カバレッジマップと静的カバレッジデータを処理し、coverage.xml ファイルにマージします。
カバレッジ情報を保存した coverage.xml が DTP に送信されます。
DTP は、カバレッジデータを受信すると、カバレッジイメージにロードします。カバレッジイメージは、同じビルド ID を持つ複数の実行のカバレッジデータを集約することを可能する特別なタグです。
カバレッジイメージにより、カバレッジ情報と特定のテストを関連付けることが可能になります。

テスト実行ツールの結果 (SOAtest のテスト、dotTEST によって実行されたテスト、手動テストなど) も report.xml という形で DTP に送信されます。カバレッジデータファイルとレポートのビルド ID が一致すると、DTP はそれらのデータを関連付け、カバレッジ情報に表示します。

ソース管理システムを使用する場合、適切にソース管理システムを設定します。「ソース管理システムの設定」を参照してください。

カバレッジ収集のためのテスト対象アプリケーション (AUT) の構成

AUT の準備には、以下の手順が含まれます。

静的カバレッジファイルを生成します。静的カバレッジファイルには、ユーザークラス、メソッド、行などの情報が記録されます。詳細は「静的カバレッジファイルの生成」で説明されています。
AUT にカバレッジエージェントをアタッチします。「テスト対象アプリケーション (AUT) へのカバレッジエージェントのアタッチ」を参照してください。

静的カバレッジファイルの生成

ソリューションに対して次のテストコンフィギュレーションを実行します。

dottestcli.exe -config "builtin://Collect Static Coverage" -solution SOLUTION_PATH

dottestcli のコンソール出力に静的カバレッジデータが保存された場所が表示されます。例:

Saving static coverage information into: 'C:\Users\[USER]\Documents\Parasoft\dotTEST\Coverage\Static\[FILE].data

カバレッジのスコープのカスタマイズ

デフォルトでは、アプリケーション全体のカバレッジが計測されます。静的カバレッジ収集のスコープを狭くするには、次の操作を行います。

-solution、-resource、-include および/または -exclude オプションを使用して、アプリケーションの特定の部分へのパスを指定します。-Resource オプションは、ソリューション内でのパスを指定します。-include および -exclude オプションは、ファイルシステムのパスを指定します (詳細は「テストスコープの設定」を参照)。コマンドは次のようになります。

dottestcli.exe -config "builtin://Collect Static Coverage" -solution "C:\Devel\FooSolution\FooSolution.sln" -resource "FooSolution/QuxProject" -include "C:\Devel\FooSolution\src\QuxProject\**\*.cs" -exclude "C:\Devel\FooSolution\src\QuxProject\**\tests\**\*.cs"

静的カバレッジが生成され、スコープ設定ファイルにスコープ情報が保存されます。コンソール出力にはスコープコンフィギュレーションファイルの場所が表示されます。例:

Saving static coverage scope configuration into: 'C:\Users\[USER]\Documents\Parasoft\dotTEST\Coverage\Static\scope.instrumentation.txt'

-scope オプションを使用してスコープ設定ファイルへのパスを dotTEST IIS Manager ツール (「テスト対象アプリケーション (AUT) へのカバレッジエージェントのアタッチ」を参照) に渡します。
dottest_iismanager.exe -scope 'C:\Users\[USER]\Documents\Parasoft\dotTEST\Coverage\Static\scope.instrumentation.txt'

スコープ設定ファイルの内容を変更する必要はありません。しかし、大規模なアプリケーションのカバレッジを収集する場合は、動的カバレッジ収集のスコープ (テスト対象アプリケーションの操作中に収集されるカバレッジ) を微調整するとよいでしょう。動的カバレッジの収集をカスタマイズするには、scope.instumentation.txt ファイルを開き、カバレッジデータを収集しないアセンブリをアセンブリのリストから削除します。

IIS でコンパイルされた Web プロジェクトでは、アプリケーションカバレッジスコープファイルを使用できません。これは、IIS コンパイルのターゲットアセンブリの名前が事前に決まっていないからです。カバレッジの収集が開始される前に、IIS によってロードされるアセンブリの名前がわかる場合は、スコープファイルを使用できます。

テスト対象アプリケーション (AUT) へのカバレッジエージェントのアタッチ

IIS がインストールされ、アプリケーションがデプロイされているマシンに [INSTALLATION_DIR]\integration\IIS ディレクトリをコピーします。
管理者権限でコンソールを実行します。
このマシンで dotTEST IIS Manager ツールを実行し、IIS 内での実行時カバレッジ収集を有効にします。
dottest_iismanager.exe
dotTEST IIS Manager に追加オプションを指定する必要がある場合があります。「IIS マネージャーのオプション」を参照してください。
dottest_iismanager は、Web サーバー (IIS) の環境を初期化し、サービスのように振る舞い、ユーザーがテストを実行してカバレッジを収集することを可能にします。次のメッセージが表示されている間、サービスが待機し、コマンドを受け付けます。
Write 'exit' and hit Enter to close dottest_iismanager
テスト対象 Web サイトまたはアプリケーションがまだロードされていないときでも、セッションおよびテストを開始できることに注意してください。
このマシンのファイアウォールの設定で、ポート 8050 (カバレッジエージェントのデフォルトのポート) での HTTP トラフィックが許可されていることを確認します。デフォルトのポートを使用できない場合は、カバレッジエージェントのポート番号を変更できます。
Web サイトまたは Web アプリケーションを開きます。
次のアドレスに移動して、カバレッジエージェントのステータスを確認します。http://host:8050/status
次の応答を受け取るはずです。
{"session":null,"test":null}

HTTPS 経由での Coverage Agent への接続

デフォルトでは、カバレッジエージェントは HTTP プロトコル経由で利用できます。HTTPS 経由で接続するには、カバレッジエージェントが使用するポートに SSL証明書をバインドする必要があります。それには、以下のいずれかの操作を行います。

Netsh.exe ツールがアクセス可能な場所に SSL 証明書を追加し、証明書のハッシュおよびポート番号を dottest_iismanager.exe に渡します。
dottest_iismanager.exe -port 8050 -useSsl -certificateHash <SSL certificate hash>
.pfx ファイルに格納された SSL 証明書へのパスとパスワードを dottest_iismanager.exe に渡します。
dottest_iismanager.exe -port 8050 -useSsl -certificatePath <path to PFX> -certificatePassword <password>
Netsh.exe ツールでポートに SSL 証明書と dotTEST IIS Manager の appid を設定します。 dotTEST IIS Manager の ID は次のとおりです。
{ed344e08-fab7-4dfb-9d07-68f2c2c9e373}
Netsh.exe ツールで SSL 証明書を設定すると、-port および -useSsl スイッチを指定して dotTEST IIS Manager を起動することで、HTTP 経由で接続できます。
dottest_iismanager.exe -port 8050 -useSsl

自己署名証明書を使用するには、-skipvalidation オプションを追加する必要があります。

PFX または PKCS12 フォーマットの SSL 証明書を利用できます。

SSL 証明書の削除

デフォルトでは、dotTEST IIS Manager はカバレッジエージェント用に設定された証明書を自動的に処理します。手動で証明書を削除するには、Certmgr.exe ツールを起動し、Personal> Certificates に格納された証明書を削除します。

-unregister スイッチを指定して dotTEST IIS Manager でカバレッジサービスポートの登録を解除する場合、-useSsl および -removeCertificate スイッチを追加して SSL 証明書を削除する必要があります。

dottest_iismanager.exe -unregister -port 8050 -useSsl -removeCertificate

こうすると、ポート番号から SSL 証明書が削除されます。これで、ストレージから手動で証明書を削除できるようになりました。

複数ユーザーからのカバレッジ収集

1 つの Web アプリケーションに同時にアクセスする複数のユーザーのカバレッジ情報を収集できます。それには、-multiuser スイッチを指定して dotTEST IIS Manager を起動します。

dottest_iismanager.exe -multiuser

詳細については、DTP のマニュアルの Coverage Agent Manager (CAM) セクションを参照してください。

IIS のアイドルタイムアウトの変更

デフォルトでは、IIS のアプリケーションプールプロセスは 20 分のアイドルタイムが経過するとシャットダウンしますが、このことがテストセッションに悪影響を与える可能性があります。デフォルトのアイドルタイム値を変更し、シャットダウンを防ぐことによって、アプリケーションを操作するユーザーがテストセッション中に予期しないサーバーの停止および再起動に遭遇しないようにできます。

Internet Information Services (IIS) Manager を起動します。
Application Pools ノードを開きます。
Web アプリケーションが使用するプールを選択します。
[Actions] パネルの [Advanced Settings] をクリックします。
[Process Model ] セクションで [ Idle Time-out (minutes)] の設定をテストに適した値に変更します。

IIS マネージャーのオプション

オプション

値

説明

-scope

<path>

スコープ設定ファイルへのパスです。デフォルト以外のスコープを使用する場合に必要です。「カバレッジのスコープのカスタマイズ」を参照してください。

-agentTimeout

カバレッジエージェントとの接続のタイムアウト時間を指定します。マシンの性能に合わせて値を調整してください。デフォルト値は 1500 ms です。

0 または負の値を指定すると、接続はタイムアウトしません。そのため、ツールの処理が非常に遅くなったり、異常停止する場合があります。

-port

デフォルトのポートが使用できない場合に dottest_iismanager の起動時に使用するポート番号を使用します。

-multiuser

複数ユーザーのカバレッジ情報収集を有効化します。「複数ユーザーからのカバレッジ収集」を参照してください。

-useSsl

HTTPS 経由の接続を有効にします。「HTTPS 経由での Coverage Agent への接続」を参照してください。

-certificateHash

カバレッジエージェントが使用するポート用の SSL 証明書のハッシュを指定します。「HTTPS 経由での Coverage Agent への接続」を参照してください。

-certificatePath

<path>

SSL 証明書を格納した PFX ファイルへのパスを指定します。「HTTPS 経由での Coverage Agent への接続」を参照してください。

-certificatePassword

PFX ファイルに格納された SSL 証明書のパスワードを指定します。「HTTPS 経由での Coverage Agent への接続」を参照してください。

-displayappid

dotTEST IIS Manager の 'appid' を出力します。「HTTPS 経由での Coverage Agent への接続」を参照してください。

-removeCertificate

-unregister スイッチを使用して手動でポートの登録を解除する場合に、SSL 証明書を削除します。「HTTPS 経由での Coverage Agent への接続」を参照してください。

-skipvalidation

自己署名 SSL 証明書の使用を有効化します。「HTTPS 経由での Coverage Agent への接続」を参照してください。

テストを実行してランタイムカバレッジを収集する

SOAtest を使用して機能テストを実行することも、Coverage Agent Manager (CAM) とともに手動でテストを実行することもできます。テストセッション実行の詳細については、SOAtest ユーザーガイドまたは CAM のマニュアルを参照してください。

テスト実行時の処理

SOAtest はランタイムカバレッジを収集し、静的カバレッジとマージしたデータを DTP にアップロードします。
CAM はランタイムカバレッジとテスト結果を収集します。これらは手動でダウンロードする必要があります。次に行う操作
- 手動で DTP にテスト結果をアップロードします。「DTP への結果のアップロード」を参照してください。
- ランタイムカバレッジと静的カバレッジをマージし、DTP にアップロードします。「静的カバレッジおよびランタイムカバレッジデータのマージと DTP へのアップロード」を参照してください。

DTP への結果のアップロード

CAM とともに dotTEST を使用する場合

DTP のインターフェイスで [Report Center] に移動します。
歯車のアイコンをクリックして [Report Center 設定] > [その他の設定] > [Report Center の管理] > [ツール] > [Data Collector アップロードフォーム] をクリックします (管理者権限が必要です)。
[ファイルの選択] をクリックし、CAM からダウンロードした report.xml ファイルを選択します。
[アップロード] ボタンをクリックし、ファイルを DTP にアップロードします。

SOAtest とともに dotTEST を使用する場合、テスト実行時にテスト結果が自動的に DTP に送信されます。https://docs.parasoft.com にある SOAtest ユーザーガイドの「アプリケーションカバレッジ」セクションを参照してください。

静的カバレッジおよびランタイムカバレッジデータを DTP に送信する

CAM とともに dotTEST を使用する場合

dotTEST で DTP、スコープ、作成者が適切に設定されていることを確認します。「DTP への接続」、「DTP への結果の送信とソースコードのパブリッシュ」、「設定」を参照してください。
適切にカバレッジデータをマージするには、dottestcli.properties ファイルで以下の設定を行います。
- - report.coverage.images - DTP Server でカバレッジイメージを作成するために使用するタグのセットを指定します。カバレッジイメージは、同じビルド ID を持つ複数の実行のカバレッジデータを集約する際に一意の識別子となります。DTP は、1 レポートにつき最大 3 つまでのカバレッジイメージをサポートします。
- session.tag - 同じビルドの個々のテスト実行を区別する一意の識別子を指定します。
- build.id - 結果にラベル付けするためのビルド識別子を指定します。ビルドごとに固有の値を使用することも、特定のビルドで実行される複数のテストセッションで同じ値を使用することもできます。
ランタイムカバレッジファイルおよび静的カバレッジファイルを同じマシンにコピーし、次のスイッチを指定して dottestcliを実行します。
- -runtimeCoverage: CAM でダウンロードする実行時カバレッジへのパスを指定します (詳細については DTP のマニュアルの「Coverage Agent Manager (CAM)」セクションを参照)。単一のテストセッションのカバレッジ情報を保存した個々の .data ファイルへのパスを指定することも、複数のテストセッションの .data ファイルを含むフォルダーへのパスを指定することもできます。
- -staticCoverage: 静的カバレッジファイルへのパスを指定します (「静的カバレッジファイルの生成」を参照)。
- -publish: マージされたカバレッジを DTP に送信します。
dottestcli.exe -runtimeCoverage [path] -publish -staticCoverage [path]

SOAtest とともに dotTEST を使用する場合、テスト実行時に静的カバレッジおよび動的カバレッジデータが自動的に DTP に送信されます。https://docs.parasoft.com にある SOAtest ユーザーガイドの「アプリケーションカバレッジ」セクションを参照してください。

動的カバレッジ収集の停止

動的カバレッジデータの収集を停止するには、以下のいずれかの操作を行います。

コンソールに次のメッセージが表示されている状態で exit と入力し、dottest_iismanager を停止します。
Write 'exit' and hit Enter to close dottest_iismanager
ブラウザーに次の URL を入力することで、サービスにリクエストを送信します: http://host:port/shutdown

すべてのセッションが完了しているときにだけ dottest_iismanager を停止してください。サービスを停止すると、アプリケーションカバレッジが収集されなくなるため、カバレッジを収集するテストが実行されている間は、常に dottest_iismanager を実行しておくことが重要です。

dottest_iismanager の終了時にエラーが発生し、Web サーバー環境のクリーンアップが行われなかった場合、-stop パラメーターを指定して dottest_iismanager を実行することで、元の Web サーバー環境および設定を復元してください。

dottest_iismanager.exe -stop

DTP でのカバレッジの参照

DTP のカバレッジエクスプローラーを使用して、テスト実行時のアプリケーションカバレッジを参照できます。カバレッジ情報の参照についての詳細は、https://docs.parasoft.com にある DTP ユーザーガイドを参照してください。

既知の制限事項

テストセッションで収集されたカバレッジ情報をダウンロードできます。テストセッションがアクティブでないときに収集されたカバレッジ情報はダウンロードできません。
1 つの Web アプリケーションに複数のユーザーが同時にアクセスした場合、複数のユーザーのカバレッジデータが混在する場合があります。個々のユーザーに正しくカバレッジが関連付けられるようにするには、マルチユーザーモードを有効にします (「複数ユーザーからのカバレッジ収集」を参照)。
マルチユーザーモードを有効にするには、HTTP ヘッダーでユーザー固有の情報を提供するため、HTTP または HTTPS プロトコルが必要です。
マルチユーザーモードでは、WCF ベースのアプリケーションのカバレッジを収集するには、ASP.NET 互換モードが有効化されている必要があります。
マルチユーザーモードでは、同じ Web アプリケーションにアクセスしている他のユーザーの余分なカバレッジ情報が、「デフォルト」ユーザー (ID が指定されていないユーザー) に集約される場合があります。
マルチユーザーモードでは、マルチユーザーアプリケーションから収集されたカバレッジを個々のユーザーに割り当てる機能には制約があります。子スレッドのカバレッジデータは、実際にアプリケーションにアクセスしたユーザーではなく、「デフォルト」ユーザーに割り当てられます。
Web アプリケーションの初期化から収集されたカバレッジデータは、特定のユーザーではなく「デフォルト」ユーザーに割り当てられます。
WebSite プロジェクトは IIS サーバーによってリコンパイルされ、ターゲットアセンブリの名前が変わる可能性があるため、アプリケーションカバレッジスコープファイルを使用できません。Web アプリケーションでは、スコープファイルが使用できます。