このセクションの内容

はじめに

実行中の Web アプリケーションサーバーで手動または自動での機能テストを実行し、カバレッジデータをモニターおよび収集できます。カバレッジデータおよびテスト結果を DTP サーバーにレポートし、データをマージして関連付けることもできます。アプリケーションカバレッジ情報を DTP のカバレッジエクスプローラー (詳細は DTP ユーザーズガイドの「カバレッジエクスプローラー」を参照) に表示し、アプリケーションがどの程度テストされたかや、テストの品質を知ることができます。

前提条件

カバレッジを収集するには、以下のコンポーネントが必要です。

Java JDK 1.8
Apache Maven、Gradle、または Ant ビルドシステム

Java JDK 8 でのバイトコードの改行の計算方法は、それより前のバージョンの Java と異なります。そのため、カバレッジの結果が変わる場合があります。

ソース管理システムを使用する場合、適切にソース管理システムを設定します。「ソース管理システムの設定」を参照してください。

プロセスの概要

Jtest には、カバレッジエージェントというコンポーネントが付属しています。カバレッジエージェントは、テスト対象アプリケーション (AUT) にアタッチされ、AUT の実行されたコードをモニターします。AUT にカバレッジエージェントをアタッチすると、REST API が公開され、テストおよびテストセッションの開始および終了をマークできるようになります。

カバーされるコード行に関するメタデータ (静的カバレッジデータ) は、アプリケーションのビルドプロセスの一環として特別なテストコンフィギュレーションを実行することによって収集されます。テスト実行時には、カバレッジエージェントとのやりとりが動的カバレッジマップに書き込まれます。このマップには、実行されたコード行を示すマーカーが記録されます。

Jtest は、この動的カバレッジマップと静的カバレッジデータを処理します。カバレッジ情報を保存した coverage.xml が生成され、DTP に送信されます。DTP は、カバレッジデータを受信すると、カバレッジイメージにロードします。カバレッジイメージは、同じビルド ID を持つ複数の実行のカバレッジデータを集約することを可能する特別なタグです。カバレッジイメージにより、カバレッジ情報と特定のテストを関連付けることが可能になります。

テスト実行ツールの結果 (SOAtest のテスト、手動テストなど) も report.xml という形で DTP に送信されます。カバレッジデータファイルとレポートのビルド ID が一致すると、DTP はそれらのデータを関連付け、カバレッジ情報に表示します。

カバレッジ収集のためのテスト対象アプリケーション (AUT) の構成

AUT の準備には、以下の手順が含まれます。

静的カバレッジファイルを生成します。静的カバレッジファイルには、ユーザークラス、メソッド、行などの情報が記録されます。詳細は「静的カバレッジファイルの生成」で説明されています。
AUT にカバレッジエージェントをアタッチします。「Attaching the Coverage Agent to the AUT」を参照してください。
カバレッジエージェントには、ファイルを出力したり、スコープを決定するためのデフォルトの設定が含まれていますが、アプリケーションカバレッジの目的に合わせて構成ファイルのプロパティを設定できます。詳細については「Configuring the Coverage Agent」を参照してください。

静的カバレッジファイルの生成

静的カバレッジファイルを含むパッケージは、ビルドプロセス中に Jtest Maven、Gradle または Ant プラグインによって生成されます。カバレッジとAUTのソースコードが正しく照合されるよう、AUT のビルドに使用したのと同じビルドシステムと Java のバージョンを使用してパッケージを生成してください。

静的カバレッジファイルは、ソースコードがあるビルドマシン上で生成される必要があります。生成された静的カバレッジファイルは、コードが変更されるまで使用できます。

静的カバレッジファイルを含むパッケージを生成するには、AUT のメインディレクトリで、次のコマンドを実行します。

Maven

mvn package jtest:monitor

Gradle

gradle assemble jtest-monitor -I [INSTALL]/integration/gradle/init.gradle

Ant

ant -lib [INSTALL]/integration/ant/jtest-ant-plugin.jar -listener com.parasoft.Listener jtest-monitor

Ant は、モニタータスクを実行する前にすべてのクラスをコンパイルすることを要求します。ビルドの前にプロジェクトを変更し、正しい順序になるようタスクを設定してください。以下はターゲットの設定例です。

<target name="jtest-monitor" depends="compile">
             <jtest:monitor/>
</target>

monitor.zip パッケージが生成され、ビルド出力ディレクトリに置かれます。その場所へのパスがコンソールに出力されます。

このパッケージには以下が含まれます。

static_coverage.xml - 静的カバレッジ情報が保存されています。
agent.jar - Jtest Java カバレッジエージェントの jar ファイルです。
agent.properties - エージェントの設定ファイルです。ビルドプロセス実行中に生成されたスコープパラメーターや、他の属性が保存されています。
agent.sh/agent.bat - エージェントを AUT プロセスにアタッチするために必要な Jtest Java エージェントの VM 引数を生成するスクリプトです。

テスト対象アプリケーション (AUT) へのカバレッジエージェントのアタッチ

monitor.zip パッケージの内容をサーバーマシンに展開します。
gent.sh/agent.bat スクリプトを実行して Jtest Java エージェントの VM 引数を生成します。monitor.zip パッケージのスクリプトは、コンソールに -javaagent VM 引数を出力します。エージェントを AUT にアタッチするには、この引数が必要です。結果は runtime_coverage サブディレクトリに出力されます。
```
Jtest Agent VM argument:
-javaagent:"[path to agent dir]\agent.jar"=settings="[path to agent properties file]\agent.properties",runtimeData="[path to monitor dir]\monitor\ runtime_coverage"
```
アプリケーションサーバーの起動スクリプトに -javaagent フラグを追加してサーバーを再起動します (「Web アプリケーションカバレッジのチュートリアル」のステップ 5c を参照)。AUT にカバレッジエージェントをアタッチすると、エージェントを制御するための REST API が公開されます。
ブラウザーに次の URL を入力して、カバレッジエージェントが設定されていることを確認します。
[application_host]:8050/status/
アプリケーションが適切に構成されている場合、API は次のデータを返します。

HTTPS 経由での Coverage Agent への接続

デフォルトでは、カバレッジエージェントは HTTP プロトコル経由で利用できます。HTTPS 経由で接続するには、agent.sh/agent.bat スクリプトを実行した後に出力された Jtest Agent VM 引数に次のオプションを追加し、カバレッジエージェントを設定する必要があります (「Attaching the Coverage Agent to the AUT」のステップ 2 を参照)。

useSSL=true
certificateStorePath=[キーストアファイルへのパス]
certificateStorePassword=[キーストアファイルのパスワード]
certificateStoreType=[キーストアファイルのフォーマット]
certificateKeyPassword=[SSL 証明書へのパスワード]

アプリケーションサーバーの起動スクリプトに追加される Jtest Agent VM 引数は次のようになります。

-javaagent:"[path to agent dir]\agent.jar"=settings="[path to agent properties file]\agent.properties",runtimeData="[path to monitor dir]\monitor\ runtime_coverage",useSSL=true,certificateStorePath="F:\certificates\keystore.jks",certificateStorePassword=4!ij?ffQMk,certificateStoreType="JKS",certificateKeyPassword=dhW!34

こうすると、カバレッジエージェントはテスト対象アプリケーション用に設定された SSL 証明書を認識できるようになります。

ヒント

アプリケーション用に SSL 証明書を設定する方法はいろいろあります。ブラウザーを使用している場合、信頼された証明書のリストに証明書を追加するオプションがあるかもしれません。別の Java プログラムを使用している場合、Java VM の信頼された証明書ファイルに証明書をインポートするか、Java クライアントのコマンドラインに次の Java VM 引数を追加できます。

-Djavax.net.ssl.trustStore=[キーストアファイルへのパス]
-Djavax.net.ssl.trustStoreType=[キーストアファイルのフォーマット]
-Djavax.net.ssl.trustStorePassword=[キーストアファイルのパスワード]

カバレッジエージェントの構成

通常、アプリケーションサーバーには複数のアプリケーションがあります。さらに、共通サーバークラスまたはアプリケーションライブラリはインストゥルメントする必要がありません。Jtest がカバレッジを収集する必要があるのは、アプリケーションのソースコードだけです。すべてのクラスをインストゥルメントすると、時間がかかりすぎる場合があります。

サーバー上のアプリケーションは既にビルドされており、ソースコードからどのクラスが生成されたかに関する情報を収集することはできません。このため、Jtest エージェントのスコープを適切に設定することが非常に重要です。

カバレッジエージェントは、以下の方法で設定できます。

agent.properties ファイルを使用して
-javaagent への引数を使用して

agent.properties ファイルは monitor.zip パッケージに生成されます (「Generating the Static Coverage File」を参照)。このファイルでプロパティを変更してカバレッジエージェントを適切に設定できます。以下は、agent.properties ファイルを使ってカバレッジエージェントを設定する例です。

jtest.agent.runtimeData=[path to runtime_coverage directory]
jtest.agent.includes=com/myapp/data,com/myapp/common/**
jtest.agent.excludes=com/myapp/transport/*,com/myapp/autogen/**
jtest.agent.autostart=false

-javaagent にプロパティを追加するには、jtest.agent 接頭辞を削除して名前を変更する必要があります。例:

-javaagent:"[path to agent dir]\agent.jar"=settings="[path to agent properties file]\agent.properties",autostart=true

重要

-javaagent への引数として指定されたプロパティは、agent.properties ファイルで設定されたプロパティを上書きします。上記の例の場合、autostart=true はagent.properties ファイルの jtest.agent.autostart=false を上書きします。

以下の表は、カバレッジエージェントを設定するために使用できる全プロパティの一覧です。

プロパティ	説明
`jtest.agent.runtimeData`	実行時データが保存される場所です。次の例では、C:/tmp/myapp/ ディレクトリに `runtime_` という接頭辞の付いたファイルが作成されます。 `'C:/tmp/myapp/runtime'`
`jtest.agent.includes`	インストゥルメントするクラスのパターンをカンマ区切りのリストで指定します。次のワイルドカードがサポートされています。 `` はゼロ個以上の文字に一致します。 `` は複数のディレクトリレベルに一致します。次の例では、`com.myapp.data` パッケージのすべてのクラスと `com.myapp.common` で始まるパッケージおよびサブパッケージのすべてのクラスがインストゥルメントされます。 `com/myapp/data/,com/myapp/common/**`
`jtest.agent.excludes`	インストゥルメントから除外するクラスのパターンをカンマ区切りのリストで指定します。次のワイルドカードがサポートされています。 `` はゼロ個以上の文字に一致します。 `` は複数のディレクトリレベルに一致します。次の例では、`com.myapp.transport` パッケージのすべてのクラスと `com.myapp.autogen` で始まるパッケージおよびサブパッケージのすべてのクラスがインストゥルメントから除外されます。 `com/myapp/transport/,com/myapp/autogen/**`
`jtest.agent.autostart`	実行時データの自動収集を有効/無効にします。デフォルト値は `true` です。
`jtest.agent.port`	エージェントの通信ポートを設定します。デフォルト値は `8050` です。
`jtest.agent.debug`	コンソールへの冗長な出力を有効/無効にします。デフォルト値は `false` です。
`jtest.agent.collectTestCoverage`	テストケースのカバレッジ情報の収集を有効/無効にします。デフォルト値は `false` です。
`jtest.agent.enableMultiuserCoverage`	複数ユーザーの Web アプリケーションカバレッジの収集を有効/無効にします。デフォルト値は `false` です。このプロパティを true に設定すると、Coverage Agent Manager を使って複数ユーザーのカバレッジを収集できます。詳細については Parasoft DTP ドキュメントの「Coverage Agent Manager (CAM)」のセクションを参照してください。
`jtest.agent.associateTestsWithCoverage`	カバレッジと特定のテストの関連付けを有効/無効にします。デフォルト値は `true` です。
`jtest.agent.testid`	エージェント実行時にカバレッジが関連付けられる初期テスト ID です。
`jtest.agent.enableJacoco`	Jacoco エンジンを使用した行カバレッジの収集を有効/無効にします。

テストを実行してランタイムカバレッジを収集する

SOAtest を使用して機能テストを実行することも、Coverage Agent Manager (CAM) とともに手動でテストを実行することもできます。テストセッション実行の詳細については、SOAtest ユーザーガイドまたは CAM のマニュアルを参照してください。

テスト実行時の処理

SOAtest はランタイムカバレッジを収集し、静的カバレッジとマージしたデータを DTP にアップロードします。
CAM はランタイムカバレッジとテスト結果を収集します。これらは手動でダウンロードする必要があります。次に行う操作
- 手動で DTP にテスト結果をアップロードします。「DTP への結果のアップロード」を参照してください。
- ランタイムカバレッジと静的カバレッジをマージし、DTP にアップロードします。「静的カバレッジおよびランタイムカバレッジデータのマージと DTP へのアップロード」を参照してください。

DTP への結果のアップロード

CAM とともに Jtest を使用する場合

DTP のインターフェイスで [Report Center] に移動します。
歯車のアイコンをクリックして [Report Center 設定] > [その他の設定] > [Report Center の管理] > [ツール] > [Data Collector アップロードフォーム] をクリックします (管理者権限が必要です)。
[ファイルの選択] をクリックし、CAM からダウンロードした report.xml ファイルを選択します。
[アップロード] ボタンをクリックし、ファイルを DTP にアップロードします。

SOAtest とともに Jtest を使用する場合、テスト実行時にテスト結果が自動的に DTP に送信されます。https://docs.parasoft.com にある SOAtest ユーザーガイドの「アプリケーションカバレッジ」セクションを参照してください。

静的カバレッジおよびランタイムカバレッジデータを DTP に送信する

CAM とともに Jtest を使用する場合

Jtest で DTP、スコープ、作成者が適切に設定されていることを確認します。「DTP への接続」、「DTP への結果の送信とソースコードのパブリッシュ」、「設定」を参照してください。
適切にカバレッジデータをマージするには、jtestcli.properties ファイルで以下の設定を行います。
- - report.coverage.images - DTP Server でカバレッジイメージを作成するために使用するタグのセットを指定します。カバレッジイメージは、同じビルド ID を持つ複数の実行のカバレッジデータを集約する際に一意の識別子となります。DTP は、1 レポートにつき最大 3 つまでのカバレッジイメージをサポートします。
- session.tag - 同じビルドの個々のテスト実行を区別する一意の識別子を指定します。
- build.id - 結果にラベル付けするためのビルド識別子を指定します。ビルドごとに固有の値を使用することも、特定のビルドで実行される複数のテストセッションで同じ値を使用することもできます。
ランタイムカバレッジファイルおよび静的カバレッジファイルを同じマシンにコピーし、次のスイッチを指定して jtestcli を実行します。
- -runtimeCoverage: CAM でダウンロードする実行時カバレッジへのパスを指定します (詳細については DTP のマニュアルの「Coverage Agent Manager (CAM)」セクションを参照)。単一のテストセッションのカバレッジ情報を保存した個々の .data ファイルへのパスを指定することも、複数のテストセッションの .data ファイルを含むフォルダーへのパスを指定することもできます。
- -staticCoverage: 静的カバレッジファイルへのパスを指定します (「静的カバレッジファイルの生成」を参照)。
- -config: カバレッジデータをマージするために実行する必要のある Calculate Application Coverage テストコンフィギュレーションの URL を指定します。
- -publish: マージされたカバレッジを DTP に送信します。
```
jtestcli -staticcoverage [path to static_coverage.xml file] -runtimecoverage [path/dir] -config "builtin://Calculate Application Coverage" -publish
```
  これによって、coverage.xml ファイルに実行時カバレッジデータを書き込みできるよう、静的カバレッジデータだけでなく、テスト実行時に生成される実行時データカバレッジにも Jtest がアクセスできるようになります。

SOAtest とともに Jtest を使用する場合、テスト実行時に静的カバレッジおよび動的カバレッジデータが自動的に DTP に送信されます。https://docs.parasoft.com にある SOAtest ユーザーガイドの「アプリケーションカバレッジ」セクションを参照してください。

DTP でのカバレッジの参照

DTP のカバレッジエクスプローラーを使用して、テスト実行時のアプリケーションカバレッジを参照できます。カバレッジ情報の参照についての詳細は、https://docs.parasoft.com にある DTP ユーザーガイドを参照してください。

既知の制限事項

1 つの Web アプリケーションに複数のユーザーが同時にアクセスした場合、複数のユーザーのカバレッジデータが混在する場合があります。個々のユーザーに正しくカバレッジが関連付けられるようにするには、マルチユーザーモードを有効にします (「Configuring the Coverage Agent」を参照)。
マルチユーザーモードを有効にするには、HTTP ヘッダーでユーザー固有の情報を提供するため、HTTP または HTTPS プロトコルが必要です。
マルチユーザーモードでは、同じ Web アプリケーションにアクセスしている他のユーザーの余分なカバレッジ情報が、「デフォルト」ユーザー (ID が指定されていないユーザー) に集約される場合があります。
マルチユーザーモードでは、マルチユーザーアプリケーションから収集されたカバレッジを個々のユーザーに割り当てる機能には制約があります。子スレッドのカバレッジデータは、実際にアプリケーションにアクセスしたユーザーではなく、「デフォルト」ユーザーに割り当てられます。
マルチユーザーモードでは、Jacoco エンジンを使用したカバレッジの収集はサポートされていません。
Web アプリケーションの初期化から収集されたカバレッジデータは、特定のユーザーではなく「デフォルト」ユーザーに割り当てられます。

Page tree

Application Coverage