このセクションの内容

はじめに

実行中の Web アプリケーションサーバーで手動または自動での機能テストを実行し、カバレッジデータをモニターおよび収集できます。カバレッジデータおよびテスト結果を DTP サーバーにレポートし、データをマージして関連付けることもできます。アプリケーションカバレッジ情報を DTP のカバレッジエクスプローラー (詳細は DTP ユーザーズガイドの「カバレッジエクスプローラー」を参照) に表示し、アプリケーションがどの程度テストされたかや、テストの品質を知ることができます。

前提条件

カバレッジを収集するには、以下のコンポーネントが必要です。

Java JDK 1.5
Apache Maven、Gradle、または Ant ビルド

Java JDK 8 でのバイトコードの改行の計算方法は、それより前のバージョンの Java と異なります。そのため、カバレッジの結果が変わる場合があります。

ソース管理システムを使用する場合、ソース管理システムが適切に設定されていることを確認してください。「ソース管理システムの設定」を参照してください。

プロセスの概要

Jtest には、カバレッジエージェントというコンポーネントが付属しています。カバレッジエージェントは、テスト対象アプリケーション (AUT) にアタッチされ、AUT の実行されたコードをモニターします。AUT にカバレッジエージェントをアタッチすると、REST API が公開され、テストおよびテストセッションの開始および終了をマークできるようになります。

カバーされるコード行に関するメタデータ (静的カバレッジデータ) は、アプリケーションのビルドプロセスの一環として特別なテストコンフィギュレーションを実行することによって収集されます。テスト実行時には、カバレッジエージェントとのやりとりが動的カバレッジマップに書き込まれます。このマップには、実行されたコード行を示すマーカーが記録されます。

Jtest は、この動的カバレッジマップと静的カバレッジデータを処理します。カバレッジ情報を保存した coverage.xml が生成され、DTP に送信されます。DTP は、カバレッジデータを受信すると、カバレッジイメージにロードします。カバレッジイメージは、同じビルド ID を持つ複数の実行のカバレッジデータを集約することを可能にする特別なタグです。カバレッジイメージにより、カバレッジ情報と特定のテストを関連付けることが可能になります。

テスト実行ツールの結果 (SOAtest のテスト、Engine によって実行されたテスト、手動テストなど) も report.xml という形で DTP に送信されます。カバレッジデータファイルとレポートのビルド ID が一致すると、DTP はそれらのデータを関連付け、カバレッジ情報に表示します。

カバレッジ収集のためのテスト対象アプリケーション (AUT) の構成

AUT の準備には、以下の手順が含まれます。

静的カバレッジファイルを生成します。静的カバレッジファイルには、ユーザークラス、メソッド、行などの情報が記録されます。詳細は「静的カバレッジファイルの生成」で説明されています。
AUT にカバレッジエージェントをアタッチします。「テスト対象アプリケーション (AUT) へのカバレッジエージェントのアタッチ」を参照してください。
カバレッジエージェントには、ファイルを出力したり、スコープを決定するためのデフォルトの設定が含まれていますが、アプリケーションカバレッジの目的に合わせて構成ファイルのプロパティを設定できます。詳細については「カバレッジエージェントの構成」を参照してください。

静的カバレッジファイルの生成

静的カバレッジファイルは、ビルドプロセス中に Jtest Maven、Gradle または Ant プラグインによって生成されます。このファイルは、ソースコードがあるビルドマシン上で生成される必要があります。生成された静的カバレッジファイルは、コードが変更されるまで使用できます。

静的カバレッジファイルを生成するには、AUT のメインディレクトリで、次のコマンドを実行します。

Maven の場合

mvn package jtest:monitor

Gradle の場合

gradle assemble jtest-monitor -I [INSTALL]/integration/gradle/init.gradle

Ant の場合

ant -lib [INSTALL]/integration/ant/jtest-ant-plugin.jar -listener com.parasoft.Listener jtest-monitor

Ant は、モニタータスクを実行する前にすべてのクラスをコンパイルすることを要求します。ビルドの前にプロジェクトを変更し、正しい順序になるようタスクを設定してください。以下はターゲットの設定例です。

<target name="jtest-monitor" depends="compile">
             <jtest:monitor/>
</target>

monitor.zip パッケージが生成され、ビルド出力ディレクトリに置かれます。その場所へのパスがコンソールに出力されます。

このパッケージには以下が含まれます。

static_coverage.xml - 静的カバレッジ情報が保存されています。
agent.jar - Jtest Java カバレッジエージェントの jar ファイルです。
agent.properties - エージェントの設定ファイルです。ビルドプロセス実行中に生成されたスコープパラメーターや、他の属性が保存されています。
agent.sh/agent.bat - エージェントを AUT プロセスにアタッチするために必要な Jtest Java エージェントの VM 引数を生成するスクリプトです。

テスト対象アプリケーション (AUT) へのカバレッジエージェントのアタッチ

monitor.zip パッケージの内容をサーバーマシンに展開します。
agent.sh/agent.bat スクリプトを実行して Jtest Java エージェントの VM 引数を生成します。monitor.zip パッケージのスクリプトは、コンソールに -javaagent VM 引数を出力します。エージェントを AUT にアタッチするには、この引数が必要です。結果は runtime_coverage サブディレクトリに出力されます。
Jtest Agent VM argument: -javaagent:"[path to agent dir]\agent.jar"=settings="[path to agent properties file]\agent.properties",runtimeData="[path to monitor dir]\monitor\ runtime_coverage"
アプリケーションサーバーの起動スクリプトに -javaagent フラグを追加してサーバーを再起動します (「Web アプリケーションカバレッジのチュートリアル」のステップ 5c を参照)。AUT にカバレッジエージェントをアタッチすると、エージェントを制御するための REST API が公開されます。
ラウザーに次の URL を入力して、カバレッジエージェントが設定されていることを確認します。
[application_host]:8050/status/
アプリケーションが適切に構成されている場合、API は次のデータを返します。

カバレッジエージェントの構成

通常、アプリケーションサーバーには複数のアプリケーションがあります。さらに、共通サーバークラスまたはアプリケーションライブラリはインストゥルメントする必要がありません。Jtest がカバレッジを収集する必要があるのは、アプリケーションのソースコードだけです。すべてのクラスをインストゥルメントすると、時間がかかりすぎる場合があります。

サーバー上のアプリケーションは既にビルドされており、ソースコードからどのクラスが生成されたかに関する情報を収集することはできません。このため、Jtest エージェントのスコープを適切に設定することが非常に重要です。

カバレッジエージェントは、以下の方法で設定できます。

agent.properties ファイルを使用して
-javaagent への引数を使用して

agent.properties ファイルは monitor.zip パッケージに生成されます (「静的カバレッジファイルの生成」を参照)。このファイルでプロパティを変更してカバレッジエージェントを適切に設定できます。以下は、agent.properties ファイルを使ってカバレッジエージェントを設定する例です。

jtest.agent.runtimeData=[path to runtime_coverage directory]
jtest.agent.includes=com/myapp/data,com/myapp/common/**
jtest.agent.excludes=com/myapp/transport/*,com/myapp/autogen/**
jtest.agent.autostart=false

-javaagent にプロパティを追加するには、jtest.agent 接頭辞を削除して名前を変更する必要があります。例:

-javaagent:"[path to agent dir]\agent.jar"=settings="[path to agent properties file]\agent.properties",autostart=true

-javaagent への引数として渡されたプロパティは、agent.properties ファイルで設定されたプロパティを上書きします。上記の例の場合、autostart=true はagent.properties ファイルの jtest.agent.autostart=false を上書きします。

以下の表は、カバレッジエージェントを設定するために使用できる全プロパティの一覧です。

プロパティ	説明
`jtest.agent.runtimeData`	実行時データが保存される場所です。次の例では、C:/tmp/myapp/ ディレクトリに `runtime_` という接頭辞の付いたファイルが作成されます。 `'C:/tmp/myapp/runtime'`
`jtest.agent.includes`	インストゥルメントするクラスのパターンをカンマ区切りのリストで指定します。次のワイルドカードがサポートされています。 * はゼロ個以上の文字に一致します。 ** は複数のディレクトリレベルに一致します。次の例では、`com.myapp.data` パッケージのすべてのクラスと `com.myapp.common` で始まるパッケージおよびサブパッケージのすべてのクラスがインストゥルメントされます。 `com/myapp/data/,com/myapp/common/*`
`jtest.agent.excludes`	インストゥルメントから除外するクラスのパターンをカンマ区切りのリストで指定します。次のワイルドカードがサポートされています。 * はゼロ個以上の文字に一致します。 ** は複数のディレクトリレベルに一致します。次の例では、`com.myapp.transport` パッケージのすべてのクラスと `com.myapp.autogen` で始まるパッケージおよびサブパッケージのすべてのクラスがインストゥルメントから除外されます。 `com/myapp/transport/,com/myapp/autogen/*`
`jtest.agent.autostart`	実行時データの自動収集を有効/無効にします。デフォルト値は `true` です。
`jtest.agent.port`	エージェントの通信ポートを設定します。デフォルト値は `8050` です。
`jtest.agent.debug`	コンソールへの冗長な出力を有効/無効にします。デフォルト値は `false` です。
`jtest.agent.collectTestCoverage`	テストケースのカバレッジ情報の収集を有効/無効にします。デフォルト値は `false` です。
`jtest.agent.enableMultiuserCoverage`	複数ユーザーの Web アプリケーションカバレッジの収集を有効/無効にします。デフォルト値は `false` です。このプロパティを true に設定すると、Coverage Agent Manager を使って複数ユーザーのカバレッジを収集できます。詳細については Parasoft DTP ドキュメントの「Coverage Agent Manager (CAM)」のセクションを参照してください。
`jtest.agent.associateTestsWithCoverage`	カバレッジと特定のテストの関連付けを有効/無効にします。デフォルト値は `true` です。
`jtest.agent.testid`	エージェント実行時にカバレッジが関連付けられる初期テスト ID です。

テストコンフィギュレーションと実行

SOAtest を使用して機能テストを実行したり (テストコンフィギュレーションの設定については、『SOAtest ユーザーズガイド』の「SOAtest のアプリケーションカバレッジ」を参照してください)、手動テストを実行できます。テストセッション終了時に、SOAtest で指定されたディレクトリの runtime_coverage_[timestamp].data ファイルにカバレッジが保存されます。この情報と静的カバレッジデータをマージして coverage.xml ファイルを作成し、DTP にアップロードすることができます。

DTP への結果のアップロード

CAM を使用する場合

DTP のインターフェイスで [Report Center] に移動します。
歯車のアイコンをクリックして [Report Center 設定] > [その他の設定] > [Report Center の管理] > [ツール] > [Data Collector アップロードフォーム] をクリックします (管理者権限が必要です)。
[ファイルの選択] をクリックし、CAM からダウンロードした report.xml ファイルを選択します。
[アップロード] ボタンをクリックし、ファイルを DTP にアップロードします。

SOAtest を使用する場合

SOAtest を使用してテストを実行した場合、SOAtest の XML レポートを DTP にアップロードします。詳細については、『SOAtest ユーザーズガイド』の「SOAtest のアプリケーションカバレッジ」の「Uploading Rest Results to DTP」を参照してください。

動的カバレッジデータファイルの生成と DTP へのアップロード

Jtest で DTP、スコープ、作成者が適切に設定されていることを確認します。「DTP への接続」、「DTP への結果の送信とソースコードのパブリッシュ」、「設定.」を参照してください。
適切にカバレッジデータをマージするには、jtestcli.properties ファイルで以下の設定を行います。

- report.coverage.images - DTP でカバレッジイメージを作成するために使用するタグのセットを指定します。カバレッジイメージは、同じビルド ID を持つ複数の実行のカバレッジデータを集約する際に一意の識別子となります。DTP は、1 レポートにつき最大 3 つまでのカバレッジイメージをサポートします。
session.tag - 同じビルドの個々のテスト実行を区別する一意の識別子を指定します。
build.id ="[value]"- 結果にラベル付けするためのビルド識別子を指定します。ビルドごとに固有の値を使用することも、特定のビルドで実行される複数のテストセッションで同じ値を使用することもできます。

次の引数で必要なデータを指定して Calculate Application Coverage テストコンフィギュレーションを実行します。
jtestcli -staticcoverage [path to static_coverage.xml file] -runtimecoverage [path/dir] -config "builtin://Calculate Application Coverage"
これによって、coverage.xml ファイルに実行時カバレッジデータを書き込みできるよう、静的カバレッジデータだけでなく、テスト実行時に生成される実行時データカバレッジにも Jtest がアクセスできるようになります。

DTP でのカバレッジの参照

DTP のカバレッジエクスプローラーを使用して、テスト実行時のアプリケーションカバレッジを参照できます。カバレッジ情報の参照については、DTP のマニュアルを参照してください。

既知の制限事項

1 つの Web アプリケーションに複数のユーザーが同時にアクセスした場合、複数のユーザーのカバレッジデータが混在する場合があります。個々のユーザーに正しくカバレッジが関連付けられるようにするには、マルチユーザーモードを有効にします (「カバレッジエージェントの構成」を参照)。
マルチユーザーモードを有効にするには、HTTP ヘッダーでユーザー固有の情報を提供するため、HTTP または HTTPS プロトコルが必要です。
マルチユーザーモードでは、同じ Web アプリケーションにアクセスしている他のユーザーの余分なカバレッジ情報が、「デフォルト」ユーザー (ID が指定されていないユーザー) に集約される場合があります。
マルチユーザーモードでは、マルチユーザーアプリケーションから収集されたカバレッジを個々のユーザーに割り当てる機能には制約があります。子スレッドのカバレッジデータは、実際にアプリケーションにアクセスしたユーザーではなく、「デフォルト」ユーザーに割り当てられます。
Web アプリケーションの初期化から収集されたカバレッジデータは、特定のユーザーではなく「デフォルト」ユーザーに割り当てられます。