このセクションでは、C++test を使って単体テストケースを自動生成する方法について説明します。テストケースを利用して、回帰テストのための機能スナップショットをキャプチャーできます。また、例外を引き起こす条件を特定することもできます。例外の発生は、不安定なシステムやアプリケーション、セキュリティ脆弱性 (サービスの拒否攻撃など)、パフォーマンスの低下、アプリケーションのレスポンス時間、頻繁なダウンタイムといった問題を引き起こすことがあります。

このセクションの内容 :

テストケースの自動生成

C++test は、テストコンフィギュレーションの [生成] タブで定義されたパラメーターに従ってテストケースを自動生成します。自動生成テストケースの形式は、CppUnit 形式に似ています。

新しい機能を検証するためのテスト生成

新しいコードの機能を検証したい場合、まず関数ごとに 1 - 2 個のテストを自動生成することを推奨します。

テストを自動生成して実行した後に、ユーザー定義テストケースを追加してテストスイートを拡張できます。詳細については「テストスイートの拡張と変更」を参照してください。

回帰テスト用のテストの生成

コードの現在の動作をキャプチャした回帰テストベースラインを作成したい場合 (たとえば確実にコードの動作が正しいことがわかっている場合) には、[ビルトイン] > [Unit Testing] > [Generate Regression Base] テストコンフィギュレーションを使用します。このテストコンフィギュレーションを実行すると、C++test は自動的にすべてのテスト結果を正しい結果として検証済みにします。

これらのテストを定期的に (たとえば 24 時間ごとに) 自動的に実行すれば、回帰テストでキャプチャした関数にコードの変更が影響を与えていないかどうかを検証できます。テスト結果が変わった場合、テストケースは失敗となり、問題があることを開発チームに知らせます。

今後のテストにおいて、最初のテストでキャプチャした動作と異なる動作が検出された場合、C++test はタスクをレポートします。

デフォルトの設定では、C++test は 1 つのファイルにつき 1 つのテストスイートを生成します。設定を変更すれば、1 つの関数につき 1 つのテストスイートを生成することもできます。 ( 「生成オプションのカスタマイズ」を参照してください。)

C++test は「セーフ(安全な)スタブ定義」を自動生成して危険な関数を置き換えます。セーフスタブ定義は、ほとんどのシステム I/O ルーチン (rmdir()、remove()、rename() など) について使用できます。また、C++test は見つからない関数定義と変数定義のためのスタブも自動生成できます (「スタブの自動生成とカスタマイズ」を参照)。ユーザー定義スタブは必要に応じて追加できます ( 「スタブの追加と変更」を参照)。

生成の手順

テストケースを生成するための全般的な操作手順は次のとおりです。

テストケースを生成するテストコンフィギュレーションを選択または作成します。
- C++test のビルトインテストコンフィギュレーションの詳細については「ビルトインテストコンフィギュレーション」を参照してください。
- ユーザー定義テストコンフィギュレーションの作成方法については「テストコンフィギュレーションとルールの設定」を参照してください。C++test に固有のテストコンフィギュレーションオプションについては「テストコンフィギュレーションの設定」を参照してください。
テストを実行します。
- GUI からのテスト方法については「GUI からのテスト」を参照してください。
  コマンドラインからのテスト方法については「コマンドラインインターフェイスからのテスト」を参照してください。
  
  ヒント - [テストケースエクスプローラー] ビューからのテスト生成
  [テストケースエクスプローラー] ビューから直接テストを生成することができます (このビューを表示するには、[Parasoft] > [ビューの表示] > [テストケースエクスプローラー] をクリックします)。[テストケースエクスプローラー] ビューでプロジェクトノードを選択して右クリックし、ショートカットメニューのからテスト生成用のテストコンフィギュレーションを実行します。
  
  テストケースエクスプローラーの詳細については「GUI の概要」を参照してください。
生成されたテストケースをレビューします。
- 詳細については「自動生成テストケース」を参照してください。
(オプション) 必要に応じてテスト生成の設定を調整します。
- 詳細については「[生成] タブ－テストケースの生成方法を定義する」を参照してください。

生成オプションのカスタマイズ

テストコンフィギュレーションの [生成] タブでは、さまざまな生成オプションをカスタマイズできます。

テストスイートのファイル名、場所、レイアウトの制御

テストスイートのファイル名、場所、粒度、およびレイアウトは、テストコンフィギュレーションの [生成] > [テストスイート] タブで制御できます。

デフォルトのテストスイート出力設定を変更するには、まず [テストスイート出力ファイルとレイアウト] から次のいずれかの定義済みオプションを選択します。

テスト対象関数ごとにテストスイートを生成
テスト対象ソース/ヘッダーファイルごとにテストスイートを生成
テスト対象ソースファイルごとにテストスイートを生成

[テスト対象関数ごとにテストスイートを生成] を選択した場合、このテストコンフィギュレーションを使って ATM サンプルプロジェクトをテストすると、次のようなテストスイートが生成されます ( ATM プロジェクトは C++test のインストールディレクトリの Examples/ATM ディレクトリにあります)。

Parasoft C++test 10.3.2 for Eclipse (Japanese) > Generating Test Cases for Regression Testing and Exception Finding > utgen.60.1.3.jpg

[テスト対象ソース/ヘッダーファイルごとにテストスイートを生成] を選択した場合、このテストコンフィギュレーションを使って ATM サンプルプロジェクトをテストすると、次のようなテストスイートが生成されます。

Parasoft C++test 10.3.2 for Eclipse (Japanese) > Generating Test Cases for Regression Testing and Exception Finding > utgen.60.1.4.jpg

定義済みオプションを選択した後、必要に応じてパターンをカスタマイズできます。たとえば、ソースと同じ場所にテストを生成するなどのカスタマイズです。次の変数を使用できます。

${test_ext} - C++test 固有のテストスイートファイルの拡張子 (.cpp)
${file_name} - ファイル名
${file_base_name} -拡張子なしのファイル名
${file_ext} - ファイルの拡張子
${file_loc} - ファイルの場所
${file_loc_rel} - ファイルの場所 (プロジェクトルートからの相対の場所)
${file_uid} - ファイルの一意な識別子
${function_name} - テスト対象の関数名
${function_uid} - テスト対象関数の一意な識別子 (関数のシグニチャ/マングル名からハッシュコード計算された識別子)
${src_file_name} - コンテキスト (ソース) ファイルの名前 (「コンテキストファイル」とは、テスト対象関数が定義されているコンパイル単位を記述したソースファイルのこと)
${src_file_base_name} - 拡張子なしのコンテキスト (ソース) ファイルの名前
${src_file_ext} - コンテキスト (ソース) ファイルの拡張子
${src_file_loc} - コンテキスト (ソース) ファイルの場所
${src_file_loc_rel} -コンテキスト (ソース) ファイルの場所 (プロジェクトルートからの相対パス)
${src_file_uid} - コンテキスト (ソース) ファイルの一意な識別子 (ソースファイルの場所からハッシュコード計算された識別子)

キー

file = テスト対象関数が定義されているソース/ヘッダーファイル
src file = テスト対象関数が定義されているコンパイル単位を定義するソースファイル

変数を削除することによって、テストスイートのオーバーラップが起こることがあります。その場合、C++test は「テストスイート出力ファイルパターンがあいまいです」というエラーメッセージを表示して警告します。

C++test は、生成されたテストの場所についての基本パターンの変更に関連する、次の内部チェックと制限を行います。

すべての自動生成テストは "インクルード" タイプです。テストスイートファイルはソースファイル/コンパイル単位によってまとめられます。
C++test は、異なるコンパイル単位の関数に対するテストケースが同じテストスイートファイル中に置かれることを防ごうとします (なぜなら、そのようなテストスイートファイルをオリジナルソースファイルとまとめることは不可能だからです)。
C++test は、テストスイートファイルパターンを (テスト対象のファイル、その名前、および場所などに関して) 明確に表すために使用できる、異なる変数を持ちます (これらの変数は、テスト対象のファイル、その名前、および場所などに基づいて解決されます)。
よく使用される手法の 1 つとして、オリジナルファイル/場所があるファイル/場所にテストスイートファイルを生成する方法があります。デフォルトパターンは次のとおりです。

${project_loc}/tests/autogenerated/${file_loc_rel}/
TestSuite_${file_base_name}_${file_ext}.${test_ext}

これは、あいまいではありません。なぜなら、${file_loc_rel} および ${file_base_name} 変数が使用されるからです (たとえプロジェクト中に同名のファイルが数多くあったとしても、そのファイルの場所は異なります。そして、その場所がテストスイートファイルの名前/場所の一部になります)。

利用できる変数は他にもあります。たとえば、${file_loc_rel} と ${file_base_name} の代わりに、パターンを明確にする ${file_uid} と${src_file_uid} を使用できます。${file_uid} と${src_file_uid} は、オリジナルファイルの場所のハッシュコードに解決されます。たとえば次のパターンからは

${project_loc}/tests/autogenerated/
TestSuite_${file_base_name}_${file_uid}_${file_ext}.${test_ext}

次のテストスイートが生成されます。

ATM/tests/autogenerated/TestSuite_Account_d7a5efc6_hxx.cpp

既存テストの追加と置き換え

既存のテストケースがある場合に、新しいテストケースで既存のテストスイートを置き換えるか、それとも新しいテストケースを既存のテストスイートに統合するかを指定できます。テストコンフィギュレーションの [生成] > [テストスイート] タブの [テストケースの生成 (既存のテストスイートを使用)] で、次のいずれかのオプションを選択します。

テストケースがない関数に対してテストケースを追加するテストケースがない関数についてテストケースを生成します。既存のテストへの影響や変更はありません。
すべての関数に対してテストケースを追加するすべての関数についてテストケースを生成します。既存のテストへの影響や変更はありません。
既存のテストスイートを置き換えるすべての関数についてテストケースを生成します。既存のテストスイートは削除されて新しいテストケースで置き換えられます。

C++test は、既存のテストケースがあるかどうかをどのように判定するのか ?

C++test は、テストスイートファイル中の CPPTEST_CONTEXT および CPPTEST_TEST_SUITE_INCLUDED_TO マーカーを探します。

Parasoft C++test 10.3.2 for Eclipse (Japanese) > Generating Test Cases for Regression Testing and Exception Finding > include.png

一般的なテスト生成の目的

以下の表では、一般的なテスト生成の目的を達成するためにテストコンフィギュレーションの生成オプションをどのように設定するかについて説明します。[生成] > [全般] タブの [テスト生成のパターン] および [生成] > [テストスイート] タブの [テストケースの生成 (既存のテストスイートを使用)] について説明します。

目的目的	設定
テストの初期セットを生成する	[テスト生成のパターン] で [テストスイートが存在しない場合にテストコードを生成する] チェックボックスをオンにします。他のパラメーター (関数アクセスレベル、出力ファイルの場所と名前など) を指定します。
新しい関数のテストを使って、既存の自動生成テストスイートを更新する (新しいテストスイートは生成しない)	[テスト生成のパターン] で [テスト対象のファイルが更新された場合にテストケースを生成する] および [テスト対象のファイルが更新されていない場合にテストケースを生成する] チェックボックスをオンにします。 [テストケースの生成 (既存のテストスイートを使用)] で [テストケースがない関数に対してテストケースを追加する] を選択します。他のパラメーター (関数アクセスレベル、出力ファイルの場所と名前など) を指定します。
自動生成テストケースと現行コードの同期を取る (欠けているテストを追加し、欠けているテストスイートを作成する)	[テスト生成のパターン] で [テストスイートが存在しない場合にテストコードを生成する]、[テスト対象のファイルが更新された場合にテストケースを生成する]、および [テスト対象のファイルが更新されていない場合にテストケースを生成する] チェックボックスをオンにします。 [テストケースの生成 (既存のテストスイートを使用)] で [テストケースがない関数に対してテストケースを追加する] を選択します。他のパラメーター (関数アクセスレベル、出力ファイルの場所と名前など) を指定します。
既存の自動生成テストを完全にリセットする	[テスト生成のパターン] で [テストスイートが存在しない場合にテストコードを生成する]、[テスト対象のファイルが更新された場合にテストケースを生成する]、および [テスト対象のファイルが更新されていない場合にテストケースを生成する] チェックボックスをオンにします。 [テストケースの生成 (既存のテストスイートを使用)] で [既存のテストスイートを置き換える] を選択します。他のパラメーター (関数アクセスレベル、出力ファイルの場所と名前など) を指定します。

目的に合ったレイアウトオプションの選択

このセクションでは、[テストスイート出力ファイルとレイアウト] オプションの設定方法について説明します。このオプションは、テストコンフィギュレーションの [生成] > [テストスイート] タブにあります。各オプションがプロジェクトで実際にどのように解釈されるかをわかりやすくするために、次のサンプルプロジェクトを使って、各オプションの影響について説明します。

MyProject
  headers
    MyClass.h // contains foo() definition
  sources
    MyClass.cpp // contains bar() and goo() definitions

1 つの関数につき 1 つのテストスイートを生成し、別のディレクトリにテストを置く

${project_loc}/tests/${file_loc_rel}/${file_name}/
TestSuite_${function_name}.${test_ext}

レイアウトの例:

MyProject
  headers
    MyClass.h
  sources
    MyClass.cpp
  tests
    headers
	MyClass.h
	    TestSuite_foo.cpp // contains tests for foo()
     sources
	MyClass.cpp
	  TestSuite_bar.cpp // contains tests for bar()
          TestSuite_goo.cpp // contains tests for goo()

Use ${project_loc}/tests/${file_loc_rel}/${file_name}/TestSuite_${function_name}.${test_ext}

レイアウトの例:

MyProject
 Header Files
   MyClass.h
 Source Files
   MyClass.cpp
 tests
   Header Files
     MyClass.h
	TestSuite_foo.cpp // contains tests for foo()
   Source Files
     MyClass.cpp
	TestSuite_bar.cpp // contains tests for bar()
	TestSuite_goo.cpp // contains tests for goo()

ソース/ヘッダーファイルごとに 1 つのテストスイートを生成し、別のディレクトリにテストを置く

${project_loc}/tests/${file_loc_rel}/
TestSuite_${file_base_name}_${file_ext}.${test_ext}

レイアウトの例:

MyProject
  headers
    MyClass.h
  sources
    MyClass.cpp
  tests
    headers
	TestSuite_MyClass_h.cpp // contains tests for foo()
    sources
	TestSuite_MyClass_cpp.cpp // contains tests for bar() and goo()

ソース/ヘッダーファイルごとに 1 つのテストスイートを生成し、テスト対象ファイルと同じ場所にテストを置く

${project_loc}/${file_loc_rel}/tests/
TestSuite_${file_base_name}_${file_ext}.${test_ext}

レイアウトの例:

MyProject
  headers
    MyClass.h
    tests
	TestSuite_MyClass_h.cpp // contains tests for foo()
  sources
    MyClass.cpp
    tests
	TestSuite_MyClass_cpp.cpp // contains tests for bar() and goo()

オリジナルソースファイルと同じ場所に自動生成テストスイートファイルを置く

${project_loc}/tests/${file_loc_rel}/${file_name}/
TestSuite_${function_name}.${test_ext}

レイアウトの例:

MyProject
  module1
    sources
	MyClass.cpp 
	tests
	  TestSuite_MyClass_cpp.cpp
    headers
	MyClass.h
	tests
	  TestSuite_MyClass_h.cpp

自動生成テストファイルを直感的な構造 (オリジナルファイルの外部) に置く

Use ${project}/tests/${source_loc_rel:/MyProject/module1}/
TestSuite_${source_base_name}_${source_ext}.${test_ext}

レイアウトの例:

MyProject
  module1
    sources
	MyClass.cpp
    headers
	MyClass.h
  tests
    TestSuite_MyClass_cpp.cpp
  headers
    TestSuite_MyClass_h.cpp

テストファイルを 1 つのディレクトリに置く (プロジェクトに重複名がない場合)

${project}/tests/TestSuite_${source_base_name}_${source_ext}.${test_ext}

レイアウトの例:

MyProject
  module1
    sources
	MyClass.cpp
    headers
	MyClass.h
  tests
    TestSuite_MyClass_cpp.cpp
    TestSuite_MyClass_h.cpp

「関数ごとに 1 つのテストスイート」モードを使用する

${project}/tests/${source_base_name}_${source_ext}/
TestSuite_${function_name}_${function_uid}.${test_ext}

レイアウトの例:

MyProject
  module1
    sources
	MyClass.cpp
    headers
	MyClass.h
  tests
    MyClass_cpp
	TestSuite_foo_1234abcd.cpp
	TestSuite_foo_4321abcd.cpp
	TestSuite_goo_4321dcba.cpp
    MyClass_h
	TestSuite_bar_2143badc.cpp

テスト ケースの自動生成

生成の手順

生成オプションのカスタマイズ

テスト スイートのファイル名、場所、レイアウトの制御

既存テストの追加と置き換え

一般的なテスト生成の目的

目的に合ったレイアウト オプションの選択

1 つの関数につき 1 つのテスト スイートを生成し、別のディレクトリにテストを置く

ソース/ヘッダー ファイルごとに 1 つのテスト スイートを生成し、別のディレクトリにテストを置く

ソース/ヘッダー ファイルごとに 1 つのテスト スイートを生成し、テスト対象ファイルと同じ場所にテストを置く

オリジナル ソース ファイルと同じ場所に自動生成テスト スイート ファイルを置く

自動生成テスト ファイルを直感的な構造 (オリジナル ファイルの外部) に置く

テスト ファイルを 1 つのディレクトリに置く (プロジェクトに重複名がない場合)

「関数ごとに 1 つのテスト スイート」モードを使用する

テストケースの自動生成

テストスイートのファイル名、場所、レイアウトの制御

目的に合ったレイアウトオプションの選択

1 つの関数につき 1 つのテストスイートを生成し、別のディレクトリにテストを置く

ソース/ヘッダーファイルごとに 1 つのテストスイートを生成し、別のディレクトリにテストを置く

ソース/ヘッダーファイルごとに 1 つのテストスイートを生成し、テスト対象ファイルと同じ場所にテストを置く

オリジナルソースファイルと同じ場所に自動生成テストスイートファイルを置く

自動生成テストファイルを直感的な構造 (オリジナルファイルの外部) に置く

テストファイルを 1 つのディレクトリに置く (プロジェクトに重複名がない場合)

「関数ごとに 1 つのテストスイート」モードを使用する