このセクションの内容:

はじめに

Azure DevOps は、Microsoft の SaaS (Software as a service) プラットフォームであり、ソフトウェアの開発・デプロイのためのエンドツーエンドの DevOps プログラミング ツールを提供します。DTP を Azure DevOps Server Express および Azure DevOps Server に接続することで、以下の機能が提供されます。

• 違反エクスプローラーとテスト エクスプローラーから Azure DevOps で手動で欠陥を作成する機能。
• Azure DevOps のシステム要件で Parasoft のテスト結果を送信、表示、および更新する機能 (「Sending Test Data to Azure DevOps」を参照)。
  • Azure DevOps のトレーサビリティ レポートを使用してトレーサビリティを追跡することを計画しているユーザー向け。これを行うには、最初に Parasoft DTP から Azure DevOps にテスト結果を送信する必要があります。
• テスト、静的解析結果、コード レビューを Azure DevOps の要件から追跡する機能 (「Viewing Results in Azure DevOps」を参照)。
  • Parasoft DTP のトレーサビリティ レポートを使用してトレーサビリティを追跡することを計画しているユーザー向け。これを行うには、@req を使用して、Parasoft の自動テストを Azure DevOps 要件に関連付けます。

設定

この設定は、Parasoft 管理者が一度だけ行う必要があります。 

DTP を Azure DevOps に接続する

1. 設定ドロップダウン メニュー (歯車のアイコン) から [Report Center 設定] を選択します。
2. [External System] を選択して [設定の編集] をクリックし、[システム タイプ] ドロップダウンメニューから Azure DevOps を選択します。
3. [Enabled] オプションを有効化します。
4. [名前] フィールドにサーバー名を入力します。名前は必須ですが、接続設定に影響したり、他のインターフェイスで表示されたりすることはありません。
5. [アプリケーション URL] フィールドに Azure DevOps システムの URL を入力します。Azure DevOps のコレクション名を含める必要があります。
6. [表示 URL] フィールドは、Azure DevOps システムへのリンクが Web ブラウザーに表示されるときに Parasoft DTP ページに表示される URL を定義します。通常、これは上記のアプリケーション URL フィールドと同じである必要があります。ただし、たとえば、リバース プロキシ環境で作業していて、Parasoft DTP を使用するユーザーのローカル Web ブラウザーから Azure DevOps へのリンクが Parasoft DTP サーバーとは異なる場合は、違うことがあります。(例: https://dev.azure.com/{yourorganization})
7. ユーザー名と Azure DevOps APIトークンを適切なフィールドに入力します。(以下の「Azure DevOpsトークンの生成」を参照してください。)ログインには、[プロジェクトの関連付け] セクションで指定されたプロジェクトで Azure DevOps の課題を作成するのに十分な権限が必要です。 
8. [接続のテスト] をクリックして設定を確認し、[確認] をクリックします。
   

Azure DevOps トークンを生成する

1. Azure DevOps (https://dev.azure.com/{yourorganization}) で自分の組織にサインインします。

2. ホームページからユーザー設定を開き、[Personal Access Tokens] を選択します。
   

3. [+New Token] を選択します。
4. トークンに名前を付け、トークンを使用する組織を選択してから、トークンの有効期間を選択します。

5. このトークンのスコープを選択して、特定のタスクを承認します。

   1. [Scopes] で [Custom defined] を選択します。
   2. [Show all scopes] をクリックします。
   3. [Test Management] を選択し、[Read & write] を有効にします。
   4. [Tokens] を選択し、[Read & manage] を有効にします。
   5. [Work items] を選択し、[Read, write, & manage] を有効にします。
   6. [保存] をクリックします。
6. 完了したら、必ずトークンをコピーしてください。セキュリティ上の理由から、再度表示されることはありません。このトークンをパスワードとして使用します。

個人用アクセス トークンが作成されると、Azure DevOps での認証にユーザー資格情報が必要な場所ならどこでも使用できます。

Requirements Traceability Report の有効化

Azure DevOps に保存された要件と、Parasoft ツール (C/C++test、dotTEST、Jtest) から DTP に送信されたテスト データ、静的解析データ、ビルド レビュー データとの間のトレーサビリティを実証するのに役立つウィジェットとレポートを生成するように、DTP を構成できます。

Traceability Report にコード レビューと静的解析情報を含める場合は、ソース コード ファイルを Azure DevOps の要件に関連付ける必要があります。このオプション機能を有効にする手順については 「要件とファイルの関連付け」を参照してください。

Traceability Pack に同梱されている External System Traceability Report アーティファクトをデプロイすることで、トレーサビリティを表示および追跡する DTP インターフェイスが有効になります。Traceability Pack には、トレーサビリティ ワークフローの一部を自動化する Sending Test Data to External System フローも含まれています。 

DTP Extension Designer を使用して、External System Traceability Report および Sending Test Data to External System フローを環境にデプロイします。アーティファクトをデプロイする前に、「DTP を Azrue DevOps に接続する」で説明されているように、DTP が Azure DevOps に接続されていることを確認します。

Traceability Pack をインストールする

最初のステップは、 Traceability Pack アーティファクトをインストールすることです。このアーティファクトは、トレーサビリティを可能にする構成ファイルとアセットの集合です。  

1. 設定メニュー (歯車のアイコン) から [Extension Designer] を選択します。
   
2. [構成] タブをクリックしてアーティファクト マネージャーを開きます。
3. [アーティファクトの追加] をクリックし、traceability-pack-<version>.zip アーカイブを参照します (「アーティファクトのダウンロードとインストール」も参照)。
4. [インストール] をクリックすると、トレーサビリティを有効にするためのアセットと構成ファイルの集合がインストールされます。

詳細設定

<DTP_DATA_DIR>/conf ディレクトリにある ExternalSystemSettings.properties 構成ファイルを変更して、統合のデフォルトの動作を変更できます。すぐに利用できる DTP と Azure DevOps の統合は、デフォルトまたは一般的に使用されるフィールドと作業アイテム タイプを使用するように構成されています。ただし、Azure DevOps システムをカスタマイズしている場合は、次の設定を行って、DTP のデータをカスタム構成に合わせることができます。 

要件

次の要件は、テスト結果を Azure DevOps に送信する場合にのみ適用されます。

• 次の Parasoft ツールが実行するテストがサポートされていること:
  • C/C++test Professional、dotTEST、Jtest 10.4.3 以降
  • Selenic 2020.1 以降
  • SOAtest 9.10.8 以降
• Azure DevOps で要件を作成済みである必要があります。 

使用方法

Azure DevOps との統合を設定した後、開発者、テスター、およびその他のユーザーは、統合によって実現される機能を活用できます。

Azure DevOps で作業項目を手動で作成する

テスト エクスプローラー ビューと違反エクスプローラー ビューを使用すると、ステータスに関係なく、テストと違反に対してそれぞれ課題と欠陥を作成できます。テスト エクスプローラーまたは違反エクスプローラーで Azure DevOps アセットを作成する方法については、以下のセクションを参照してください。

• 違反エクスプローラーから Azure DevOps の作業項目を手動で作成する方法については、違反エクスプローラーのページの「サードパーティ システムでの課題の作成」を参照してください。
• テスト エクスプローラーから Azure DevOps の作業項目を手動で作成する方法については、テスト エクスプローラーのページの「サードパーティ システムでの課題の作成」を参照してください。

Azure DevOps へのテスト データの送信

次の図は、Azure DevOps 環境に Parasoft DTP および Parasoft テスト実行ツールを統合するための自動インフラストラクチャの実装方法を示しています。

テスト データを Azure DevOps に送信するには：

1. Azure DevOps で、Parasoft ツールで実行されるテストと関連付けることができる要件を作成します。 

2. テストファイルで、以下のアノテーション形式を使用して、Azure DevOps システムの要件 ID をテストにマッピングします。
   Azure DevOps でトレーサビリティ結果を見るために独自のテストケース定義を作成していないユーザーの場合は、@req を使用します。

   * 次のアノテーションは、テストを要件にマッピングします。 *@req <<Azure DevOps ID> >  @TEST ...

   Parasoft で @req を使用し、Parasoft DTP から Azure DevOps への結果の送信をトリガーします。

   Azure DevOps で独自のテストケース定義を作成したユーザーには、@test を使用します。

   * 次のアノテーションは、テストを要件にマッピングします。 *@test <<Azure DevOps ID> >  @TEST ...

   各テストケース定義を、Azure DevOps でテストした要件に関連付けます。
   
   

   • @test <Azure DevOps Test ID> アノテーションを使用して、テストを Azure DevOps のテスト実行に関連付けます。@test を使用する場合は、Parasoft DTP から Azure DevOps に送信する予定の実行ステータスのテストに、テストケースのステップが定義されていないことを確認してください。Parasoft DTP は、ステップが定義されているテストケースのテストケース実行を更新できません。

   • @req <Azure DevOps ID> アノテーションを使用して、テストを Azure DevOps のストーリーに関連付けます。@req を使用するときは、結果を送信する予定の Azure DevOps プロジェクトで次の関係タイプが定義されていることを確認してください。"verified by"。このような関係は、Parasoft DTP が Azure DevOps でテストケースを作成し、Azure DevOps 要件に関連付けるときに必要になります。
     
     テストにアノテーションを付けると、テストが Azure DevOps のエンティティにリンクされ、DTP レポートで可視化できるようになります。アノテーションは、Parasoft 言語ツール (C/C++test、dotTEST、Jtest) の単体テスト ファイルに追加されます。SOAtest で実行される機能テストの場合、アノテーションは .tst ファイルに追加されます。アノテーションの追加方法の詳細については、ご使用のツールのドキュメントを参照してください。UI で生成された ID ではなく、Azure DevOps URL からの ID を使用する必要があります。
     
     
     
     

   
   

3. CI プロセスの一部としてテストを実行します。IDE からテストを手動で実行することもできます。
4. テスト実行の一環として、Parasoft テスト実行ツールはフィルターとビルド ID でテスト結果をタグ付けし、データを DTP に送信します。DTP ダッシュボードに テスト ウィジェット を追加し、フィルターとビルド ID を設定することにより、DTP で結果を確認できます。開発者は、テスト実行データを DTP から IDE にダウンロードして、失敗したテストに対処できます。
   

5. Sending Test Data to External System フローをデプロイした場合 (「Sending Test Data to External System フローのデプロイ」を参照)、Data Collector が Parasoft ツールからデータを受信すると、単体テストと機能テストの結果が Azure DevOps Connect に自動的に送信されます。デフォルトでは、フローは Data Collector が受信した任意のプロジェクトの単体テストおよび機能テストの結果をフォワードしますが、特定のプロジェクトのデータだけを送信するようフローを設定できます (「特定の DTP プロジェクトの結果を送信する」を参照)。
   また、DTP REST API エンドポイントに POST リクエストを手動で送信して、DTP データベースから Azure DevOps Connect に結果を送信することもできます。API 呼び出しの URL パラメーターとして、DTP フィルターとビルドの ID、および一連の Azure DevOps テスト ケースの ID を渡します。
   

   curl -X POST -u <username>:<password> "http://<host>:<port>/grs/api/v1.7/linkedApps/configurations/1/syncTestCases?filterId=<filterID>&buildId=<buildID>

   フィルター ID とビルド ID は、テスト エクスプローラーの URL で確認できます。
   
   次の表で、エンドポイント パラメーターについて説明します。
   

   パラメーター	値	説明	必須
   filterId	integer	テスト データを含むフィルター IDを指定します。フィルター ID は整数値です。フィルター名と混同しないでください。	Required (必須)
   buildId	string	テスト データを含むビルド ID を指定します。	Required (必須)
   groupResultsBySOAtestTST	boolean	true に設定すると、SOAtest の結果が .tst ファイルでグループ化されます。その結果、1 つの .tst ファイルが 1 つの Azure DevOps テストに関連付けられます。 false に設定すると、SOAtest.tst 内の各テストステップが Azure DevOps テストに関連付けられます。 デフォルトは false です。	任意

   複数の Azure DevOps 実装のサポート

   DTP と Azure DevOps 間でテストケースを同期するために /syncTestCases REST API エンドポイントを使用している場合、DTP を構成してテストデータを異なる Azure DevOps 実装にデプロイすることができます。この機能は、API 呼び出しを使用した場合にのみ使用できます。

   <DTP_DATA_DIR>/conf ディレクトリにある ExternalSystemSettings.properties ファイルの末尾に追加することで、必要な数の Azure DevOps 実装を認識するように DTP を構成できます。API が Azure DevOps に DTP データを送信し、ExternalSystemSettings.properties で一致が見つからない場合は、代わりに「Connecting DTP to Azure DevOps」で UI から設定した Azure DevOps 構成にデータが送信されます。以下の例のような形式で、ExternalSystemSettings.properties ファイルに Azure DevOps 構成を追加します。

   azuredevops.config1.appUrl=http://azure.test1:8888/organization1 azuredevops.config1.displayUrl=http://azure.test1:8888/organization1 azuredevops.config1.username=john azuredevops.config1.apiToken=encrypted_token azuredevops.config1.project1.dtpProject=bank azuredevops.config1.project1.externalProject=Bank azuredevops.config1.project2.dtpProject=atm-core azuredevops.config1.project2.externalProject=Atm 

   この構成 (config1) により、DTP プロジェクト bank のデータは、サーバー http://azure.test1:8888/organization1 上の Bank という外部プロジェクトに送られます。サーバーには API トークン abcdef を使用してアクセスします。DTP プロジェクトと外部プロジェクトは、どちらも project1 に属しているという理由でリンクされています。そして適切なサーバーとログイン認証情報は、すべて config1 に属しているため、既知のものです。

   これを理解すると、上記の例をテンプレートとして、他の Azure DevOps 実装のために追加構成を定義することができます。各構成には、一意の azuredevops.config# 値が必要です。たとえば、上記の構成をベースとして使用すると、2 番目の構成は次のようになります。

   azuredevops.config2.appUrl=http://azure.test2:8888/organization1 azuredevops.config2.displayUrl=http://azure.test2:8888/organization1 azuredevops.config2.username=jane azuredevops.config2.apiToken=encrypted_token azuredevops.config2.project1.dtpProject=foo azuredevops.config2.project1.externalProject=bar

   必要な数だけ構成をセットアップできます。いくつか注意点があります。

   • これらの例の project#.dtpProject= と project#.externalProject= のペアは、DTP プロジェクトを外部プロジェクトに関連付ける方法を示しています。複数の関連付けが可能ですが、dtpProject はすべての構成で一意である必要があります。
   • Report Center の設定 UI で構成されている現在の外部システム構成は、Azure DevOps に構成する必要があります。
   • ExternalSystemSettings.properties 構成ファイル内の追加の Azure DevOps 構成はすべて有効である必要があります。
   • 各構成の apiToken プロパティは暗号化する必要があります。暗号化しない場合、構成は無効と見なされます。この値を暗号化するには、任意の Parasoft ツールに付属する -encodepass CLI オプションを使用します (例: soatestcli.exe -encodepass <API TOKEN>)。
   • トレーサビリティ ウィジェットとレポートには、プライマリ ADO (つまり、UI で定義されたもの) のみが表示されます。
   • 複数の ADO からの要件を SOAtest にインポートすることはできません。

   API 呼び出しは、渡された filterId に基づいて、使用する構成を決定します (エンドポイント パラメーターについて説明した上記の表を参照してください)。DTP はそのフィルターに関連付けられたプロジェクトを検索し、その DTP プロジェクトを指定する構成を見つけます。最初に一致したものが使用されます。一致するものがない場合、デフォルトの構成が使用されます。

   
   

6. DTP は、filterId パラメーターと buildId パラメーターに一致するテスト結果を見つけ、そのデータを Azure DevOps Connect のシステム要件に送信します。
   • DTPは @req <ID> で結果を検索すると、Azure DevOps で一致するアイテムを検索します。一致が見つかった場合、アイテムに関連付けられたテスト ケースにテスト実行が追加されます。要件 ID に一致するテスト ケースがない場合は、テスト ケースが作成されてテスト実行が追加されます。

   • external-app-sync.log ファイルも <DTP_INSTALL>/logs ディレクトリに書き込まれます。このログ ファイルには、DTP から Azure DevOps へのテスト結果の送信に関する進捗情報が含まれています。 

DTP がレポートを処理し、結果を Azure DevOps に送信した後、以下のような応答があります。

{ "createdTestSession": "DTPP-521", "created": [ "DTPP-519, testName = testBagSumAdd" ], "updated": [ "DTPP-519, testName = testBagSumAdd", "DTPP-518, testName = testBagSimpleAdd" ], "ignored": [ "MAGD-567, testName = testBagNegate", "QAP-512, testName = testTryThis3", "QAP-512, testName = testTryThis4", "MAGD-567, testName = testBagMultiply" ] }

特定の DTP プロジェクトの結果を送信する

Sending Test Data to External System フローを使用して単体テストおよび機能テストの結果を送信している場合、デフォルトでは、すべての DTP プロジェクトのデータが Azure DevOps に送信されます。結果として、Azure DevOps ID に一致するアノテーションを持つすべての DTP プロジェクトで収集されたテストを含むよう、作業アイテムが更新されます。ただし、特定のプロジェクトのデータだけを送信するよう、フローを設定することもできます。 

1. Extension Designer を開き、Sending Test Data がデプロイされたサービスを開きます。
2. ワークスペースに新しいスイッチ ノードをドラッグします。
   
3. "DataCollectorProcessedEvent" ノードと "Is dynamic analysis" ノードの間の接続線を選択して削除します。
4. "DataCollectorProcessedEvent" ノードからスイッチ ノード、またスイッチ ノードから "Is dynamic analysis" ノードに新しい接続をドラッグします。
   
   
   

5. ノードをダブルクリックし、Property フィールドに次の文字列を指定します。

    event.message.resultsSession.project

6. 文字列フィールドに DTP プロジェクトの名前を指定します。
7. (任意) ノードのわかりやすい名前を指定します。
   
8. [終了] をクリックしてノードの設定を終了し、[デプロイ] をクリックします。

フローを実行すると、指定した DTP プロジェクトのテスト結果だけが Azure DevOps に送信されます。 

Azure DevOps での結果の表示

テスト データを送信した後、Azure DevOps で結果を表示できます。次の画像は、Azure DevOps の System Requirement Specifications 要件を示しています。要件にいくつかのテスト ケースがあります。

個々のテスト ケースについて、テスト実行などの詳細情報をさらに確認できます。

Traceability Report の表示

ご使用のシステムに External System Traceability Report がデプロイされている場合 (「Enabling the Requirements Traceability Report」を参照)、ウィジェットをダッシュボードに追加して、Azure DevOps 要件から Parasoft DTP のテスト、静的解析、コードレビューまでのトレーサビリティをモニタリングできます。ウィジェットから、さらに詳細な情報を含むレポートを表示できます。

ウィジェットの追加と構成

DTP ダッシュボード追加されたウィジェットは、個別のトレーサビリティ カテゴリに表示されます。ウィジェットを追加する方法については「ウィジェットの追加」を参照してください。

以下の設定を行うことができます。

Requirements Widget

このウィジェットには、指定された Azure DevOps プロジェクトの要件の数が表示されます。

ウィジェットをクリックすると、Requirement Traceability レポートが表示されます。

Test Coverage Widget

このウィジェットは、プロジェクトのすべての要件に対する、テストでカバーされた要件の割合を示します。

ウィジェットの中央をクリックすると、Requirement Traceability レポートが表示されます。

色付きのセグメントは、テストの対象となる要件を表しています。ウィジェットをクリックすると、With Tests カテゴリにフィルタリングされた Requirement Traceability レポート が表示されます。

Pie Widget

単体テスト、機能テスト、静的解析、およびピア レビューは、要件が適切かつ徹底的に実装されているかを検証するための一般的なアクティビティです。このウィジェットは、それらのソフトウェア品質アクティビティのコンテキストにおけるプロジェクト要件の全般的なステータスを表示します。品質アクティビティの種類 (テスト、静的解析違反、レビュー) ごとにウィジェットを追加して、プロジェクトの要件実装の進捗をモニタリングすることができます。

グラフ上のセクションにマウス ポインタを置くと、品質アクティビティ タイプのステータスについて詳細情報が表示されます。ウィジェットをクリックすると、選択したタイプでフィルタリングされた Requirement Traceability レポートが表示されます。

Requirements Implementation Status by Tests

Requirements Implementation Status by Violations

Requirements Implementation by Reviews

Requirements Traceability Report とは

このレポートは、Azure DevOps 要件とそれに関連する Parasoft DTP テストを表示します。

以下の操作を行うことができます。

• レポートの [Files] 列と [Reviews] 列を非表示にする場合は、[Show files/reviews] オプションを無効にします。[Files] 列と [Reviews] 列にデータがあるのは、要件がソース ファイルにマッピングされている場合だけです (「Requirements Traceability レポート」を参照)。この画面で [Files] 列および [Reviews] 列を無効にすると、関連するタブが Requirement Details レポート で非表示になります。
• Azure DevOps で要件を確認するには、[Key] 列のリンクをクリックします。
• [Summary] 列または [Test] 列のリンクをクリックして、Azure DevOps Requirement Details Report の要件に関係するテスト関連情報を表示します。
• [Files] 列のリンクをクリックして、Azure DevOps Requirement Details Report の要件に関係する静的解析関連の情報を表示します。
• Understanding the Requirement Details[Reviews] 列のリンクをクリックして、Azure DevOps Requirement Details Report の要件に関係する変更レビュー関連の情報を表示します。

Requirement Traceability Report by Type

Azure DevOps Requirements - Pie ウィジェットのセクションをクリックすると、ウィジェットで選択した品質アクティビティ タイプだけを含むレポートが表示されます。ドロップダウン メニューを使ってタイプとステータスを切り替えることができます。[Show files/reviews] オプションを無効にして、レポートの [Files] 列と [Reviews] 列を非表示にすることもできます。[Files] 列と [Reviews] 列にデータがあるのは、要件がソース ファイルにマッピングされている場合だけです (「Requirements Traceability レポート」を参照)。この画面で [Files] 列および [Reviews] 列を無効にすると、関連するタブが Requirement Details レポート で非表示になります。  

Requirement Details Report とは

Azure DevOps Requirement Details レポートは、特定の Azure DevOps 要件に関連したファイル、静的解析の指摘事項、およびテストについての情報を表示します。このレポートは、Azure DevOps Requirement Traceability レポートで要件をクリックすることで表示されます。

最初のタブには、作業アイテムを検証するために実行されたテストの結果が表示されます。

[View results in Test Explorer] リンクをクリックすると、要件に関連付けられたすべてのテストをテスト エクスプローラーで参照できます。 

テーブルの個々のテスト名をクリックし、テスト エクスプローラーで個々のテストを参照することもできます。

2 番目のタブには、要件に関連付けられたファイルと、ファイルで検出された静的解析違反が表示されます。[違反] 列のリンクをクリックして、 違反エクスプローラーで違反を確認できます。違反に関する詳細が表示されます。

このタブにデータがあるのは、要件がソース ファイルにマッピングされている場合だけです (「Enabling the Requirements Traceability Report」を参照)。要件をソース ファイルにマッピングしなかった場合は、メインの Traceability レポート ページで [ファイル/レビューを表示] オプションを無効にし、詳細レポートを再読み込みすることで、このタブを非表示にできます。

ファイルに変更レビューまたはレビュー指摘事項が含まれる場合、それらは 3 番目のタブに表示されます。リンクをクリックすると、変更エクスプローラーで確認できます。 

このタブにデータがあるのは、要件がソース ファイルにマッピングされている場合だけです (「Enabling the Requirements Traceability Report」を参照)。要件をソース ファイルにマッピングしなかった場合は、メインの Traceability レポート ページで [ファイル/レビューを表示] オプションを無効にし、詳細レポートを再読み込みすることで、このタブを非表示にできます。