このセクションの内容:

はじめに

Azure DevOps は、Microsoft の SaaS (Software as a service) プラットフォームであり、ソフトウェアの開発・デプロイのためのエンドツーエンドの DevOps プログラミング ツールを提供します。DTP を Azure DevOps Server Express および Azure DevOps Server に接続することで、以下の機能が提供されます。

  • 違反エクスプローラーとテスト エクスプローラーから Azure DevOps で手動で欠陥を作成する機能。
  • Azure DevOps のシステム要件で Parasoft のテスト結果を送信、表示、および更新する機能 (「Sending Test Data to Azure DevOps」を参照)。
    • Azure DevOps のトレーサビリティ レポートを使用してトレーサビリティを追跡することを計画しているユーザー向け。これを行うには、最初に Parasoft DTP から Azure DevOps にテスト結果を送信する必要があります。
  • テスト、静的解析結果、コード レビューを Azure DevOps の要件から追跡する機能 (「Viewing Results in Azure DevOps」を参照)。
    • Parasoft DTP のトレーサビリティ レポートを使用してトレーサビリティを追跡することを計画しているユーザー向け。これを行うには、@req を使用して、Parasoft の自動テストを Azure DevOps 要件に関連付けます。

設定

この設定は、Parasoft 管理者が一度だけ行う必要があります。 

DTP を Azure DevOps に接続する

  1. 設定ドロップダウン メニュー (歯車のアイコン) から [Report Center 設定] を選択します。
  2. [外部システム] を選択し、[システム タイプ] ドロップダウンメニューから Azure DevOps を選択します。
  3. [Enabled] オプションを有効化します。
  4. [名前] フィールドにサーバー名を入力します。名前は必須ですが、接続設定に影響したり、他のインターフェイスで表示されたりすることはありません。
  5. [アプリケーション URL] フィールドに Azure DevOps システムの URL を入力します。Azure DevOps のコレクション名を含める必要があります。
  6. [表示 URL] フィールドは、Azure DevOps システムへのリンクが Web ブラウザーに表示されるときに Parasoft DTP ページに表示される URL を定義します。通常、これは上記のアプリケーション URL フィールドと同じである必要があります。ただし、たとえば、リバース プロキシ環境で作業していて、Parasoft DTP を使用するユーザーのローカル Web ブラウザーから Azure DevOps へのリンクが Parasoft DTP サーバーとは異なる場合は、違うことがあります。(たとえば https://dev.azure.com/{yourorganization} )
  7. ユーザー名と Azure DevOps APIトークンを適切なフィールドに入力します。(以下の「Azure DevOpsトークンの生成」を参照してください。)ログインには、[プロジェクトの関連付け] セクションで指定されたプロジェクトで Azure DevOps の課題を作成するのに十分な権限が必要です。 
  8. [接続のテスト] をクリックして設定を確認し、[保存] をクリックします。

Azure DevOps トークンを生成する

  1. Azure DevOps (https://dev.azure.com/{yourorganization} ) で自分の組織にサインインします。

  2. ホームページからユーザー設定を開き、[Personal Access Tokens] を選択します。

  3. [+New Token] を選択します。
  4. トークンに名前を付け、トークンを使用する組織を選択してから、トークンの有効期間を選択します。

  5. このトークンのスコープを選択して、特定のタスクを承認します。

    1. [Scopes] で [Custom defined] を選択します。
    2. [Show all scopes] をクリックします。
    3. [Tokens] を選択し、[Read & manage] をオンにします。
    4. [Work items] を選択し、[Read, write, & manage] をオンにします。
    5. [Save] をクリックします。
  6. 完了したら、必ずトークンをコピーしてください。セキュリティ上の理由から、再度表示されることはありません。このトークンをパスワードとして使用します。

個人用アクセス トークンが作成されると、Azure DevOps での認証にユーザー資格情報が必要な場所ならどこでも使用できます。

Requirements Traceability Report の有効化

Azure DevOps に保存された要件と、Parasoft ツール (C/C++test、dotTEST、Jtest) から DTP に送信されたテスト データ、静的解析データ、ビルド レビュー データとの間のトレーサビリティを実証するのに役立つウィジェットとレポートを生成するように、DTP を構成できます。

Traceability Report にコード レビューと静的解析情報を含める場合は、ソース コード ファイルを Azure DevOps の要件に関連付ける必要があります。このオプション機能を有効にする手順については 「要件とファイルの関連付け」を参照してください。

Traceability Pack に同梱されている External System Traceability Report アーティファクトをデプロイすることで、トレーサビリティを表示および追跡する DTP インターフェイスが有効になります。Traceability Pack には、トレーサビリティ ワークフローの一部を自動化する Sending Test Data to External System フローも含まれています。 

DTP Extension Designer を使用して、External System Traceability Report および Sending Test Data to External System フローを環境にデプロイします。アーティファクトを展開する前に、「DTP を Azrue DevOps に接続する」で説明されているように、DTP が Azure DevOps に接続されていることを確認します。

Traceability Pack をインストールする

最初のステップは、 Traceability Pack アーティファクトをインストールすることです。このアーティファクトは、トレーサビリティを可能にする構成ファイルとアセットの集合です。  

  1. 設定メニュー (歯車のアイコン) から [Extension Designer] を選択します。

    Requirements Traceability Report の有効化

  2. [構成] タブをクリックしてアーティファクト マネージャーを開きます。
  3. [アーティファクトの追加] をクリックし、traceability-pack-<version>.zip アーカイブを参照します (「アーティファクトのダウンロードとインストール」も参照)。
  4. [インストール] をクリックすると、トレーサビリティを有効にするためのアセットと構成ファイルの集合がインストールされます。

要件

次の要件は、テスト結果を Azure DevOps に送信する場合にのみ適用されます。

  • 次の Parasoft ツールが実行するテストがサポートされていること:
    • C/C++test Professional、dotTEST、Jtest 10.4.3 以降
    • Selenic 2020.1 以降
    • SOAtest 9.10.8 以降
  • Azure DevOps で要件を作成済みである必要があります。 

使用方法

Azure DevOps との統合を設定した後、開発者、テスター、およびその他のユーザーは、統合によって実現される機能を活用できます。

Azure DevOps で作業項目を手動で作成する

テスト エクスプローラーと違反エクスプローラーを使用すると、ステータスに関係なく、テストと違反に対してそれぞれ課題と欠陥を作成できます。テスト エクスプローラーまたは違反エクスプローラーで Azure DevOps アセットを作成する方法については、以下のセクションを参照してください。

Azure DevOps へのテスト データの送信

次の図は、Azure DevOps 環境に Parasoft DTP および Parasoft テスト実行ツールを統合するための自動インフラストラクチャの実装方法を示しています。

テスト計画を立てる

Azure ユーザー設定要件：Parasoft DTP がテスト結果を Azure DevOps に送信できるようにするには、ユーザー アクセス レベルに Azure DevOps の「テスト計画」を含める必要があります。この設定は、Parasoft DTP がテスト結果を Azure DevOps に送信する際にテスト計画を作成するために必要です。


Azure DevOps のテスト計画を設定するには、次のいずれかを実行します。

ローカル版の Azure DevOps でテスト計画を設定するには、次のことを行う必要があります。

    1. Azure DevOps サイトで [Access levels] をクリックします 。
    2. Basic + Test Plans を選択します。
    3. [+ Add] をクリックします。
    4. [User or Group] フィールドにユーザー名を入力し、返されたリストからその名前を選択します。
    5. [Save changes] をクリックします。Basic + Test Plan のアクセス権限を持つユーザーが [Display name] 列に追加されます。

Azure DevOps でクラウド用のテスト計画を設定するには、次のことを行う必要があります。

    1. Azure DevOps サイトで [Organization settings] をクリックします。
    2. [Billing] を選択します。
    3. Basic + Test Plans を選択します。
    4. [Users] を選択します。
    5. ユーザーのアクセス レベルを変更します。
    6. アクセス レベルとして [Basic + Test Plans] を選択します。

テスト データを Azure DevOps に送信するには：

  1. Azure DevOps で、Parasoft ツールで実行されるテストと関連付けることができる要件を作成します。 

  2. テストファイルで、以下のアノテーション形式を使用して、Azure DevOps システムの要件 ID をテストにマッピングします。
    Azure DevOps でトレーサビリティ結果を見るために独自のテストケース定義を作成していないユーザーの場合は、@req を使用します。

    * 次のアノテーションは、テストを要件にマッピングします。
    *@req <<Azure DevOps ID> > 
    @TEST
    ...

    Parasoft で @req を使用し、Parasoft DTP からの結果の送信をトリガーします。

    Azure DevOps で独自のテストケース定義を作成したユーザーには、@test を使用します。

    * 次のアノテーションは、テストを要件にマッピングします。
    *@test <<Azure DevOps ID> > 
    @TEST
    ...

    各テストケース定義を、Azure DevOps でテストした要件に関連付けます。

    • @test <Azure DevOps ID> アノテーションを使用して、テストを Azure DevOps のテスト定義に関連付けます。@test を使用する場合は、Parasoft DTP から Azure DevOps に送信する予定の実行ステータスのテストに、テストケースのステップが定義されていないことを確認してください。Parasoft DTP は、ステップが定義されているテストケースのテストケース実行を更新できません。

    • @req <Azure DevOps ID> アノテーションを使用して、テストを Azure DevOps のストーリーに関連付けます。@req を使用するときは、結果を送信する予定の Azure DevOps プロジェクトで次の関係タイプが定義されていることを確認してください。"verified by"。このような関係は、Parasoft DTP が Azure DevOps でテストケースを作成し、Azure DevOps 要件に関連付けるときに必要になります。

      テストに注釈を付けると、テストが Azure DevOps のエンティティにリンクされ、DTP レポートで可視化できるようになります。アノテーションは、Parasoft 言語ツール (C/C++test、dotTEST、Jtest) の単体テスト ファイルに追加されます。SOAtest で実行される機能テストの場合、アノテーションは .tst ファイルに追加されます。アノテーションの追加方法の詳細については、ご使用のツールのドキュメントを参照してください。UI で生成された ID ではなく、Azure DevOps URL からの ID を使用する必要があります。




  3. CI プロセスの一部としてテストを実行します。IDE からテストを手動で実行することもできます。
  4. テスト実行の一環として、Parasoft テスト実行ツールはフィルターとビルド ID でテスト結果をタグ付けし、データを DTP に送信します。DTP ダッシュボードに テスト ウィジェット を追加し、フィルターとビルド ID を設定することにより、DTP で結果を確認できます。開発者は、テスト実行データを DTP から IDE にダウンロードして、失敗したテストに対処できます。

  5. Sending Test Data to External System フローをデプロイした場合 (「Sending Test Data to External System フローのデプロイ」を参照)、Data Collector が Parasoft ツールからデータを受信すると、単体テストと機能テストの結果が Azure DevOps に自動的に送信されます。デフォルトでは、フローは Data Collector が受信した任意のプロジェクトの単体テストおよび機能テストの結果をフォワードしますが、特定のプロジェクトのデータだけを送信するようフローを設定できます (「Sending Results from a Specific DTP Project」を参照)。
    また、DTP REST API エンドポイントに POST リクエストを手動で送信して、DTP データベースから Azure DevOps に結果を送信することもできます。API 呼び出しの URL パラメーターとして、DTP フィルターとビルドの ID、および一連の Azure DevOps テスト ケースの ID を渡します。

    curl -X POST -u <username>:<password> "http://<host>:<port>/grs/api/v1.7/linkedApps/configurations/1/syncTestCases?filterId=<filterID>&buildId=<buildID>&testCaseSetId=<Azure DevOps_TEST_CASE_SET_ID>"

    フィルター ID とビルド ID は、テスト エクスプローラーの URL で確認できます。

    次の表で、エンドポイント パラメーターについて説明します。

    パラメーター値説明必須
    filterId integerテスト データを含むフィルター IDを指定します。フィルター ID は整数値です。フィルター名と混同しないでください。Required (必須)
    buildId stringテスト データを含むビルド ID を指定します。Required (必須)
    groupResultsBySOAtestTST 
     
    		boolean

    true に設定すると、SOAtest の結果が .tst ファイルでグループ化されます。その結果、1 つの .tst ファイルが 1 つの Azure DevOps テストに関連付けられます。

    false に設定すると、SOAtest.tst 内の各テストステップが Azure DevOps テストに関連付けられます。

    デフォルトは false です。 

    		任意
    testCaseSetId
    		テストケース セットの ID

    Azure DevOps にテストケース定義がない場合、Parasoft DTP が新しいテストケース定義を作成する Azure DevOps のテストケース セットの ID を指定します。テストケース定義が Azure DevOps で見つかった場合、この testCaseSetId であろうとなかろうと、テストケース定義は単に更新されるだけで、この特定のテストケース セットに移動されるわけではありません。 

    testCaseSetId パラメーターの値は、Azure DevOps の "Set of Test Cases" アイテム タイプの ID でなければなりません (「要件」を参照)。UI で生成された ID ではなく、Azure DevOps URL からの ID を使用する必要があります。プロジェクト ツリーのテスト ケース ノードをクリックした後、URL から ID を取得できます。


    		任意

    テスト ケース一式は、DTP が必要に応じて新しいテスト ケースを作成できるアイテムです。次のステップで説明するように、同等のテスト ケースが存在しない場合、DTP は Azure DevOps に結果を送信するときに新しいテスト ケースを作成します。 

  6. DTP は、filterId パラメーターと buildId パラメーターに一致するテスト結果を見つけ、そのデータを Azure DevOps のシステム要件に送信します。
    • DTPは @req <ID> で結果を検索すると、Azure DevOps で一致するアイテムを検索します。一致が見つかった場合、アイテムに関連付けられたテスト ケースにテスト実行が追加されます。要件 ID に一致するテスト ケースがない場合は、テスト ケースが作成されてテスト実行が追加されます。

    • external-app-sync.log ファイルも <DTP_INSTALL>/logs ディレクトリに書き込まれます。このログ ファイルには、DTP から Azure DevOps へのテスト結果の送信に関する進捗情報が含まれています。 

DTP がレポートを処理し、結果を Azure DevOps に送信した後、以下のような応答があります。

{
   "createdTestSession": "DTPP-521",
    "created": [
        "DTPP-519, testName = testBagSumAdd"
    ],
    "updated": [
        "DTPP-519, testName = testBagSumAdd",
        "DTPP-518, testName = testBagSimpleAdd"
    ],
    "ignored": [
        "MAGD-567, testName = testBagNegate",
        "QAP-512, testName = testTryThis3",
        "QAP-512, testName = testTryThis4",
        "MAGD-567, testName = testBagMultiply"
    ]
}


特定の DTP プロジェクトの結果を送信する

Sending Test Data to External System フローを使用して単体テストおよび機能テストの結果を送信している場合、デフォルトでは、すべての DTP プロジェクトのデータが Azure DevOps に送信されます。結果として、Azure DevOps ID に一致するアノテーションを持つすべての DTP プロジェクトで収集されたテストを含むよう、作業アイテムが更新されます。ただし、特定のプロジェクトのデータだけを送信するよう、フローを設定することもできます。 

  1. Extension Designer を開き、Sending Test Data がデプロイされたサービスを開きます。
  2. ワークスペースに新しいスイッチ ノードをドラッグします。
  3. "DataCollectorProcessedEvent" ノードと "Is dynamic analysis" ノードの間の接続線を選択して削除します。
  4. "DataCollectorProcessedEvent" ノードからスイッチ ノード、またスイッチ ノードから "Is dynamic analysis" ノードに新しい接続をドラッグします。


  5. ノードをダブルクリックし、Property フィールドに次の文字列を指定します。

     event.message.resultsSession.project
  6. 文字列フィールドに DTP プロジェクトの名前を指定します。
  7. (任意) ノードのわかりやすい名前を指定します。
  8. [終了] をクリックしてノードの設定を終了し、[デプロイ] をクリックします。

フローを実行すると、指定した DTP プロジェクトのテスト結果だけが Azure DevOps に送信されます。 

Azure DevOps での結果の表示

テスト データを送信した後、Azure DevOps で結果を表示できます。次の画像は、Azure DevOps の System Requirement Specifications の要件を示しています。要件にいくつかのテスト ケースがあります。

個々のテスト ケースについて、テスト実行などの詳細情報をさらに確認できます。

Traceability Report の表示

ご使用のシステムに External System Traceability Report がデプロイされている場合 (「 Enabling the Requirements Traceability Report」を参照)、ウィジェットをダッシュボードに追加して、Azure DevOps の要件からプロジェクトの Parasoft DTP テスト/静的解析/コードレビューまでのトレーサビリティをモニタリングできます。ウィジェットから、さらに詳細な情報を含むレポートを表示できます。

ウィジェットの追加と構成

DTP ダッシュボード追加されたウィジェットは、個別のトレーサビリティ カテゴリに表示されます。ウィジェットを追加する方法については「ウィジェットの追加」を参照してください。

以下の設定を行うことができます。

タイトルデフォルトのタイトルの代わりにダッシュボードに表示する新しいタイトルを入力できます。
フィルター[ダッシュボード設定] を選択してダッシュボード フィルターを使用するか、ドロップダウン メニューからフィルターを選択します。フィルタの詳細については「フィルタの作成と管理」を参照してください。
ターゲット ビルドテストとコード解析を実行したビルド ID に設定する必要があります。ダッシュボード設定で指定されたビルド、最新ビルド、またはドロップダウン メニューで選択したビルドを使用できます。「ダッシュボードの設定」も参照してください。
Azure DevOps プロジェクトドロップダウン メニューから Azure DevOps プロジェクトを選択します。

Requirements Widget

このウィジェットには、指定された Azure DevOps プロジェクトの要件の数が表示されます。

ウィジェットをクリックすると、Requirement Traceability レポートが表示されます。

Test Coverage Widget

このウィジェットは、プロジェクトのすべての要件に対する、テストでカバーされた要件の割合を示します。

ウィジェットの中央をクリックすると、Requirement Traceability レポートが表示されます。

色付きのセグメントは、テストの対象となる要件を表しています。ウィジェットをクリックすると、With Tests カテゴリにフィルタリングされた Requirement Traceability レポート が表示されます。

Pie Widget

単体テスト、機能テスト、静的解析、およびピア レビューは、要件が適切かつ徹底的に実装されているかを検証するための一般的なアクティビティです。このウィジェットは、それらのソフトウェア品質アクティビティのコンテキストにおけるプロジェクト要件の全般的なステータスを表示します。品質アクティビティの種類 (テスト、静的解析違反、レビュー) ごとにウィジェットを追加して、プロジェクトの要件実装の進捗をモニタリングすることができます。

グラフ上のセクションにマウス ポインタを置くと、品質アクティビティ タイプのステータスについて詳細情報が表示されます。ウィジェットをクリックすると、選択したタイプでフィルタリングされた Requirement Traceability レポートが表示されます。

Requirements Implementation Status by Tests


Requirements Implementation Status by Violations

Requirements Implementation by Reviews

Requirements Traceability Report とは

このレポートは、Azure DevOps 要件とそれに関連する Parasoft DTP テストを表示します。

以下の操作を行うことができます。

  • レポートの [Files] 列と [Reviews] 列を非表示にする場合は、[Show files/reviews] オプションを無効にします。[Files] 列と [Reviews] 列にデータがあるのは、要件がソース ファイルにマッピングされている場合だけです (「Requirements Traceability レポート」を参照)。この画面で [Files] 列および [Reviews] 列を無効にすると、関連するタブが Requirement Details レポート で非表示になります。
  • Azure DevOps で要件を確認するには、[Key] 列のリンクをクリックします。
  • [Summary] 列または [Test] 列のリンクをクリックして、Azure DevOps Requirement Details Report の要件に関係するテスト関連情報を表示します。
  • [Files] 列のリンクをクリックして、Azure DevOps Requirement Details Report の要件に関係する静的解析関連の情報を表示します。
  • [Reviews] 列のリンクをクリックして、Azure DevOps Requirement Details Report の要件に関係する変更レビュー関連の情報を表示します。

Requirement Traceability Report by Type

Azure DevOps Requirements - Pie ウィジェットのセクションをクリックすると、ウィジェットで選択した品質アクティビティ タイプだけを含むレポートが表示されます。ドロップダウン メニューを使ってタイプとステータスを切り替えることができます。[Show files/reviews] オプションを無効にして、レポートの [Files] 列と [Reviews] 列を非表示にすることもできます。[Files] 列と [Reviews] 列にデータがあるのは、要件がソース ファイルにマッピングされている場合だけです (「Requirements Traceability レポート」を参照)。この画面で [Files] 列および [Reviews] 列を無効にすると、関連するタブが Requirement Details レポート で非表示になります。  

Requirement Details Report とは

Azure DevOps Requirement Details レポートは、特定の Azure DevOps 要件に関連したファイル、静的解析の指摘事項、およびテストについての情報を表示します。このレポートは、Azure DevOps Requirement Traceability レポートで要件をクリックすることで表示されます。

最初のタブには、作業アイテムを検証するために実行されたテストの結果が表示されます。

[View results in Test Explorer] リンクをクリックすると、作業アイテムに関連付けられたすべてのテストをテスト エクスプローラーで参照できます。 

テーブルの個々のテスト名をクリックし、テスト エクスプローラーで個々のテストを参照することもできます。

2 番目のタブには、要件に関連付けられたファイルと、ファイルで検出された静的解析違反が表示されます。[違反] 列のリンクをクリックして、 違反エクスプローラー で違反を確認できます。違反に関する詳細が表示されます。

このタブにデータがあるのは、要件がソース ファイルにマッピングされている場合だけです (「Enabling the Requirements Traceability Report」を参照)。要件をソース ファイルにマッピングしなかった場合は、メインの Traceability レポート ページで [ファイル/レビューを表示] オプションを無効にし、詳細レポートを再読み込みすることで、このタブを非表示にできます。

ファイルに変更レビューまたはレビュー指摘事項が含まれる場合、それらは 3 番目のタブに表示されます。リンクをクリックすると、変更エクスプローラー で確認できます。 

このタブにデータがあるのは、要件がソース ファイルにマッピングされている場合だけです (「Enabling the Requirements Traceability Report」を参照)。要件をソース ファイルにマッピングしなかった場合は、メインの Traceability レポート ページで [ファイル/レビューを表示] オプションを無効にし、詳細レポートを再読み込みすることで、このタブを非表示にできます。


  • No labels

Need assistance? Visit our support page