このセクションでは、AI Assertor ツールについて説明します。これは、LLM を活用したメッセージ解析ツールであり、ご指定の LLM プロバイダーを利用して、自然言語で記述された 1 つ以上のアサーションまたは要件をメッセージが満たすかどうかを判断します。このツールは、多くの場合、メッセージの内容を検証するために、メッセージを送受信するツールに接続されます。 AI Assertor ツールは、パフォーマンスと負荷生成能力に影響するため、負荷テスト (Load Test) で使用する場合はスキップされます。

このツールを使用するには有効なライセンスが必要です。さらに、LLM プロバイダーの設定で LLM プロバイダー アカウント情報を設定する必要があります。OpenAI、Azure OpenAI、および同様の機能を持つその他の LLM プロバイダーがサポートされています。「LLMプロバイダーの設定」を参照して、お使いの LLM プロバイダーが使用できるかどうかを確認してください。LLM は不正確な情報を提供する可能性があり、この機能に影響を及ぼす可能性があります。デューデリジェンスを行うことを推奨します。

AI Assertor ツールとは

AI Assertor は通常、ペイロードまたはトラフィックを検証するためのテストの出力として SOAP クライアント、REST クライアント、またはメッセージング クライアントに連結されますが、独立したテストとして作成することも可能です。AI Assertor は、LLM プロバイダーを通じて AI の適応性を活用し、複雑な検証ニーズに対応します。

AI Assertor は、複数の検証アサーションをサポートし、複雑な検証を作成するように設計されています。 [出力の追加] ウィザード を介して、または独立した標準テストとして追加できます。

AI Assertor ツールの構成

AI Assertor ツールの設定は、次のタブで構成されています。

• 設定: このタブは、LLM のアサーションの作成と設定に使用します。
• 期待されるドキュメント: 期待されるドキュメントを指定し、要素を選択できるテンプレートを作成します。AI Assertor が有効なドキュメント (トラフィックから、または接続先のツールからなど) を受信すると、このパネルに自動的に入力されます。または、サンプルメッセージをタブにコピーすることもできます。注意: 期待されるドキュメントはデフォルトでは保存されませんが、保存したい場合は、[期待されるドキュメントを保存] をオンにします。
• 入力: ツールが操作するテキストまたはファイルを指定します。AI Assertor が別のツールに連結されている場合、このタブは表示されず、AI Assertor はそのツールの出力を入力として使用します。

AI Assertor ツールを構成するには、次の操作を行います。

1. AI Assertor の [設定] タブで [追加] をクリックします。新しいアサーションが追加されます。
   
   
2. アサーションには自動的に名前が割り当てられますが、複数のプロンプトの目的を容易に追跡できるように、名前を変更できます。
3. [AI Assertor プロンプト] フィールドに、AI に検証させるアサーションを入力します。
   

   一般的に、アサーションが短く明確であれば、最良の結果が得られます。検証したい条件が複数ある場合は、1 つの長いアサーションではなく、複数の短いアサーションを作成することを推奨します。これにより、AI が混乱する可能性が低くなるだけでなく、アサーションの的を絞った変更が容易になります。 さらに、AI に何かを「チェック」または「検証」するように要求する必要はありません。「買い物カゴには 2 つの商品があります」のように、期待される動作を述べるだけで十分です。

4. 変更を保存します。

アサーションの評価

AI Assertor の結果を評価することで、アサーションが成功または失敗した理由を詳しく知ることができます。テスト実行後、AI Assertor を開き、評価するアサーションを選択します。[評価] をクリックし、表示されるレポートを確認します。

アサーションを変更したい場合は、変更後、[評価] を再度クリックすると、更新されたアサーションが以前の入力に対して LLM に照会されます。このようにして、アサーションが期待どおりに機能するまで微調整することができます。 AI がアサーションを完全に理解できていない場合、成功条件や失敗条件の例を 1 つか 2 つ提供することで、理解を助けることができます。