令和5年度春期 システムアーキテクト 午前Ⅱ 問7

手順が何を比較しているかに注目する

AIの評価手法は名前よりも手順の構造で区別すると整理しやすくなります。説明されている手順の各段階で、何を用意し、何を入力し、どの結果とどの結果を照らし合わせて良し悪しを判断しているのかを一つずつ追ってみましょう。

この問題で問われていること

手順の説明に含まれる語句の印象だけで手法名を選ぶのではなく、評価の判定根拠がどこから来ているのかという一点に絞って読み取ることが求められます。似た名前の手法どうしでも、判定の拠り所の違いで区別できるかを意識しましょう。

視点

評価の手順は一般に次の三段階で書かれます。一つ目は評価に使う入力やデータの準備、二つ目は対象のAIに処理をさせること、三つ目は得られた出力を何かと照らし合わせて良否を決めることです。三つ目の段階で何を基準として扱うかは手法ごとに考え方が異なります。そのため、この基準を見れば手法を区別する手がかりが得られやすくなります。手順の記述を読むときは、この基準が何であるかに着目して整理すると、手法の名前と中身を結び付けやすくなります。

確認ポイント

• 手順の中で、出力の良し悪しを判断する基準が何として示されているかを自分の言葉で書き出す
• その基準が評価を始める前に用意されたものか、手順の途中で得られるものかを確認する
• 知っている各評価手法について、判定の基準をどう定めるかを説明できるか確かめてから照らし合わせる

正解

イ

解説

判定者が人間とAIの双方と自然言語で会話し、どちらがAIかを識別できるか確認する方法は、AIが人間らしく対話できるかを評価するチューリングテストです。

理由

この設問では、判定者が人間とシステムの両方とチャットを行い、相手の正体を知らされないまま、後から人間とシステムを区別できるかを確認しています。これは、AIの応答が人間の応答と見分けにくいかを評価するチューリングテストの方法に一致します。

比較

実験計画法は条件を整理して実験を計画する方法、ファジングは予測しにくい入力で異常を探すテスト、ロードテストは高い負荷を与えて性能や安定性を調べるテストです。いずれも設問の会話による人間らしさの判定とは目的が異なります。

選択肢ア

これは不正解だよ。実験計画法は、複数の要因や条件を整理して実験を設計し、結果への影響を分析するための方法です。人間とAIを同じように会話させ、判定者が両者を識別できるかを確認する、設問の対話評価そのものを指す用語ではありません。

選択肢イ（正解）

これは正解だよ。チューリングテストは、判定者が相手の正体を知らない状態で人間とAIの双方と会話し、その応答からAIを見分けられるかを調べる方法です。設問の実施条件と、自然な対話能力を評価する目的が一致しています。

選択肢ウ

これは不正解だよ。ファジングは、通常とは異なるデータや予測しにくい入力を大量に与え、ソフトウェアの脆弱性や異常終了などを発見するテスト手法です。判定者が人間とAIの会話相手を識別できるかを確認する方法ではありません。

選択肢エ

これは不正解だよ。ロードテストは、システムに多くの利用者や処理要求を想定した負荷をかけ、応答時間、処理能力、安定性などを評価する手法です。設問のように自然言語で会話し、人間らしさを見分けるテストとは評価対象が異なります。

学習のポイント

AIの対話能力を評価する代表的なテストの目的と実施条件を理解する。