令和元年度秋期 システムアーキテクト 午前Ⅱ 問12

評価の目的から手法を捉える視点

人工知能の評価手法は名称だけで覚えると混同しやすい分野です。それぞれの手法が何を確かめるために用いられるのかという目的に着目し、問題に示された内容の中心にある意図と手法名の結び付きを自分の言葉で確かめましょう。

この問題で問われていること

この問題で検討すべき観点は一つ、評価手法の目的です。手法の名称から連想される言葉に引きずられず、その手法が最終的に明らかにしようとしている事柄は何かを捉え、問題中の記述が指す目的と照らし合わせて考えることが大切です。

視点

評価手法を学ぶときは、「モデルについて何を知りたいのか」という問いを出発点にすると整理しやすくなります。知りたい事柄が異なれば、選ばれる手法も異なります。個々の手法名を暗記する前に、その手法が答えようとしている問いを一文で言えるかを確かめておくと、似た名称どうしでも区別の軸がはっきりします。

確認ポイント

• 各評価手法が答えようとしている問いを、自分の言葉で一文にして説明できるか
• 名称の語感や印象ではなく、その手法の目的に基づいて判断しているか
• 問題中で述べられている目的と、自分が思い浮かべた手法の目的が本当に一致しているか

正解

イ

解説

判定者に相手の正体を知らせず、人間とシステムとの自然言語対話を比較させ、機械を人間と区別できるかを確かめる方法は、人工知能の人間らしい応答能力を評価する代表的な考え方です。

理由

設問では、判定者が人間とシステムの双方とチャットを行い、どちらが人工知能かを知らされないまま、対話後に相手を識別できるか確認している。この人間との判別可能性を評価する方法がチューリングテストです。

比較

実験計画法は実験の条件や進め方を設計する方法、ファジングは異常な入力などで脆弱性を探す方法、ロードテストは負荷に対する性能や安定性を調べる方法です。いずれも設問の評価目的とは異なる。

選択肢ア

これは不正解だよ。実験計画法は、複数の条件を設定して実験を行い、結果に影響する要因を分析するための方法である。人間と人工知能に同じような対話をさせ、判定者が両者を見分けられるかを調べるという、この設問の中心的な評価方法を表していない。

選択肢イ（正解）

これは正解だよ。チューリングテストは、判定者が相手の一方を人間、もう一方を人工知能として自然言語で対話し、相手の正体を識別できるかを確認する方法である。設問の判定者、匿名の対話相手、対話後の識別という条件に一致する。

選択肢ウ

これは不正解だよ。ファジングは、想定外の値や不規則なデータをプログラムへ大量に入力し、異常終了や脆弱性などを発見するテスト手法である。判定者が人間と人工知能を自然言語で比較し、応答の人間らしさを評価する方法ではない。

選択肢エ

これは不正解だよ。ロードテストは、利用者数や処理要求などの負荷をシステムへ与え、処理性能、応答時間、安定性などを確認するテストである。設問で調べている、対話相手が人間か人工知能かを判定できるかという性質とは評価対象が異なる。

学習のポイント

人工知能の評価方法と、一般的なソフトウェアテスト手法の目的を区別する。