AUシステム監査技術者試験 午後Ⅰ
令和3年度秋期 システム監査技術者 午後Ⅰ 問1
事例を読んで設問の答えを考えてから、解説のポイントとIPA公式の解答例・採点講評で確認しましょう。
問題


解き方のヒントを見る
AI開発監査で見る判断基準
この問題では、チャットボットの機能そのものより、企画から導入までの各段階で、目的に沿った判断基準が定められ、結果を誰がどのように確認する設計になっているかに注目します。
この問題で問われていること
特に、PoCや本番移行、利用者教育に関する記述を読むとき、計画・評価・承認・運用判断のつながりが文書上明確か、想定外の結果が出た場合にも判断を保留できる構造かを一つの視点で確認します。
視点
AIを含む開発監査では、目的、評価、承認、教育を別々の作業として見るのではなく、各工程の判断根拠が前工程の結果と結び付き、次工程へ進む条件が説明可能になっているかを確認します。個別の答えではなく、記述同士の整合性に着目してください。
確認ポイント
- 導入目的と、PoCで確認したい成果が同じ方向を向いているか
- 評価や本番移行の判断に必要な基準・責任者・記録が、計画上つながっているか
- AIの出力を利用する場面で、結果を確認し判断する人への準備が、単なる操作説明に偏っていないか
正解と解説を見る
解説
コールセンタへのAI活用チャットボット導入の企画段階を題材にした、システム監査の事例です。構想立案における経営層による審議・承認、PoC計画書とPoC評価書で確かめる事項、本番移行時に学習結果を評価する必要性、AIの特性を踏まえたオペレータ教育の4点を、リスクと監査手続の対応で整理します。
問題の全体像
家庭用品を製造・販売するA社が、コールセンタでオペレータを支援するチャットボット(AIによる音声認識と自然言語処理)を導入する企画段階を題材にした、システム監査の問題です。出題趣旨によると、AIの特性、AIを利用したシステムの開発段階におけるリスクとコントロールを理解し、コントロールの適切性を確かめる監査手続を選んで監査を実施する能力が問われています。図1は開発の流れを「構想立案」「PoC」「要件定義」「設計」「実装」「テスト」「本番移行」「本番運用」の順に示し、現在の工程がPoCであること、本番運用が破線であることを表しています。表1は監査手続書の抜粋で、項番(1)〜(4)に監査要点と監査手続が並び、監査手続の欄に空欄ア・イ・ウがあります。本文の〔監査チームが想定したリスク〕と〔M氏の助言〕を、表1の各項番に対応させて読み解くことがポイントです。
設問1(ア)
【ア】は、表1の項番(1)において、監査要点が「AIの導入目的や利用範囲について,経営層が判断,承認しているか。」となっている行の監査手続です。〔M氏の助言〕(1)では、「監査手続としてAIに関する開発原則を確かめるだけでは不十分であり,追加の手続が必要である」としています。また、〔監査チームが想定したリスク〕(1)には、「導入目的や利用範囲について,経営会議などの審議を経て経営層が承認するプロセスが必要である」とあります。したがって、経営会議などの記録を確認し、経営層による審議と承認が行われているかを確かめる手続となります。公式解答例は「経営会議などの議事録を閲覧し,経営層によって十分に審議され,承認されているかを確かめる。」です。
設問2(イ)
【イ】は、表1の項番(2)「PoCの計画と実施は適切に行われているか。」のうち、「計画について,」に続く監査手続です。〔M氏の助言〕(2)では、PoCの計画と実施についての監査手続が必要とされています。また、〔チャットボット開発の概要〕(2)には、PoCの実施に当たりPoC計画書を作成したとあります。〔監査チームが想定したリスク〕(2)には、「PoCの計画策定では,実施の目的,結果の評価基準及び終了基準を定める必要がある」とあります。したがって、PoC計画書を閲覧し、目的や結果の評価基準、終了基準が記述されているかを確かめる手続となります。公式解答例は「PoC 計画書を閲覧し,目的,結果の評価基準,終了基準の記述があることを確かめる。」です。
設問2(ウ)
【ウ】は、表1の項番(2)のうち、「実施について,」に続く監査手続です。〔チャットボット開発の概要〕(2)には、PoCの実施結果をPoC評価書としてまとめたとあります。また、〔監査チームが想定したリスク〕(2)には、「PoC工程実施後は,計画で定めた評価基準及び終了基準を満たしているかを明確に評価する必要がある」とあります。したがって、PoC評価書を閲覧し、結果の評価や終了の判断が記述されているかを確かめる手続となります。公式解答例は「PoC 評価書を閲覧し,結果の評価や終了の判断についての記述を確かめる。」です。
設問3
〔M氏の助言〕(3)では、開発概要書を見る限り本番移行工程に問題があるとしています。開発概要書②では、テスト工程で学習データと教師データを3か月分に増やして学習させ、結果を評価し、想定した結果が得られた場合に本番移行が承認されることになっています。一方、③では「本番移行工程では時間が限られ,直前のテスト工程では結果が評価されることから,学習データと教師データの量を6か月分に増やして学習だけを行い,本番運用を開始する」とされています。これに対し、〔監査チームが想定したリスク〕(3)には「学習後は,結果が正しいかどうかを評価する必要がある」とあります。本番移行でデータを6か月分に増やして学習を行っても、その結果を評価しないまま本番運用を始めることが問題となります。公式解答例は「学習後に結果を評価しないで本番移行してしまうという問題」です。採点講評では「学習データ,教師データの評価と,学習結果の評価を取り違えたと思われる解答が散見された。AI の学習と結果評価のプロセスでは,データを増やして学習させ,結果を評価し,想定した結果が得られた場合に本番移行するということに気付いてほしい」と指摘されています。
設問4
〔M氏の助言〕(4)では、オペレータ教育の教育内容や実施計画が不十分であると指摘されています。開発概要書には、オペレータ教育について「現行のマニュアルの中で操作方法が変更になる箇所だけを更新し,業務の繁閑を考慮しながらオペレータを教育する」と書かれています。これに対し、〔監査チームが想定したリスク〕(4)では「AIが示す結果は常に正しいとは限らないので,結果の利用可否を人が判断する必要がある」とされています。さらに、操作方法の変更だけでなく、結果の正しさや利用可否をオペレータ本人が判断すべきであることを教育する必要があると述べられています。また、表1の項番(4)の監査要点も「AIの特性を踏まえたオペレータ教育の内容を検討した上で,実施計画の妥当性を考慮しているか。」となっています。このように、開発概要書は操作方法の変更箇所しか対象にしておらず、AIの特性や結果の正しさ・利用可否を判断する教育が含まれていません。公式解答例は「AI の特性の教育や,結果の正しさや利用可否を判断する教育の予定がないから」です。採点講評では「AI の特性を記述した解答は少なかった。AI が示す結果が常に正しいとは限らず,その結果の正しさや利用可否を人間が判断すべきであることを理解するために,AI の特性を踏まえた教育が必要であることに気付いてほしい」と指摘されています。
学習のポイント
AI導入におけるPoCの評価基準・終了基準の設定、データを増やして学習させた後の結果評価、AIの結果の利用可否を人が判断するための教育を整理します。あわせて、表1の監査要点と監査手続を、本文のリスクの記述と結び付けて確認します。
出典:独立行政法人 情報処理推進機構(IPA)令和3年度秋期 システム監査技術者試験 午後Ⅰ 問1(公式資料:問題冊子(PDF) / 解答例 / 採点講評)
関連する過去問一覧
IPA Advancedは非公式の学習サイトです。解説にはAIによる補助生成を含む場合があります。公式の問題冊子・解答例・採点講評を優先し、誤りは確認後に訂正します。運営・編集方針