AUシステム監査技術者試験 午後Ⅰ

令和3年度秋期 システム監査技術者 午後Ⅰ 問1

事例を読んで設問の答えを考えてから、解説のポイントとIPA公式の解答例・採点講評で確認しましょう。

問題

問1 チャットボット開発の企画段階における監査に関する次の記述を読んで,設問1~4に答えよ。 A社は,家庭用品を製造・販売している企業であり,顧客からの問合せに対応するためのコールセンタを自社で運用している。コールセンタでは,問合せ集中時の対応の遅れや品質のばらつきが課題となっている。他社のコールセンタで,チャットボットを導入して効果が出ている事例があることから,A社はコールセンタへのチャットボットの導入を検討している。 A社は,チャットボットの開発・利用経験がないので,ITベンダの協力を得て開発する計画である。監査部は,コールセンタでのAIの利用は業務運営,顧客サービスなどに大きな影響を与える可能性があると考え,システム監査を実施することにした。しかし,チャットボット開発の監査経験がないので,社外のシステム監査人M氏に監査チームへ参画してもらい,助言を受けながら監査を実施することにした。 〔コールセンタの概要〕 コールセンタは,電話や電子メールを用いて,顧客からの問合せ対応やアフターフォローを行っている。コールセンタの運営は,着呼の自動振分け,顧客に関する情報照会,対応記録の一元管理,稼働状況に応じたオペレータへの着呼の割当て,通話録音などの機能をもつコールセンタシステムで支援されている。 〔チャットボット開発の概要〕 監査チームは,予備調査として,コールセンタとシステム部にヒアリングを行い,関係資料を閲覧した結果,次の情報を得た。 (1)チャットボットの機能 コールセンタとシステム部が協議して,オペレータを支援する機能の強化としてチャットボットを導入することとした。チャットボットは,AIを利用した音声認識と自然言語処理によって,対応中の顧客の発言の趣旨を解析し,オペレータに回答候補を提示する。 (2)構想立案と概念実証 コールセンタとシステム部が協議した内容を構想立案書としてまとめ,次に,概念実証(以下,PoCという)の実施に当たりPoC計画書を作成した。 コールセンタは,コールセンタへ問合せのあった顧客の音声(以下,学習データという)とオペレータの回答音声(以下,教師データという)の1か月分を準備した。システム部は,学習データと教師データの全件をAIに学習させ,PoCの実施結果をPoC評価書としてまとめた。 (3)要件定義以降の開発計画 システム部は,PoC評価書を踏まえて,ひとまず開発概要書を作成し,要件定義に向けた準備を進めている。一方,PoCの実施結果に一部想定外の状況が発生しているので,PoCを継続して実施する予定である。チャットボット開発の流れは図1のとおりであり,現在はPoC工程の途中の段階である。 図1 チャットボット開発の流れ なお,開発概要書には,次のとおり記述されている。 ① システム部が開発し,コールセンタはテスト工程で操作性などを確かめる。 ② テスト工程では,学習データと教師データを3か月分に増やして学習させ,結果を評価し,想定した結果が得られた場合には本番移行が承認される。 ③ 本番移行工程では時間が限られ,直前のテスト工程では結果が評価されることから,学習データと教師データの量を6か月分に増やして学習だけを行い,本番運用を開始する。 (4)オペレータ教育 開発概要書には,オペレータ教育について,“現行のマニュアルの中で操作方法が変更になる箇所だけを更新し,業務の繁閑を考慮しながらオペレータを教育する”と記述されている。 〔監査チームが想定したリスク〕 監査チームは,チャットボット開発のリスクを次のとおりまとめた。 (1)構想立案工程のリスク AIの利用は経営や業務へのリスクがある。導入目的や利用範囲について,経営会議などの審議を経て経営層が承認するプロセスが必要である。 (2)PoC工程のリスク PoCの計画策定時に評価基準が不明確な場合には,実施結果の良否判断ができず,PoCの終了を判断できないリスクがある。また,評価結果が不明確な場合には開発計画が不確実になり,期待どおりのチャットボットを開発することができないリスクがある。そのため,PoCの計画策定では,実施の目的,結果の評価基準及び終了基準を定める必要がある。PoC工程実施後は,計画で定めた評価基準及び終了基準を満たしているかを明確に評価する必要がある。 (3)学習と評価のリスク チャットボットの学習では要求される品質を満たす学習データと教師データを選定,準備し,必要な各工程で学習させないと,チャットボットが適切でない回答をするリスクがある。学習後は,結果が正しいかどうかを評価する必要がある。 (4)オペレータ教育のリスク オペレータ教育が不十分な場合にはAIが示した誤った結果をそのまま顧客に回答するリスクがある。AIが示す結果は常に正しいとは限らないので,結果の利用可否を人が判断する必要がある。チャットボットについても同様で,操作方法の変更だけでなく,結果の正しさや利用可否をオペレータ本人が判断すべきであることを教育する必要がある。その際,オペレータ教育の内容や実施計画の妥当性を事前に考慮することが重要である。 〔M氏の助言〕 監査チームは,想定したリスクを踏まえて作成した監査手続書について,M氏に助言を求めた。M氏の助言は次のとおりである。 (1)監査手続としてAIに関する開発原則を確かめるだけでは不十分であり,追加の手続が必要である。 (2)開発概要書を作成しており,PoCを継続実施する計画になっている。今後のPoCの評価が不明確な場合は開発が遅延するリスクがある。PoCの計画と実施についての監査手続が必要である。 (3)開発概要書を見る限り,本番移行工程には問題がある。本番運用において期待効果が得られない可能性があるので,詳しく調査する必要がある。 (4)オペレータ教育について,教育内容や実施計画が不十分なので,詳しく調査する必要がある。 〔修正した監査手続書〕 監査チームはM氏の助言を踏まえて,表1のとおり監査手続書を修正した。 表1 修正した監査手続書(抜粋) 設問1〔M氏の助言〕(1)を踏まえて,表1中の【ア】に入れる監査手続を50字以内で述べよ。 設問2〔M氏の助言〕(2)を踏まえて,表1中の【イ】に入れる監査手続を45字以内で述べよ。 表1中の【ウ】に入れる監査手続を45字以内で述べよ。 設問3〔M氏の助言〕(3)について,M氏が指摘した問題を30字以内で述べよ。 設問4〔M氏の助言〕(4)について,M氏が,オペレータ教育の内容が不十分と考えた理由を40字以内で述べよ。
図1 チャットボット開発の流れ。チャットボット開発の工程を,構想立案,PoC,要件定義,設計,実装,テスト,本番移行,本番運用の順に示し,現在の工程がPoCであることを示す図。
図1 チャットボット開発の流れ。チャットボット開発の工程を,構想立案,PoC,要件定義,設計,実装,テスト,本番移行,本番運用の順に示し,現在の工程がPoCであることを示す図。
表1 修正した監査手続書(抜粋)。AI開発原則,PoCの計画と実施,学習データと教師データ,オペレータ教育に関する監査要点と監査手続を整理した表。
表1 修正した監査手続書(抜粋)。AI開発原則,PoCの計画と実施,学習データと教師データ,オペレータ教育に関する監査要点と監査手続を整理した表。
解き方のヒントを見る

AI開発監査で見る判断基準

この問題では、チャットボットの機能そのものより、企画から導入までの各段階で、目的に沿った判断基準が定められ、結果を誰がどのように確認する設計になっているかに注目します。

この問題で問われていること

特に、PoCや本番移行、利用者教育に関する記述を読むとき、計画・評価・承認・運用判断のつながりが文書上明確か、想定外の結果が出た場合にも判断を保留できる構造かを一つの視点で確認します。

視点

AIを含む開発監査では、目的、評価、承認、教育を別々の作業として見るのではなく、各工程の判断根拠が前工程の結果と結び付き、次工程へ進む条件が説明可能になっているかを確認します。個別の答えではなく、記述同士の整合性に着目してください。

確認ポイント

  • 導入目的と、PoCで確認したい成果が同じ方向を向いているか
  • 評価や本番移行の判断に必要な基準・責任者・記録が、計画上つながっているか
  • AIの出力を利用する場面で、結果を確認し判断する人への準備が、単なる操作説明に偏っていないか
正解と解説を見る

解説

コールセンタへのAI活用チャットボット導入の企画段階を題材にした、システム監査の事例です。構想立案における経営層による審議・承認、PoC計画書とPoC評価書で確かめる事項、本番移行時に学習結果を評価する必要性、AIの特性を踏まえたオペレータ教育の4点を、リスクと監査手続の対応で整理します。

問題の全体像

家庭用品を製造・販売するA社が、コールセンタでオペレータを支援するチャットボット(AIによる音声認識と自然言語処理)を導入する企画段階を題材にした、システム監査の問題です。出題趣旨によると、AIの特性、AIを利用したシステムの開発段階におけるリスクとコントロールを理解し、コントロールの適切性を確かめる監査手続を選んで監査を実施する能力が問われています。図1は開発の流れを「構想立案」「PoC」「要件定義」「設計」「実装」「テスト」「本番移行」「本番運用」の順に示し、現在の工程がPoCであること、本番運用が破線であることを表しています。表1は監査手続書の抜粋で、項番(1)〜(4)に監査要点と監査手続が並び、監査手続の欄に空欄ア・イ・ウがあります。本文の〔監査チームが想定したリスク〕と〔M氏の助言〕を、表1の各項番に対応させて読み解くことがポイントです。

設問1(ア)

【ア】は、表1の項番(1)において、監査要点が「AIの導入目的や利用範囲について,経営層が判断,承認しているか。」となっている行の監査手続です。〔M氏の助言〕(1)では、「監査手続としてAIに関する開発原則を確かめるだけでは不十分であり,追加の手続が必要である」としています。また、〔監査チームが想定したリスク〕(1)には、「導入目的や利用範囲について,経営会議などの審議を経て経営層が承認するプロセスが必要である」とあります。したがって、経営会議などの記録を確認し、経営層による審議と承認が行われているかを確かめる手続となります。公式解答例は「経営会議などの議事録を閲覧し,経営層によって十分に審議され,承認されているかを確かめる。」です。

設問2(イ)

【イ】は、表1の項番(2)「PoCの計画と実施は適切に行われているか。」のうち、「計画について,」に続く監査手続です。〔M氏の助言〕(2)では、PoCの計画と実施についての監査手続が必要とされています。また、〔チャットボット開発の概要〕(2)には、PoCの実施に当たりPoC計画書を作成したとあります。〔監査チームが想定したリスク〕(2)には、「PoCの計画策定では,実施の目的,結果の評価基準及び終了基準を定める必要がある」とあります。したがって、PoC計画書を閲覧し、目的や結果の評価基準、終了基準が記述されているかを確かめる手続となります。公式解答例は「PoC 計画書を閲覧し,目的,結果の評価基準,終了基準の記述があることを確かめる。」です。

設問2(ウ)

【ウ】は、表1の項番(2)のうち、「実施について,」に続く監査手続です。〔チャットボット開発の概要〕(2)には、PoCの実施結果をPoC評価書としてまとめたとあります。また、〔監査チームが想定したリスク〕(2)には、「PoC工程実施後は,計画で定めた評価基準及び終了基準を満たしているかを明確に評価する必要がある」とあります。したがって、PoC評価書を閲覧し、結果の評価や終了の判断が記述されているかを確かめる手続となります。公式解答例は「PoC 評価書を閲覧し,結果の評価や終了の判断についての記述を確かめる。」です。

設問3

〔M氏の助言〕(3)では、開発概要書を見る限り本番移行工程に問題があるとしています。開発概要書②では、テスト工程で学習データと教師データを3か月分に増やして学習させ、結果を評価し、想定した結果が得られた場合に本番移行が承認されることになっています。一方、③では「本番移行工程では時間が限られ,直前のテスト工程では結果が評価されることから,学習データと教師データの量を6か月分に増やして学習だけを行い,本番運用を開始する」とされています。これに対し、〔監査チームが想定したリスク〕(3)には「学習後は,結果が正しいかどうかを評価する必要がある」とあります。本番移行でデータを6か月分に増やして学習を行っても、その結果を評価しないまま本番運用を始めることが問題となります。公式解答例は「学習後に結果を評価しないで本番移行してしまうという問題」です。採点講評では「学習データ,教師データの評価と,学習結果の評価を取り違えたと思われる解答が散見された。AI の学習と結果評価のプロセスでは,データを増やして学習させ,結果を評価し,想定した結果が得られた場合に本番移行するということに気付いてほしい」と指摘されています。

設問4

〔M氏の助言〕(4)では、オペレータ教育の教育内容や実施計画が不十分であると指摘されています。開発概要書には、オペレータ教育について「現行のマニュアルの中で操作方法が変更になる箇所だけを更新し,業務の繁閑を考慮しながらオペレータを教育する」と書かれています。これに対し、〔監査チームが想定したリスク〕(4)では「AIが示す結果は常に正しいとは限らないので,結果の利用可否を人が判断する必要がある」とされています。さらに、操作方法の変更だけでなく、結果の正しさや利用可否をオペレータ本人が判断すべきであることを教育する必要があると述べられています。また、表1の項番(4)の監査要点も「AIの特性を踏まえたオペレータ教育の内容を検討した上で,実施計画の妥当性を考慮しているか。」となっています。このように、開発概要書は操作方法の変更箇所しか対象にしておらず、AIの特性や結果の正しさ・利用可否を判断する教育が含まれていません。公式解答例は「AI の特性の教育や,結果の正しさや利用可否を判断する教育の予定がないから」です。採点講評では「AI の特性を記述した解答は少なかった。AI が示す結果が常に正しいとは限らず,その結果の正しさや利用可否を人間が判断すべきであることを理解するために,AI の特性を踏まえた教育が必要であることに気付いてほしい」と指摘されています。

学習のポイント

AI導入におけるPoCの評価基準・終了基準の設定、データを増やして学習させた後の結果評価、AIの結果の利用可否を人が判断するための教育を整理します。あわせて、表1の監査要点と監査手続を、本文のリスクの記述と結び付けて確認します。

出典:独立行政法人 情報処理推進機構(IPA)令和3年度秋期 システム監査技術者試験 午後Ⅰ 問1(公式資料:問題冊子(PDF) / 解答例 / 採点講評)

関連する過去問一覧

IPA Advancedは非公式の学習サイトです。解説にはAIによる補助生成を含む場合があります。公式の問題冊子・解答例・採点講評を優先し、誤りは確認後に訂正します。運営・編集方針