令和2年度10月 システム監査技術者 午後Ⅱ 問1

AIシステム監査で見る一貫性の視点

AIシステムの導入目的から利用段階のリスク、企画・開発時の監査までを、互いに対応づけて整理する視点に注目してください。個別の結論ではなく、論述全体のつながりを確認します。

この問題で問われていること

中心に置くのは、導入目的と想定リスクを踏まえたとき、企画・開発段階で何を確かめる必要があるかという対応関係です。目的、利用場面、監査の観点がずれていないかを考えてください。

視点

監査の検討では、AI技術そのものの説明を広げるより、システムを使う場面で起こり得る懸念を出発点にして、企画や開発の段階で確認する対象へつなげる整理が役立ちます。経験に基づく具体性と、立場の異なる関係者間の認識のそろえ方にも目を向けましょう。

確認ポイント

• 利用目的と想定する利用場面が、同じ前提で説明されているか
• 利用段階で問題になり得る事柄を、企画・開発時の確認対象へどう結び付けるか
• ユーザとベンダの役割や認識の違いが、論述の中で整理されているか

解説

AIシステムの導入目的と概要を示した上で、利用段階のリスクを具体化し、それを抑える企画・開発段階の監査手続まで一貫して論述する問題です。

問題の全体像

問題文は、顔認証やチャットボットなどAIシステムの利用拡大を背景に、ユーザがデータをベンダへ提供し、ベンダが学習用データセットや学習用プログラムを用いて学習済みモデルを作る状況を示している。AIでは、アルゴリズムのブラックボックス化、データの不足・偏りによる精度低下や判断結果の解釈困難、データ加工コスト、モデルやベンダのノウハウに関する権利帰属・利用制約が生じ得る。そのため、従来のように機能要件を先に確定して構築するだけでは不十分です。設問アで具体的な組織・目的・AIシステムを設定し、設問イで利用段階のリスクを示し、設問ウでそれらを企画・開発段階に確認する監査手続へつなげる構成が求められる。採点講評では、システム担当者としての対策ではなく、システム監査人の立場から論述すること、また監査手続と具体的な監査証拠を明確にすることが重視されている。

設問ア

800字以内で、設問イ・ウの前提となる一貫した事例を設定する。まず、業務上の課題とAI技術を利用する目的を、例えば業務効率化、判断支援、予測精度向上など、対象業務と結び付けて述べる。次に、利用者、入力データ、学習処理、学習済みモデル、出力結果、業務での利用方法を簡潔に示す。さらに、AIの判断を最終決定にするのか、人が確認するのか、精度や説明可能性を何で評価するのかも触れると、後続設問のリスクと監査手続につなげやすい。単なるAI技術の説明ではなく、自分が関係する組織の導入目的とシステム概要として具体化することが重要です。

設問イ

700字以上1、400字以内で、設問アのシステムを実際に利用する段階で起こり得るリスクを具体的に述べる。問題文にあるブラックボックス化、学習データの不足・偏り、予測・判断精度の低下、結果の解釈困難、データ加工コスト、モデルやノウハウの権利帰属・利用制約を、設定した業務でどのような影響になるかまで展開する。例えば、誤判定による顧客対応や採用判断への影響、入力データの変化による精度劣化、説明責任を果たせないこと、ベンダ変更や再利用ができないことなどです。採点講評を踏まえ、リスクへの対策だけを並べず、利用段階で想定されるリスクとして原因、発生事象、業務影響を一組で書く。

設問ウ

設問イで挙げた各リスクに対応させ、企画・開発段階で行う監査手続を700字以上1、400字以内で述べる。導入目的については、経営・業務上の必要性、対象業務、期待効果、許容する誤判定水準や評価指標を、稟議書・要件定義書・試験結果・利用部門へのヒアリングで確かめる。開発手法については、データの出所・網羅性・代表性・品質、加工方法、学習・検証用データの分離、精度や説明可能性の評価、再学習やモデル変更の管理を、データ仕様書、処理記録、テスト結果、モデル管理資料などで確認する。ユーザ・ベンダ間の取決めについては、データの利用目的と管理責任、成果物・モデル・学習データ・ノウハウの権利、利用範囲、費用、性能未達時の責任、保守・再学習・監査権、契約終了時の返却や移行条件を契約書や議事録で確認する。最後に、発見事項をリスク評価し、承認条件や改善計画に反映できるかまで述べる。監査を実施した結果だけでなく、何を、誰に、どの資料・記録で確かめるかを具体化することがポイントです。

学習のポイント

リスクを列挙するだけでなく、監査証拠と確認手続に落とし込む力を養う。