業務効率化・DX

生成AIの出力は、確認の手順とセットでなければ使えません

生成AIで作った資料が、議会や理事会や取引先に出ていきます。そこで中身を問われたとき、「AIが書きました」は答えになりません。

業務で生成AIに情報を入れてよいかでは、何を入れてよいかを整理しました。この記事は反対側、出てきたものをどう扱うかです。

入口の管理は進んでいる組織が増えました。出口の管理が空いたままの組織が、それより多いというのが実感です。

結論

  • 生成AIの出力は、確認の手順とセットでなければ業務に使えません。国の指針は「人間自らが最終的な判断を行うこと」としています
  • 確認が要るのは出力だけではありません。入力の前提出力の事実関係自分で説明できるかの3か所です
  • 「読んで違和感がなかった」は確認ではありません。承認する理由を自分の側で作れるかが基準です
  • 確認が回らない業務には、そもそも使わない。 使う業務を選ぶ作業が、確認の手順より先に来ます

「AIが書いた」で責任は移りません

人工知能関連技術の研究開発及び活用の推進に関する法律(令和7年法律第53号。以下「AI法」)が、令和7年6月4日に公布されています。附則第1条は「この法律は、公布の日から施行する」とし、第3章(人工知能基本計画)・第4章(人工知能戦略本部)と附則の一部だけを「公布の日から起算して三月を超えない範囲内において政令で定める日」からとしています。第13条は第2章にあるので、公布の日から施行されています。つまり、これから始まる制度ではありません。 この法律の第13条は、次のとおり定めています。

国は、人工知能関連技術の研究開発及び活用の適正な実施を図るため、国際的な規範の趣旨に即した指針の整備その他の必要な施策を講ずるものとする。

これを受けて、令和7年12月19日に「人工知能関連技術の研究開発及び活用の適正性確保に関する指針」が人工知能戦略本部で決定されました。指針自身が、その位置付けをこう書いています。

AI法…第13 条に基づく本指針は、信頼できるAIの実現に向けて、事業者、国民等の全ての主体におけるAIの研究開発・活用の適正な実施に係る自主的かつ能動的な取組を促すために、国際的な規範の趣旨に即して策定するものである。

「自主的かつ能動的な取組を促すため」です。 守らなかったときの罰則が書かれているわけではありません。ここは正確に読んでください。ただし、罰則が無いことと、出した資料の責任が自分に残ることは別の話です。

指針は、考慮すべき要素の「人間中心」の中で、こう書いています。

AIを活用する範囲や条件については、人間自らが最終的な判断を行うこと。

そして「4 国民が特に取り組むべき事項」では、さらに具体的です。指針は「事業者、国民等の全ての主体」を対象にしたうえで、取り組むべき事項を主体ごとに書き分けています。2が研究開発機関と活用事業者、3が国及び地方公共団体、4が国民です。ここで注意が要ります。**2の柱書が名宛人にしているのは「AIを活用した製品、サービスの開発、提供をする活用事業者」**であって、AIガバナンスの構築などはその側に向けられた事項です。AIを買って業務に使うだけの事業者は、2の柱書の名宛人ではありません。 AIを使う一人ひとりに向けた最低線は、4に書かれています。

AIを利用する際は、得られる情報の出所、正確性等を理解し、人間の判断、責任の下で意思決定を行うとともに、不当な偏見・差別、誹謗中傷、偽・誤情報の拡散等を目的とした不適切な行為を行わない。

「出所」と「正確性」が並んでいます。 出てきた内容が正しいかだけでなく、どこから来た情報なのかを理解したうえで使え、という書き方です。

自治体の読者に当たるのは3です。指針は「行政としてのアカウンタビリティを果たすこと」として、こう書いています。

行政においてAIを活用する際、行政の信頼性を確保するため、求められる水準を十分に考慮した適切なリスク対策等を実施し、可能な限り判断の根拠等が不明瞭にならないよう国民へのアカウンタビリティを果たす。

そのうえで「地方公共団体においては、AIの適正な活用、リスク管理における責任者を明確化する」ことも挙げています。担当者の心がけではなく、責任者を決めるところまでが書かれています。 この記事の最後に置いた「組織として決めておくこと」は、ここに直結します。

説明責任は、出力に基づく判断にも及びます

より実務的な言い方をしているのが、総務省が令和7年12月16日に公表した「自治体におけるAI活用・導入ガイドブック<導入手順編>(第4版)」の別添、「(自治体名)生成AIシステム利用ガイドライン(ひな形Ver1.0)」です。

生成AIシステムの出力に基づいて行われた判断も説明責任の対象に含まれることに留意すること(例:利用者自身が生成物について説明できることを確かめた上で業務利用する。必要に応じて生成物を換言して、自身で説明できる表現にする。)。

これは自治体職員向けのひな形です。 民間の事業者を直接縛るものではありません。ただし、説明を求められる場面の構造は同じです。学校法人なら理事会と監事、中小企業なら金融機関と税務調査、自治体なら議会と住民。「AIが出した」で止まる説明が通る相手はいません。

なお、AI事業者ガイドライン(第1.2版)のほうは、対象をこう書いています。

本ガイドラインは、様々な事業活動においてAI の開発・提供・利用を担う**全ての者(政府・自治体等の公的機関を含む)**を対象としている。

民間も公的機関も対象です。 そのうえで、AIを業務で使う側(AI利用者)に対して次を挙げています。

AI の出力について精度及びリスクの程度を理解し、様々なリスク要因を確認した上で利用する

「もっともらしい」ことが問題です

指針は、ハルシネーションを脚注でこう定義しています。

生成AIにより、事実とは異なることがもっともらしく出力されることをいう。

「もっともらしく」が要点です。 明らかに変な出力であれば誰でも気づきます。実務で事故になるのは、形式が整っていて、口調が自信に満ちていて、内容だけが違う出力です。

個人情報保護委員会も、令和5年6月2日の注意喚起で同じ性質を指摘していました。

生成AI サービスでは、入力されたプロンプトに対する応答結果に不正確な内容が含まれることがある。

そして、その理由をこう書いています(この一文は個人情報についての記述です)。

例えば、生成AI サービスの中には、応答結果として自然な文章を出力することができるものもあるが、当該文章は確率的な相関関係に基づいて生成されるため、その応答結果には不正確な内容の個人情報が含まれるリスクがある。

「確率的な相関関係に基づいて生成される」。 出力は、正しさを確かめた結果ではなく、続きとしてありそうな語の並びです。正しく見えることと、正しいことのあいだに、仕組みの上でのつながりがありません。

いつ起きるかは、ある程度分かっています

デジタル庁の「テキスト生成AI利活用におけるリスクへの対策ガイドブック(α版)」(令和6年6月10日)は、テキスト生成AIの利活用が不適切なケースとして6類型を挙げています。資料の書き方は「例えば以下の6 類型が考えられる」であって、これで尽きるという整理ではありません。 また、政府情報システムを対象にした参考資料で、文書自身も「参考資料。今後、デジタル社会推進標準ガイドラインへの編入を検討予定」と位置付けていますが、類型そのものは民間でもそのまま当てはまります。

  • (1) テキスト生成AI による回答の期待品質が高すぎる場合
  • (2) そもそも人間が行うべき仕事であり、AI による代替が不適切な場合
  • (3) 特定の資格を必要とする作業であることが法令に定められている場合
  • (4) テキスト生成AI の知識に無い事項を答えさせる場合
  • (5) テキスト生成AI 利活用の構築・運用費が費用対効果に見合わない場合
  • (6) その他、AI 事業者ガイドラインの「共通指針」(ページ12~20)に違反する場合

((6)の「(ページ12~20)」は原文ママです。この資料が公表された令和6年6月時点のAI事業者ガイドライン、すなわち第1.0版のページを指しています。本記事が併せて引いている第1.2版では、「C. 共通の指針」は14〜25ページに当たります。)

実務で目にすることが多いのは(4)です(統計ではなく、相談と研修での実感です)。そして資料は、(4)について踏み込んだ書き方をしています。

(4)はテキスト生成AI の学習データに無い情報を聞いた場合に確実に発生する。…テキスト生成AI の学習データに仮に情報があったとしても大規模言語モデルがそれを知識として確実に学習できるとは限らない点にも注意。

「確実に発生する」です。 自団体の内規、去年の議事録、自社の契約書の条項、取引先の与信情報。資料を渡さずにこれらを聞く使い方は、この不適切な類型にそのまま当たります。

ここは正確に読んでください。資料が挙げている例は、AIが「根拠のない事実と異なる適当な人数を回答することがある」という書き方です。毎回必ず作り話が返る、という意味ではありません。それでも扱いは同じです。 返ってきた答えが当たっているのか外れているのかは、答えを読んでも分かりません。確かめる先が手元に無いまま聞いている、というのがこの類型の中身です。

そして、引用した後半も落とさないでください。公表されている制度でも、確実に覚えているとは限らないという指摘です。「有名な制度だから間違えないだろう」は成り立ちません。

一度確かめたことは、次の根拠になりません

同じ資料は、出力のばらつきについてこう書いています。

テキスト生成AI の機械学習モデルの推論過程には一般にばらつきが生じることがある。そのため同じ入力値であっても、対応する生成物が毎回同じ結果にならず、ばらつきまで考慮した評価が必要になる。

「前に同じ使い方をして問題なかった」は、今回の確認を省く理由になりません。 確認は、使うたびに要ります。ここが、従来のシステム導入との一番の違いです。

読んで違和感がないことは、確認ではありません

ここが実務の核心です。AI事業者ガイドライン(第1.2版・令和8年3月31日)は、自動化バイアスを脚注でこう定義しています。

人間の判断や意思決定において、自動化されたシステムや技術への過度の信頼や依存が生じる現象を指す。

そして、その対策として次を挙げています。

必要な対策としては、AI による評価、判断、推奨、又は予測等のアウトプットを人間が鵜呑みにしないために、AI の欠点を含む特性を理解できるトレーニングを受けることや、AI の評価や判断等を人間が承認する際には人間自身が AI の評価や判断等を承認する理由や根拠を独自に考えてから承認すべきこと等が提案されている。

「承認する理由や根拠を独自に考えてから承認する」。 これを言い換えると、こうなります。

確認になっていないもの確認になっているもの
読んで引っかからなかったなぜこの結論になるのかを、自分の側で組み立て直せた
出典が書いてあったその出典を開いて、その記述が実際にあることを見た
数字が並んでいて整合していたその数字を、自分で計算し直して一致した
前回も同じ使い方で問題なかった今回の出力について確かめた

左の列は、いずれもAIの出力を見た結果です。右の列は、いずれも自分の側で別に作った根拠です。この差が、そのまま説明できるかどうかの差になります。

ガイドラインは、公平性の項でも同じ構えを繰り返しています。

AI の出力結果が公平性を欠くことがないよう、AI に単独で判断させるだけでなく、適切なタイミングで人間の判断を介在させる利用を検討する。なおその際には、人間の判断が自動化バイアスに左右されないような対策を講じるべきである

人を挟めばよい、では足りません。 挟んだ人が鵜呑みにするなら、挟んでいないのと同じだと書かれています。

確認が要るのは3か所です

出力だけを見ればよいと思われがちですが、総務省のひな形は入力の側にも確認を求めています。

確認する場面確認する内容ひな形の記述
入力する前渡す資料や前提そのものが誤っていないか「正確かつ最新のデータ入力を行うこと(例:不正確な回答につながってしまうため、生成AIシステムに入力する前に、前提が誤っている等の不正確な情報となっていないかを利用者自身でチェックする。)」
出力を受け取った後事実関係と根拠が原典と一致するか「正確性や根拠・事実関係を必要な範囲内でリスクに応じて確認すること。」
業務に使う前自分の言葉で説明できるか/使ってよいか「利用者自身が生成物について説明できることを確かめた上で業務利用する」「責任を持って生成AIシステムの出力結果の業務への利用判断を行うこと」

1行目が抜けている組織が多いところです。 古い版の要綱を渡して要約させれば、丁寧で読みやすい、古い版の要約が返ってきます。出力を何度読み直しても、この誤りは見つかりません。

社内の文書を検索して答えさせる仕組み(検索拡張生成・RAG)を入れている場合も同じです。AI事業者ガイドラインの別添は、AI利用者向けの注記として「RAG を活用する場合、検索・参照するデータの最新性・信頼性の確保に留意する」としています。参照先が古ければ、出力も古くなります。

なお、ひな形は確認の水準についても書き分けています。

利用目的に応じて求められる正確性の水準が異なることを意識し、生成AIシステムの出力結果を確認すること。

すべてを同じ密度で確認する、という要求ではありません。 庁内の下書きと、対外的に出す文書では水準が違います。ただし「水準が違う」は「確認しない」ではありません。

内容そのものについても、別の観点が置かれています。

安全性・公平性・客観性・中立性等に問題がないことを確認し、問題のある表現は必ず加除修正すること(例:差別用語や倫理に反する表現が含まれていないこと、著作権等第三者の権利を侵害していないこと、第三者の生命・身体・財産等に危害や悪影響を及ぼすことがないこと等を確認する。)。

事実が合っていることと、出してよい表現であることは別の確認です。

事実関係を、どうやって確認するか

ここが一番手間のかかるところで、手順を持っていないと必ず甘くなります。

デジタル庁の資料は、定性的な評価は漠然とやると主観に流れることを指摘したうえで、対策をこう書いています。

テキスト生成AI の生成物の良し悪しをただ漠然と評価させるのではなく、問題や課題点を分解して、評価観点や基準を明確にすることで、主観に基づくバイアスを抑止できる。

そして、資料を渡して答えさせる使い方(検索拡張生成・RAG)についての評価観点を挙げています。原文は3段構えで、出力を見るより前に、答えの材料になった資料そのものを見るところから始まります。これは業務でファイルを添付して要約や抽出をさせるとき、そのまま使えます。

  • (1) 質問文に対して適切な関連文章が抽出できているか
    • (ア) もし想定していた関連文章があれば、それをちゃんと抽出しているか(再現率の観点
    • (イ) 抽出した関連文章に不適切なものが含まれていないか(適合性の観点
  • (2) 関連文章に対して大規模言語モデルの出力が適切か
    • (ア) 出力結果に含まれている固有名詞は関連文章内に含まれているか
    • (イ) 出力結果の内容は関連文章内で言及されているものか
    • (ウ) 複数の関連文章の結果を統合している場合、その論理の繋がりは自然か
  • (3) 最終的な生成物は求められる品質をクリアしているか
    • (ア) 十分読みやすいか(ユースケースに応じてもっと観点を明確にする)
    • (イ) 出力形式は意図通りになっているか

言い換えると、次を別々に見る、ということです。

  1. そもそも、答えの根拠になるべき資料が拾えているか(必要な箇所が抜けていないか、関係のない資料が混ざっていないか)
  2. 出てきた固有名詞・数字・条番号が、その資料の中に実在するか
  3. 述べられている内容が、その資料の中で本当に言及されているか(実在する語を、書かれていない文脈でつなげていないか)
  4. 複数の箇所をまとめている場合、そのつなぎ方が資料のとおりか

1番目は、出力を何度読み返しても出てきません。 引かれなかった資料は、出力のどこにも姿を見せないからです。添付したファイルのうち、AIが実際にどこを見たのかを確かめる——順序としてはここが先に来ます。

そのうえで、3番目と4番目が落ちやすいところです。単語はすべて資料の中にあるのに、そのつなぎ方だけが資料に無い——これが、いったん出力に入ってしまうといちばん見つけにくい誤りです。

私自身がやっていること

制度や数字を扱う文章では、書き終えてから確認するのではなく、確認した記録を先に作ります。

  • 文章に出てくる数字・日付・割合・期限・要件・条文番号を、1件1行で並べる
  • それぞれに出典のURLと、原文の引用を付ける
  • 引用は要約せずに原文のまま写す。 要約した時点で、それは確認ではなく解釈になります
  • 書き終えたら、その一覧を上から順にたどり、その引用が文章のどこに反映されているかを指させるかを確かめる
  • 原文を引けなかったものは、文章から落とす

手間はかかります。ただ、これをやるようになってから見つかった誤りは、どれも読み返しでは気づけない型でした。

  • 括弧書きやただし書が、どの項に係るのかを読み違えていた
  • 要件の列挙が1つ足りなかった(原文の列挙がページをまたいでいて、途中で切れていた)
  • 「かつ」と「又は」が入れ替わっていた
  • 「のみ」「限る」といった限定の語が落ちていた
  • 数字は正しいのに、「なぜそうなるか」の説明のほうが誤っていた

どれも、出力を読んで違和感を覚える種類の誤りではありません。 原文を横に置いて、1対1で突き合わせないと出てきません。これが「確認の手順を持つ」ということの中身です。

指針が「透明性」の要素として次を挙げているのも、同じ方向を向いています。

必要かつ技術的に可能な範囲での情報の開示、事後的な検証可能性の確保等により、透明性を適切に確保すること

後から誰かがたどれる形で残っているか。 確認したという記憶ではなく、確認の記録です。

確認が回らない業務には、使わない

手順の話より前に、業務の選び方があります。

デジタル庁の資料は、パブリックコメントの意見をAIに分類させ、職員がその妥当性を確認する手順を挙げたうえで、こう書いています。

(4)の工程は職員が行う手間が純増する箇所ではあるが、文のラベル付の妥当性判断は文から自身でラベル付するよりもだいぶ負担が少ないため相対的に時間をかけずに行うことができる。

これが業務を選ぶときの基準になります。 確認する作業が、自分で作る作業より軽いかどうか。

確認が軽い(向いている)確認が重い(向いていない)
分類・ラベル付け(合っているかを見るだけ)制度の当てはめの結論(根拠から作り直さないと確かめられない)
形式の変換・体裁の整理(元と見比べられる)外部に出す数字(結局すべて計算し直すことになる)
下書き・言い換え(自分が中身を分かっている)自分が知らない分野の要約(誤りに気づけない)
渡した資料からの抽出(資料と突き合わせられる)資料を渡さずに事実を答えさせる(突き合わせる先が無い)

右の列でも使えないわけではありません。ただし、確認の手間が生成の手間を上回るので、時間の節約にはなりません。「速くなるはずだったのに遅くなった」の正体は、たいていここです。

そして、資料を渡す形に切り替えるだけで、右から左へ移る業務があります。 「この制度はどうなっていますか」と聞くと確認する先がありませんが、「この告示のPDFを読んで、該当箇所を抜き出してください」なら、確認する先は渡したPDFです。確認できる形に問いを組み替える、というのが実務での工夫です。

最後に、確認しきれなかった場合の扱いも、ひな形に書かれています。

責任を持って生成AIシステムの出力結果の業務への利用判断を行うこと(例:…判断に迷う場合は利用しないこととする。)。

確認できないまま使うことと、使わないことのあいだに、中間の選択肢はありません。

組織として決めておくこと

個人の心がけでは続きません。手順を組織の側に置いてください。

  1. 記録を残す仕組みを、使い始める前に作る。 AI事業者ガイドラインの別添は、AI利用者が利用前にやることとして「AI システム・サービスの利用過程におけるログ(操作履歴、入力・出力の記録等)の管理体制の整備」を挙げています。「利用前」に置かれている点が重要です。 そのうえで「誰が見たか」だけでは足りません。何を見て確認したのか(原典の名称と該当箇所)が残っている必要があります
  2. 影響の大きい出力には、人を通す手順を決めておく。 同じ別添は、利用中にやることとして「出力によって重大な影響又は被害が生じ得る場合、人間の判断を介在させる仕組みに基づき適宜判断」を挙げています。「仕組みに基づき」です。 そのつど気をつける、ではありません
  3. 誤りが出たときの報告経路を決める。 ひな形は、リスクケースの例として「生成AIが事実と異なる情報を出力し(ハルシネーション)、利用者がその情報を利用したことによって利用者若しくは第三者に不利益を与えた」を挙げ、ア.検知内容の報告 → イ.対処 → ウ.対応結果の報告という手順と、報告フォームを用意しています
  4. 委託先の成果物も対象に入れる。 ひな形は、業務を委託する外部事業者に対して「当該委託業務の成果物に生成AIシステムによる生成物が含まれる場合の取扱い等について、委託契約書等に必要な規定を定めることなどにより、受託業務の遂行に当たって本ガイドラインに沿った対応を求めること」としています。求められているのは契約書に一条入れることではなく、そこまでを手段として、同じ水準の対応を委託先にも求めることです。 庁内・社内のルールだけを整えても、外注の経路が空いたままになります
  5. 文書としての管理を決める。 ひな形は「生成AIシステムを利用して職務上作成した文書の取扱いについては、『(自治体名)文書取扱規程』等を踏まえて、適切に管理すること」としています
  6. 研修を利用の前に置く。 ひな形は「(自治体名)職員が生成AIシステムを利用する前には、情報政策担当課が指定する研修を必ず受講すること」という形を採っています。使い始めてから教える順序ではありません

どこに人を置くかは、基準で決められます

「重大な影響」といっても線が引けない、という声をよく聞きます。AI事業者ガイドラインの別添(AI利用者向け)は、さきほどと同じ**公平性の「②人間の判断の介在」**の項で、人間の判断を介在させるかどうかの判断基準の例として、次を挙げています。公平性の項に置かれていますが、8項目のうち社会的バイアスに触れているのは最後の1つだけで、残りは場面を選ばない基準です。

  • AI の出力に影響を受けるAI 利用者又は業務外利用者の権利・利益の性質及びAI 利用者又は業務外利用者の意向
  • AI の出力の信頼性の程度(人間による判断の信頼性との優劣)
  • 人間の判断に必要な時間的猶予
  • 判断を行うAI 利用者又は業務外利用者に期待される能力
  • 判断対象の要保護性(例えば、人間による個別申請への対応か、AI システム・サービスによる大量申請への対応か等)
  • 統計的な将来予測の不確定性
  • 意思決定(判断)に対し納得ある理由の必要性及び程度
  • 学習データにマイノリティ等に対する社会的バイアスが含まれていること等により、人種・信条・性別にもとづく差別の想定度合い

「納得ある理由の必要性及び程度」が、業務を仕分けるときに一番効きます。 理事会・議会・金融機関・税務署に理由を説明する必要がある業務は、この基準で上に来ます。逆に、庁内・社内で完結して、後から直せる作業は下に来ます。

そして、人を置くと決めた後の話も書かれています。

  • 説明可能性を有するAI から得られる説明を前提として、人間が判断すべき項目を事前に明確化しておく(AI の出力に対し、人間が最終判断をすることが適当とされている場合)
  • AI 利用者又は業務外利用者がAI の出力を適切に判断ができるよう、必要な能力及び知識を習得する(AI の出力に対し、人間が最終判断をすることが適当とされている場合)
  • 人間の判断の実効性を確保するための対応を事前に整理しておく

「事前に」が2回、「習得する」が1回。 出力を見てから何を確かめるか考えるのでは遅く、確かめる能力も先に要る、ということです。この記事で書いてきた「確認の手順」は、ここに置かれるものです。

なお自治体の場合は、この前段に情報セキュリティポリシーによる格付けの問題があり、入力できる情報の範囲がそこで先に決まります。 別の記事で扱います。

まとめ

  • AI法第7条は、事業活動でAIを活用しようとする者を「活用事業者」と呼んでいます。AIを使う側も、この法律が名前を付けている主体です(ただし同条の責務は活用の推進と施策への協力であって、出力の確認を義務付けるものではありません)
  • 指針は「人間自らが最終的な判断を行うこと」「得られる情報の出所、正確性等を理解し、人間の判断、責任の下で意思決定を行う」としています。罰則を伴うものではありませんが、出した資料の責任が自分に残ることは変わりません
  • ハルシネーションは「事実とは異なることがもっともらしく出力される」ことです。事故になるのは、形式が整っていて内容だけが違う出力です
  • 学習データに無い情報を聞く使い方は、**不適切な類型に「確実に発生する」**とされています。自団体の内規、去年の議事録、自社の契約内容がこれに当たります。毎回必ず作り話が返るという意味ではありませんが、当たり外れを答えの側から判別できないという点は変わりません
  • 出力は毎回同じ結果になりません。前回問題がなかったことは、今回の確認を省く理由になりません
  • 読んで違和感がないことは確認ではありません。 「承認する理由や根拠を独自に考えてから承認する」が、示されている水準です
  • 確認は入力の前・出力の後・使う前の3か所。入力の前が抜けやすいところです
  • 事実関係は、根拠になる資料が拾えているか/固有名詞が資料にあるか/内容が資料で言及されているか/つなぎ方が資料のとおりかを分けて見ます。引かれなかった資料は出力に姿を見せないので、1つ目は出力を読み返しても出てきません。出力の中では、単語はすべて資料にあるのに、つなぎ方だけが資料に無い誤りが最も見つけにくいものです
  • 業務の選び方が先に来ます。確認が生成より軽い業務(分類・形式変換・渡した資料からの抽出)を選んでください
  • どこに人を置くかには判断基準の例が示されています。 なかでも「納得ある理由の必要性及び程度」が、業務を仕分けるときに効きます。**人が判断すべき項目は「事前に明確化しておく」**とされています
  • 判断に迷う場合は利用しない。 確認できないまま使うことと、使わないことの中間はありません

確認の手順は、業務ごとに作らないと使われません。どの業務にどこまでの確認を置くかを、実際の文書を見ながら組み立てるところをご相談いただけます。監査で「確かめた記録をどう残すか」を仕事にしてきた立場から、いまの体制に合う形をご提案します。

よくある質問

生成AIを使ったことは、成果物に書かなければいけませんか。

表示の要否は、委託契約や庁内・社内の規程で決まります。表示を求める定めがあるなら、それに従ってください。そのうえで、国や総務省の資料が求めているのは、表示よりも中身の側です。総務省が公表した自治体向けのひな形は「生成AIシステムの出力に基づいて行われた判断も説明責任の対象に含まれることに留意すること」とし、例として「利用者自身が生成物について説明できることを確かめた上で業務利用する」を挙げています。表示するかどうかを決める前に、中身を自分で説明できる状態にしておいてください。

出力を読んで違和感がなければ、確認したことになりますか。

なりません。AI事業者ガイドライン(第1.2版)は、自動化バイアスを「人間の判断や意思決定において、自動化されたシステムや技術への過度の信頼や依存が生じる現象」と定義し、その対策として「AI の評価や判断等を人間が承認する際には人間自身が AI の評価や判断等を承認する理由や根拠を独自に考えてから承認すべきこと」が提案されていると注記しています。読んで引っかからなかったことは、承認する理由にはなりません。承認する理由を自分の側で作れるかどうかが基準です。

ハルシネーションはどういうときに起きますか。

デジタル庁の資料は、テキスト生成AIの利活用が不適切なケースの1つに「テキスト生成AI の知識に無い事項を答えさせる場合」を挙げ、これは「テキスト生成AI の学習データに無い情報を聞いた場合に確実に発生する」としています。さらに「学習データに仮に情報があったとしても大規模言語モデルがそれを知識として確実に学習できるとは限らない点にも注意」とも書かれています。自団体の内規、去年の議事録、自社の契約内容など、外に出ていない情報を聞く使い方が、実務では最も危険です。

一度試して問題がなかったので、同じ使い方なら大丈夫ですか。

大丈夫とは言えません。デジタル庁の資料は「テキスト生成AI の機械学習モデルの推論過程には一般にばらつきが生じることがある。そのため同じ入力値であっても、対応する生成物が毎回同じ結果にならず、ばらつきまで考慮した評価が必要になる」としています。前回うまくいったことは、今回の出力を確認しなくてよい理由になりません。

どんな業務なら安心して使えますか。

「確認する作業が、自分で作る作業より軽い業務」です。デジタル庁の資料は、パブリックコメントの意見をAIに分類させて職員が確認する手順について「文のラベル付の妥当性判断は文から自身でラベル付するよりもだいぶ負担が少ないため相対的に時間をかけずに行うことができる」としています。分類、下書き、言い換え、形式の変換はこの型です。逆に、外部に出す数字や、制度の当てはめの結論は、確認のほうが重くなります。

確認しきれないときはどうすればよいですか。

使わないという判断が用意されています。総務省のひな形は、出力結果の利用判断について「判断に迷う場合は利用しないこととする」を例として挙げています。確認できないまま使うことと、使わないことのあいだに、中間の選択肢はありません。

出典

お問い合わせ・ご相談

学校法人の会計監査、公営企業の会計指導、税務申告のことなら鳥生紘平公認会計士事務所にお任せください。

初回相談は無料です

受付時間: 平日 9:00〜18:00