経済産業省DX室の月岡です。

経済産業省では昨年度より、既存業務フローの抜本的な見直しをはじめとして組織全体として政策立案を高度化するための業務改革を進めています。

DX室ではその一環として、抜本的な業務効率化を推進するため「生成AI」の活用方法について検討してきました。
今回は、これまでのあゆみについて、昨年度DX室が実施した委託調査事業の報告書を解説する形でご紹介させていただきます。

行政機関での生成AI活用はまさにこれから本格化すると言える中、導入・活用を考えている企業や自治体等の皆さんにとって、少しでも参考になれば幸いです。

1. 生成AI活用検証の狙い

昨今、生成AIが社会のあらゆるところで活用されており、幅広い活用方法が日々模索されています。
こうした潮流の中、昨年度DX室が実施した事業の目的は以下の2つです。

• 生成AIが行政事務の高度化に資する技術なのか検証すること

• 導入にあたっての具備すべき要件や制約事項等を明らかにすること

生成AIを省全体で導入して、実際の業務の補助ツールとして利用するためには、セキュリティの担保が必須であるため、機密情報の取扱いを考慮してシステムの構造やルールを整理する必要があります。
一方で、要件や制約事項等は検証することで明確になることもあります。

よって、令和5年度に行った委託調査事業では、150名程度の職員に機密情報を取り扱わない範囲で限定的に生成AI活用検証を実施し、検証を通じて得られる要件や制約事項等を明らかにしました。

まず、経済産業省における生成AIの利活用におけるユースケースを検討するにあたり、今般の検証に参加した職員から生成AIを活用したい業務について情報収集した上で、主な検証対象の業務を以下９つの類型に分類しました。

これらは企業や自治体と共通するところもありますが、いずれも省内でテキストデータを扱う業務（資料作成、情報検索）として生成AIとの親和性が高いと仮説を立てていました。

2. 検証環境の概要

これらの検証を可能とすべく、検証に参加する職員が公用端末からアクセスできるような環境を委託事業で構築しました。

構築した環境は、マイクロソフト社のAzure OpenAI Serviceを使ったWebアプリケーションであり、通常のチャット機能（本検証ではGeneric Chatと名付けた）に加えて職員が特定のURLを入力したりPDFのファイルを格納したりすると、その内容を参照して生成AIが回答を生成するという機能（順にURL Answering, PDF Answering）を付加しています。

また、テキストマイニングツールであるAzure AI Searchに事前登録した大量のデータから、生成AIによる関連情報の検索及び回答生成をさせる機能を導入しました。

これは、行政事務においては単純な資料作成のみならず、「大量のドキュメントから素早く情報抽出・要約する」という業務に日々多くの職員が工数を割いている中、生成AIのRAG（Retrieval-Augmented Generation：検索拡張生成）の仕組みにより効率化できるかを確認したいという意図です。

特に、セキュリティの観点から省内ネットワークから職員のみログインできるような機構を設けました。
加えて、組織として生成AIを活用する上でガバナンスの観点や今後の適切な運用を考える上で利用記録を取れることが望ましいため、ユーザーの会話履歴をデータベースに蓄積し、これらをもとに職員の利用動向について利用状況を省内で可視化・分析できるようにもしました。

こうした詳細な設計については、IT分野の専門家ではない行政官だけでは立案、マネジメントが困難な領域ですが、DX室では専門的な知見を有するデジタル化推進マネージャーと連携して議論を進められるので、必要な機能を備えた環境の構築を、スピード感を持って実現することができました。

なお、行政機関をはじめ、組織内で生成AI環境を調達する場合、主に以下の選択肢が取られることが想定されます。

1. SaaSを活用したサービス契約

2. 個別契約による環境構築

一般的にSaaSの方が予め必要機能が付加されており、既に市場に出ているサービスなのでデザインも精緻に作り込まれていますが、一方で、個別のユースケースに応じたカスタマイズが難しいことも想定されます。

今般、経済産業省では将来的に機密情報を含む資料も取り扱える生成AI環境を全省で導入することを目指し、省内のネットワーク環境と連携した生成AI環境の構築に関する知見も得るべく、2.を念頭に置いた仕様で調達を行いました。

3. ユースケース検証の結果概要

生成AIの可能性を判断する上で、実装した環境で参加職員が検証した結果について評価することが必要ですが、今般の事業ではなるべく統一的な観点から定量的に評価できるよう、以下の７軸に絞ってユースケースごとに回答を集計しました（評価指標の選定にあたっては生成AIも活用しています）。

職員は本業に加えて検証に参加しているため、過度な負担がかからないよう項目を絞りつつ、前述のユースケースいずれにおいても評価しやすい項目として選定したものです。

今回の検証では、32課室から合計76件のユースケースについて報告があり、それをまとめたものを以下に示しています。

今回検証した限りでは、翻訳や要約、コード生成といったユースケースについて業務高度化に資する可能性が高いという結果が得られました。

検証した結果を比較した際、評価軸として重要なのは、どこの組織でも概ね同じだと思いますが、「回答生成の質がいかに高いか」です。

上記の表では、厳密性（生成する回答がどれだけ厳密であるべきか）が高いユースケースについて業務への利活用が限定的と記載しています。

生成AIの特性を踏まえると、（特段ファインチューニング等の学習を行っていない場合）一般的な内容の文章を創作することは得意と言われていますが、ある文章のフレーズを一言一句違わずに抜粋するなど、厳密性の高い文章生成には向いていない場合が多いという印象です。

行政事務においては、法律関連の業務や所管制度に関する問い合わせ対応など、言い回しも含めて過去例や根拠条文を忠実に引用しなければいけない、ということがしばしばあります。

そのような場合において、生成AIは大まかな検索、情報抽出を行う上では有用ですが、回答案の作成というところまで広げて考えると、実用に際してはまだ課題が残っている、というのが今般の検証結果になりました。

他方で、翻訳や要約のように、ある程度の表現の自由度が許容され、かつ日々の工数もそれなりにかかっている業務については生成AIによって大いに効率化する余地が大きいと判断しました。

ただし、厳密性の高い業務についても生成AIが全く活用できないということではなく、プロンプトの工夫や参照データの適切な処理、異なるモデルをはじめとする今後の技術動向等により大いに改善する可能性があると考えています。

特に生成AIは非常に技術革新の早い分野であることから、職員がどのように上手く使いこなしていくかというリテラシーの観点も含め、経済産業省としても引き続き挑戦を続けていきます。

4. 検証における活用動向

事業終了時に定性的なアンケートを取り、特に日々の利用動向や課題となった点、今後の期待等についてデータを集計しました。

一般的なツールと同様に、導入当初が最も積極的に利用されているが、適切な周知広報がなされないと徐々に波が縮小してしまう可能性があります。

令和５年度の上記検証では約4割の職員が一定以上の頻度で生成AIを使っていたという結果になりましたが、利用頻度が減少した職員の意見も踏まえつつ、組織全体で生成AIを効果的に活用していくための方策を検討しています。

5. 最後に

生成AIが社会で広く使われ始める中で、一般によく言われることとして、役所ではなかなか新技術の導入や業務改革が進んでいない、という印象を持たれることもあると思いますが、経済産業省DX室では最新の技術動向も踏まえて着実に取組を進めているところです。

今後、業務の補助ツールとして生成AIの行政利用を進める上では、技術動向に応じた最適な使い方と生成AIによって得られる効用を明確に周知し、必ずしもリテラシーが高くない職員を含め、組織全体として使いやすい環境を整備することが重要だと考えています。

産業分野でのDXを推進する経済産業省として、まずは隗より始めよということで、省内の業務を抜本的に効率化できるよう、生成AIの活用促進に向けても引き続き挑戦を続けてまいります。