現場で回るAIインフラの作り方　5つのコア要素と「小さく始める」リスクベース展開

（1）データマネジメント（AIに任せるための土台）

　「AIに業務を任せる」議論以前に、AIが参照すべき社内データが整備されていないことが、多くの組織の本質的つまづきとなる。生成AIで成果を出している企業は例外なく、モデル選定の前に長期のデータ基盤投資を完了させている。逆に失敗組織の多くはここを飛ばしてツール導入に走っている。

　最低限問うべきは4点。

　第一に、AIに十分な量・質のデータが蓄積されているか。社内文書・議事録・規程・FAQ・契約書が個人PCや旧ファイルサーバーに散在している限り、RAG（検索拡張生成）は機能しない。

　第二に、データがAIで利用可能な形式になっているか。生成AIは進化しているものの、現時点では、画像PDFのままのスキャン文書やOCR未対応の手書き資料は、整備されたデータに比べて検索対象になりにくい。文書種別・作成日・部門・機密区分・有効期間といったメタデータタグを付与することでRAG精度は劇的に向上する。LLMは長い文書の中ほどにある情報を見落としやすいため、必要な情報を適切に絞り込んで渡すことが精度向上の鍵となる。

　第三に、フォルダ構成・命名・格納ルールがRAGで参照しやすい状態か（バージョン管理が適切に行われているか）。「最新版_最新_本当の最新.xlsx」のような俗語的命名や新旧バージョン混在は誤回答の温床となる。SharePoint等の権限設計が雑だと、AIが機密情報まで一般社員の質問に混ぜて回答するリスクもある。

　第四に、データの鮮度・矛盾・重複が継続管理されているか。規程改定時の旧版残存、同一取引先の複数表記登録は、AI出力の信頼性を根本から損なう。

　これらの論点は決して新しいものではない。データマネジメント国際団体のDAMA-DMBOK2は、20年以上前から「データ品質の6次元」（完全性・一意性・一貫性・正確性・妥当性・適時性）を規定し、国際規格ISO/IEC 25012も、データ品質を15特性で定義してきた。

　生成AI時代に新しいのは、こうした古典的整備の成否がダイレクトに業務成果として跳ね返ってくる点である。Zhamak Dehghaniが提唱した「部門主導の分散型データ管理」を指すData Meshや、Andrew Jonesが説く「データ提供者と利用者の間の厳格な品質保証」であるData Contractsといった概念も、結果として信頼性の高い生成AI（RAG）基盤の構築を支える重要な前提となる。

　先進事例の多くは、地道なデータ整備の上に成立していると言えるだろう。JPモルガン・チェース（JPMorgan Chase）が2025年5月時点で20万人超に展開するLLM Suite（注8）の土台も、AWS上の連邦型データレイクと統一メタデータ管理であると推測される。モルガン・スタンレー（Morgan Stanley）のAI Assistant（注9）は、当初7,000問のFAQしか答えられなかったチャットボットを10万文書の社内ナレッジをRAG用にキュレーションすることで、任意質問対応へ拡張した成果と言える。パナソニック コネクト（注10）がConnectAIで年間18.6万時間の業務削減を達成できた背景にも、データを構造化する地道な整備があったと言えよう。

（2）ガバナンス（野良活用の統制基盤）

　データマネジメントの土台の上で次に問われるのがガバナンスである。組織導入の第一歩は、どのデータを扱うか、どのAIツールを公式とするか、誰が最終責任を取るかといったルールを明確に定め、「人によって品質差が出ない・使い方が変わらない・ルール逸脱が起きない」運用プロセスを設計することだ。事後監査や情報漏えいを防ぐため、セキュアな全社共通AI基盤（ゲートウェイ）を提供し、入出力をシステム的に保存する「監査証跡」機能でトレーサビリティを確保する。

　参考となる事例として、前述のJPモルガン・チェースのLLM Suiteは、外部LLMを含むAI機能を安全な社内基盤として提供し、セキュリティおよびコンプライアンスを担保した形で従業員に展開されている。

　また国内では、同じく前述のパナソニック コネクトのConnectAIが、全社員に対して統一されたAI利用環境を提供し、業務データと連携した活用を推進している。

　いずれも、個人単位のAI活用を統制された共通基盤上で展開する点において共通している。参照する社内データに対し既存システムと同等の「アクセス権限の継承」を持たせることが、全社共通の真のガバナンス設計である。権限設計がデータ側で整っていなければ、ゲートウェイだけ作っても情報漏えいは防げない。

　ただし、統制が現場の自由なAI開発を否定するものではない。個人の範疇にとどまる業務（メール要約等）は積極的に効率化してもらって構わない。共通基盤を整備するのは、シャドーITというリスクを犯さずに自由かつ安全に開発できる「公式な遊び場（ガードレール）」を提供するためである。

（3）人とAIの役割分担（責任の所在と代替運用）

　責任の所在に対するベストプラクティスは、「Human-in-the-Loop（HITL）」を前提とした業務プロセスの再定義である。AIを一次作業者（Maker）とし、最終判断と承認（Checker）は必ず人間が担うというワークフローを組み込む。ただし、この際に陥りやすい罠が「自動化バイアス」だ。「AIが出したのだから正しいだろう」と思考停止で承認するだけになっては、内部統制は崩壊する。

　「AIに任せすぎた」典型例として記憶すべき事例が、フィンテック企業Klarnaである。同社は2023～24年に顧客サポートの約700人分の業務をAIで代替し、一時は「AI-first経営」の象徴とされたが、2025年半ばに、CEOは「AIに寄せすぎた結果、顧客体験の品質が下がった」と認め、人間の再雇用に舵を切った。人間の監督を削りすぎることは、事業毀損のリスクを高めてしまう。

　これを防ぐには、業務リスクに応じたHITLの「濃淡」設計が重要だ。社内向け簡易要約はAIに一任してよいが、外部開示に関わる数値の生成では、人間が判断根拠（ソース）をトレースできるUI設計や、複数人によるダブルチェックを必須とする職務分掌を組み込まなければならない。

　欧州AI規制法（EU AI Act）第14条も、高リスクAIシステムに「人間による効果的な監督」を義務付けている。「代替運用」では、「AIの確信度スコアが一定以下なら人間の例外処理に回す」「AI基盤ダウン時は手動処理（縮退運転）に切り替える手順書を整備し定期的に訓練する」といった運用シナリオを事前に策定しておく必要がある。

（4）保守・運用（保守体制とデータ・ルール変更への追従）

　「保守体制の明確化」では、現場が自由にプロンプトをチューニングできる範囲と、IT部門が基盤の維持・更新を担う範囲を切り分ける必要がある。両者の責任分界点（SLA/OLA）を明確に定義しなければ、運用は破綻する。「規制変更・ルール順守」への追従もこの役割で、新会計基準施行や社内規程変更時にAIが古い基準で誤回答しないよう、参照データベースを即座に更新する必要がある。ここで重要なのが、データマネジメント節で触れた「バージョン管理」「有効期間タグ」との連動だ。規程改定時に旧版を物理削除せず、有効期間タグで無効化する運用にしておけば、過去の監査対応用に残しつつ現在の業務ではAIが参照しないよう制御できる。IT全般統制（ITGC）に直結する厳格な「変更管理プロセス」と、デグレ検証の「回帰テスト」の手順を明確化し、証跡として残す必要がある。

　「品質低下検知」では、システム死活監視に加え、モデル劣化（モデルドリフト）や回答精度を継続評価する「LLMOps」の視点が不可欠だ。LLMでは、プロバイダ側の静かなモデル更新も品質変動要因となる。米スタンフォード大学/UCバークレー研究（2023年）（注11）では、GPT-4に同じプロンプトを与え続けているにもかかわらず、数か月のアップデートで推論プロセスが省略されるようになり、特定タスクの精度が劇的に急落した事例が報告されている。昨日まで機能していたプロンプトが突然使えなくなるリスクがあるため、こうした「モデルドリフト」のリスクを考慮すると、継続評価とリグレッション検知の仕組みなしに業務品質は保証できない。

　しかし、実運用においてAIの回答品質を脅かすのは、こうした外部モデルの変容だけではない。それと同等に深刻なのが、自社内で日々発生する参照データの陳腐化と劣化である。システム基盤やプロンプトをいくら堅牢に保守しても、データ自体の鮮度や整合性が崩れればハルシネーションは容易に引き起こされる。AI時代における「保守・運用」では、ITインフラやモデルの監視にとどまらず、「（1）データマネジメント」で構築したデータ品質を、運用フェーズにおいても絶え間なく維持・更新し続けていく必要がある。

（5）チェンジマネジメント（定着と人材異動への対応）

　（1）～（4）でいかに強固な基盤を設計しても、現場が日々使ってくれなければ意味がない。組織横断的な推進組織（CoE:Center of Excellence）を立ち上げ、優秀なプロンプト作成者の社内表彰や、AIで生み出した時間を新たな付加価値創造に充てたことを評価指標（KPI）に組み込む等、人事・評価制度との連動が有効である。

　モルガン・スタンレーが2023年に展開した"AI Assistant"は、現場フィードバックを徹底反映して設計され、ファイナンシャルアドバイザーチームの98％超が活用している。日立製作所は、2023年12月にChief AI Transformation Officerを新設し、Generative AIセンター（注12）を核にグループ全社AI活用を推進している。いずれも「現場と一体化した推進体」が鍵であった。

　「人材異動・継続性」の壁（属人化問題）に対する最適解は、AI利用を希望者任せにせず、業務プロセスの中に「標準ルール」として組み込むことだ。担当者異動・退職があっても後任者がすぐにキャッチアップできるよう、現場教育プログラムやナレッジ共有基盤を整備し、組織のスキル要件として再定義することが定着の要諦である。三菱商事が2027年度から、役員を含む全社員にAI資格を昇格要件化する方針もこの文脈で理解できる。

　これら5つは相互に関連する。特にデータマネジメントは他4要素の基盤であり、ここが整っていなければ、他の効果は大きく減殺される。