WRITING
社内基準の改定にAIが追いつかない——コンテキストの鮮度管理と更新運用
社内の施工要領書や品質基準をRAGに読み込ませ、「社内のルールに沿った回答をするAI」を構築した経験をお持ちの方もいるのではないでしょうか。しかし3か月後、施工要領書が改訂される。6か月後、関連法令が改正される。AIは古い情報を参照し続けている——これがコンテキスト鮮度問題です。RAGを「作った」ことと「機能し続ける」ことは別の話なのです。
RAGは作った瞬間から古くなる——鮮度劣化の構造
RAG(検索拡張生成)は、社内文書をAIの参照データとして使う仕組みです。検索精度は参照データの質と鮮度に依存します。参照データが古くなると、AIは古い基準・廃止された条文・過去の実績に基づいた回答を出し続けてしまいます。
RAGの問題はモデルの精度ではなく、参照データの鮮度だ。最新のGPTモデルでも、古い社内文書を参照していれば古い答えしか返せない。鮮度管理なきRAGは「知識の化石」になる。
実態 建設業の社内基準は毎年更新されます。施工要領書・品質管理基準・安全標準の改訂頻度は、担当部署によって月次〜年次まで幅があります。更新担当者がRAGの存在を知らないケースも多いです。
分かれ目 RAGの鮮度管理を「AIチームが担う」のではなく、「各文書の更新担当者が更新するフローに組み込む」設計にすることが、持続可能な鮮度管理の鍵です。
鮮度劣化の3パターン——パターンごとに対処設計が変わる
RAGの参照データが古くなる原因は1種類ではありません。パターンを分けて管理することで、更新の抜け漏れを防げます。
特徴
施工要領書・品質管理基準・安全手順書などが改訂される。改訂頻度:年1〜2回が多い。改訂担当部署が決まっている
対処
文書改訂フローの「最終ステップ」にRAG更新を加える。「文書を更新したらRAGも更新」をルール化する。担当者は文書担当部署
特徴
建業法・労安法・各種技術基準の改正。改正頻度:予測が難しい。官報・省庁サイトの監視が必要
対処
法令改正を検知する担当者(法務・技術部門)を決め、改正時に30日以内でRAG参照文書を確認・更新する。法令直接引用はRAGに入れず、都度検索を推奨
特徴
過去工事実績・トラブル事例・品質インシデントの記録が追加される。追加頻度:工事完了のたびに発生。蓄積型で急激な変化ではない
対処
工事完了報告書をRAGに追加する月次バッチ処理を設定する。全件追加より「品質・安全の観点から参照価値の高い案件」に絞った方が精度が上がる
注意 「法令をRAGに入れる」設計は慎重に判断することをお勧めします。法令は改正頻度が高く、条文レベルの引用が古くなると誤った根拠を提示するリスクがあります。法令確認はe-Govなどの公式ソースを都度参照させる設計の方が安全な場合が多いです。
「一度入れたら終わり」と思う
RAG構築時に満足し、その後のメンテナンスを設計していないケース。半年後に「古い施工要領書を参照して誤った回答が出た」という事案が発生する。構築コストより運用コストを先に試算する。
担当者を決めずに「みんなで管理」にする
更新の責任者が曖昧なまま運用を始めると、誰も更新しない状態が続く。「全員が気づいたら更新」は「誰も更新しない」と同義だ。パターンごとに担当者を1名指名する。
更新後のテストをしない
ドキュメントを更新した後、AIの回答が正しく変わっているかを確認しないケース。更新作業と動作確認はセットで設計する。5問の標準テスト問答を用意しておくと確認が30分で完了する。
更新トリガーと担当者の設計——「気づいたら更新」から「仕組みで更新」へ
コンテキスト鮮度管理を属人的な努力に頼ると必ず抜け漏れが生じます。更新のトリガーを明確にし、担当者を特定し、確認のサイクルを設けることが大切です。
配分 4ステップのうち「影響範囲の確認」が最も時間がかかります。社内文書の体系が整理されていると確認が速くなります。コンテキスト鮮度管理の実施前に、文書の分類体系を整理しておくことが先決です。
鮮度管理の年間サイクル——定期点検と随時更新の組み合わせ
ランニング運用として、随時更新(トリガー型)と定期点検(カレンダー型)の2つのサイクルを組み合わせることをお勧めします。
- 社内文書改訂完了時のRAG更新
- 月次工事完了報告書の追加処理
- 更新ログへの記録
- 動作確認(代表質問5問)
- RAGの全参照文書の「最終更新日」を確認
- 6か月以上更新されていない文書の現在性を確認
- 利用者からの「AIの回答がおかしい」報告の棚卸し
- 次の四半期で追加・削除すべき文書の特定
- RAG参照文書の全体構成を見直す
- 不要になった文書の削除(古い実績・廃止基準)
- 新たに追加すべき文書カテゴリの検討
- 鮮度管理フロー自体の改善
目安 「AIがおかしな回答をする」という現場からのフィードバックが月1〜2件を超えるようになったら、鮮度管理の頻度を上げるサインです。フィードバックの収集窓口を作っておくことが、鮮度劣化の早期発見につながります。