AIエージェントを統制する「ガバナンス下の実行レイヤー」とは

AIエージェントを統制する「ガバナンス下の実行レイヤー」とは

AIエージェントが、本番システムを操作し始めています。

ソフトウェアをデプロイし、インフラを変更し、設定を書き換え、ワークロードを再起動し、運用APIを呼び出す。もはや問われているのは、エージェントが「何をすべきか」を判断できるかだけではありません。

エージェントが、その判断を現実の操作に変えるとき、企業がコントロールを維持できるかどうかです。

ガバナンス下の実行(Governed Execution)とは、企業が強制可能な統制の範囲内でのみ、AIエージェントに本番システムの操作を許可するという考え方です。

これは、エージェントの周囲に後付けするレビュープロセスではありません。エージェントの判断が実行に移される経路そのものが備えるべき性質です。

エージェントがある操作を実行できることと、組織としてその操作を許可されていることは、同じではありません。

能力はエージェントにあります。しかし、権限は企業に残さなければなりません。

賢い判断から、許可された実行へ

AIガバナンスをめぐる議論の多くは、モデルが何を生成するかに焦点を当てています。

これらは、今後も重要な問いです。しかし、エージェントがツールを使い、実際のシステムを変更できるようになると、それだけでは不十分です。

破壊的なことを「言う」必要はありません。破壊的な操作を「行う」だけで、事故は起こります。

ガバナンス下の実行が扱うのは、エージェントの判断が現実の操作に変わる瞬間です。

エージェントは何を実行すべきだと提案しているのか。

組織は何の実行を許可するのか。

しかし、二つ目の問いに答える権限を、エージェント自身が自分に与えることはできません。

プロンプトは権限ではない

システムプロンプトに、次のような指示を書くことはできます。

承認なしに本番環境を変更してはならない。

この指示は、エージェントの振る舞いに影響を与えます。しかし、組織の権限を独立して強制するものではありません。

プロンプトは、確率的なシステムによって解釈されます。その効果は、文脈、競合する指示、モデルの挙動、悪意ある入力などによって変わる可能性があります。

プロンプトは、エージェントを導くために有効です。しかし、それ自体が組織の権限境界になるわけではありません。

ポリシー文書にも、同じ限界があります。文書は「何が起きるべきか」を定められますが、実際の実行経路がその内容に従うことまでは保証しません。

ガバナンス下の実行では、エージェントが間違ったとき、自信過剰になったとき、混乱したとき、あるいは外部から操作されたときにも、組織のルールが有効であり続ける必要があります。

エージェントは、組織の権限を通さずに、その操作を実行できるか。

答えが「できる」であれば、その操作は文書化され、監視されているかもしれません。しかし、完全に統制されているとはいえません。

統制の単位は「エージェント」ではなく「操作」

企業は、ユーザー、アプリケーション、サービスに対して、アイデンティティと権限を使ってシステムへのアクセスを許可してきました。

しかし、エージェントのアイデンティティだけでは、個々の操作が持つリスクを十分に表現できません。

同じエージェントが、インシデントを調査し、ワークロードを再起動し、アクセス設定を変更し、データを削除する可能性があります。

これらの操作は、すべて同じ影響を持つわけではありません。同じエージェントから実行されるという理由だけで、同じ範囲の自律性を与えるべきでもありません。

ガバナンス下の実行では、エージェントではなく、実行される操作を統制の単位として考えます。

どのような権限が必要かは、操作がもたらしうる影響と、問題が起きた場合に企業がどこまで対応できるかによって決めるべきです。

エージェントが自分の提案にどれほど自信を持っているかで決めるものではありません。

金銭、アクセス権、契約、本番変更など、重要な意思決定では、影響が大きいほど強い権限が求められます。

ガバナンス下の実行とは、会議ではなく秒単位で動く新しい実行主体にも、同じ規律を適用することです。

人の関与を、意味のあるものにする

ガバナンス下の実行は、すべての操作に人の承認を求めるものではありません。

調査、診断、定型的な再起動、一時的な操作まで、すべてを承認対象にすれば、処理すべき件数はすぐに管理不能になります。

承認者は判断することをやめ、ボタンを押すことが仕事になります。承認という手続きは残っていても、統制としての価値は失われます。

一方で、人の権限を完全に取り除けば、エージェントの一つの判断が、組織の対応能力を超えた結果を生む可能性があります。

重要なのは、人の判断を、本当に価値を持つ場面のために残すことです。

定型的で影響の小さい作業は、速く進める。大きな影響を持ちうる操作には、その影響に見合った権限を求める。

ガバナンス下の実行は、自律性を否定するものではありません。より大きな自律性を、組織として正当化できるようにするためのものです。

復旧能力が、自律性の安全な境界を決める

AIモデルがどれほど確信していても、その操作が元に戻しやすくなるわけではありません。

バックアップが利用できないこともあります。スナップショットからの復元に、数時間から数日かかることもあります。

復旧操作によって、正常な変更まで失われたり、無関係なシステムに影響が及んだりする可能性もあります。周辺環境が変化し、想定していた復旧方法が機能しない場合もあります。

したがって、エージェントが正しい判断をする可能性だけを見て、自律性の範囲を決めるべきではありません。

ガバナンス下の実行では、問題を検知し、影響を抑え、復旧できると組織が確認できている範囲内に、自律性を保ちます。

重要なのは、復旧の限界を理解しないまま、自律性に依存しないことです。

組織が安全に復旧できる範囲を超えた自律性を、エージェントに与えてはならない。

実行には説明責任が伴う

何が起きたのか。

  • なぜ、その操作は許可されたのか。

  • どのような組織上の権限が適用されたのか。

  • 人の判断は必要だったのか。

  • 誰が、あるいは何が実行を許可したのか。

  • 実行の結果はどうなったのか。

これらの答えを、後からチャット履歴、分断されたチケット、担当者の記憶から再構成すべきではありません。

企業は、エージェントが何をしたかだけでなく、なぜその操作が許可されたのかを説明できなければなりません。

それが、単に活動を観測することと、組織として統制していることの違いです。

ガバナンス下の実行ではないもの

ガバナンス下の実行は、コンテンツフィルタリングではありません。コンテンツ統制は、モデルが受け取る情報や生成する内容を評価します。ガバナンス下の実行が扱うのは、エージェントに何の操作を許可するかです。

モニタリングやAIOpsでもありません。可観測性はシステムの状態を説明できますが、エージェントが次に何を実行してよいかを決定する権限は持ちません。

チャット画面に追加された承認ボタンでもありません。必要な権限を迂回できない場合にのみ、承認は統制として機能します。

IAMだけでもありません。アイデンティティと権限は不可欠ですが、技術的に許可された操作であっても、その状況では不適切であったり、許容できない結果をもたらしたりする可能性があります。

単独のポリシー判定でもありません。技術的な許可だけでは、影響に見合った権限、運用上の復旧可能性、説明責任まで保証できません。

ガバナンス下の実行とは、組織の権限が、AIエージェントの実行経路から切り離せない状態を指します。

なぜ今なのか

AIエージェントは、提案を生成する存在から、ツールや本番システムを操作する存在へ移行しつつあります。

同時に、ユーザーはエージェントに慣れるほど、より大きな自由を与える傾向があります。

Anthropicによるエージェントの自律性に関する調査では、Claude Codeの経験を積んだユーザーほど全自動承認を利用する割合が高く、エージェントが中断せずに動く最長クラスの時間も、数カ月の間に大きく伸びたことが示されました。

慣れによって信頼は高まります。しかし、利用者が安心したからといって、操作がもたらす影響が小さくなるわけではありません。

エージェントがより長く動き、人が一つひとつの操作を確認しなくなる一方、多くの企業統制は、今も人が重要な変更を開始することを前提にしています。

ガバナンス下の実行は、このギャップに対応するためのものです。

変更管理、職務分掌、最小権限、説明責任、復旧計画。企業は、これらの規律をすでに理解しています。

企業の権限を手放さない

エージェントは、何を実行すべきかを提案する。
企業は、何を現実にしてよいかを決定する。

これが、企業が運用上のコントロールを手放すことなく、AIエージェントを本番環境で活用するための基盤です。

Aokumoは、クラウドインフラを操作するAIエージェントのためのガバナンスソフトウェアを提供し、企業がコントロールを失うことなく本番自動化を導入・拡大できるよう支援します。

出典: Anthropic「Measuring AI Agent Autonomy in Practice」

AIと働く時代へ。

Aokumo AIで、次世代のIT運用に切り替えませんか。

AIと働く時代へ。

Aokumo AIで、次世代のIT運用に切り替えませんか。

パートナー・プログラム

AWS Partner Network
AWS Marketplace
Google for Startups

NVIDIA Inception

認定

AWS EKS Service Delivery
Kubernetes Certified Service Provider

準備状況

SOC 2 Type II 報告書の取得に向けて準備中
ISO/IEC 27001 認証取得に向けて準備中

パートナー・プログラム

AWS Partner Network
AWS Marketplace
Google for Startups

NVIDIA Inception

認定

AWS EKS Service Delivery
Kubernetes Certified Service Provider

準備状況

SOC 2 Type II 報告書の取得に向けて準備中
ISO/IEC 27001 認証取得に向けて準備中

パートナー・プログラム

AWS Partner Network
AWS Marketplace
Google for Startups

NVIDIA Inception

認定

AWS EKS Service Delivery
Kubernetes Certified Service Provider

準備状況

SOC 2 Type II 報告書の取得に向けて準備中
ISO/IEC 27001 認証取得に向けて準備中