何も決めずに動かすとどうなるか
何も決めずに動かすとエージェントは使う人と同じ権限で動きます。読めるファイルも実行できる操作も同じです。さらにエージェントが読んだWebページに仕込まれた指示に従い、保存してあるAPIキーを外へ送ってしまう危険もあります。人ならしない操作をAIがしてしまうということです。
怖さの中身は承認・権限・鍵の渡し方の3つに分けられます。順に決めていけば任せる範囲を広げる判断もしやすくなります。
承認と書き込みを別の操作にする
値引きの例で考えます。担当者の裁量を超える値引きは承認待ちとして記録し、承認されたら許可された値引きの上限を記録します。見積もりの金額を変えるのはその後の別の操作です。最後に受注を保存する直前で未承認や上限超えがないかをもう一度確かめます。
営業エージェントを例にすると、承認を得ただけでは見積もりの値引きは反映されません。未承認や上限を超えた受注は保存する側のプログラムが拒否します。エージェントが「受注できました」と説明しても保存してよいかは書き込む側のプログラムが判定します。業務のルールはAIへの指示文だけに頼らず、データを書き込む側のプログラムで確かめます。
誰の権限で動かすかを決める
次に決めるのはエージェントを誰の権限で動かすかです。ここには2つの問題があります。使う人の権限をそのまま渡すと記録の上では本人の操作かエージェントの操作か見分けられません。逆にエージェント専用の権限を渡すと本人には許されていない操作までエージェント経由でできてしまいます。
設計では誰のために動いたのか・どこまで任せたのか・何をしたかの3点を後から説明できるようにします。まずは使う人の権限の中からその業務に要る操作だけをエージェントに貸す形で始めます。
鍵は渡さず操作だけを渡す
システムに入るための鍵の渡し方も決めておきます。安全性は鍵をどこに保管するかより誰が取り出すかで決まります。安全な保管庫に入れてもエージェントが自分で取り出せるなら鍵を直接渡したのと変わりません。
いちばん安全なのは鍵をエージェントの外の仕組みに持たせ、許可した操作だけをエージェントに使わせる形です。たとえばエージェントは「この見積もりを登録する」という操作は使えても、システム全体に入れる鍵そのものは見られません。あわせて鍵の有効期間を短くし、更新はエージェントの外で行います。長く使える鍵は漏れたときに使われ続けるからです。
NSYで開発する場合の進め方
NSYで業務エージェントを開発する場合はまず業務の流れの中で書き込みが起きる場所を洗い出します。そのうえで承認が要る段階・エージェントに貸す操作・鍵を持たせる場所を一つずつ決めます。エージェントが何をしたかは記録に残し、後から説明できるようにします。
NSYにご相談いただく場合も御社のシステムと扱うデータを確認したうえでどこまで任せるかを一緒に決めていきます。
