「消さないで」は口頭の注意と同じ
エージェントへの指示文に「ファイルを削除しない」と書いておく。これで安心したくなりますが、指示文はAIへの口頭の注意にすぎません。部下に「削除しないで」と口頭で伝えるのと同じで、必ず守られる保証はありません。対策は触らせたくないボタンを最初から外しておくことです。削除の機能を最初から持たせなければエージェントはファイルを消せません。
発生確率を下げるより被害の範囲を狭める
エージェントの危うさは失敗の起きやすさと失敗したときの被害の大きさの2つに分けられます。起きやすさは指示や確認で下げられてもゼロにはなりません。そこでまずエージェントが動ける範囲を環境の側で囲い、そのうえで指示によって振る舞いを整える順番で考えます。
指示文だけでは防げない場面もあります。たとえばだまされた社員が受け取った指示文をそのまま貼り付けると、エージェントが手元の認証情報を読んで外へ送ってしまいます。指示文で注意しておくだけではこうした流出は多くの場合防げません。指示を出したのは利用者本人なので、中身を調べても怪しさが見えないからです。被害を止めやすいのは外へ送れる先を環境の側で絞る仕組みです。
渡す道具と触れる場所を絞る
仕組みで守る方法は大きく3つあります。
- 業務に要らない道具を渡さない。読むだけの仕事なら書き込みや削除の機能を用意しない
- 触れる場所を決めて外を拒否する。指定したフォルダーの外を開こうとしたら止める
- 繰り返しの上限を決める。止まらずに動き続けて利用料がかさむのを防ぐ
フォルダーの扱い方にも段階があります。たとえば「読むだけ」「読み書き」「読み書きはできるが削除はできない」の3つから選べる形にしておきます。どの方法も指示文には書かず、エージェントを動かす側の仕組みで決めておきます。削除させたくない業務なら削除できない形で渡します。
確認を増やしても安全性は上がらない
操作のたびに人へ確認を求める形も安全そうに見えます。ところが確認を求める表示が続くと利用者はそのほとんどを漫然と許可してしまいがちです。表示が多いほど利用者は1件ずつを確かめなくなります。動ける範囲を先に囲っておけば許可を求める表示そのものを大幅に減らせます。NSYでは人の確認を増やすより、確認を囲いの外に出る場面に絞る方が安全を保てると考えています。
使う人の理解度に合わせて囲いの強さを決める
囲いの強さは利用者が動きを見て判断できる力に合わせて決めます。エージェントの動きを読める技術者と読めない事務の担当者では同じ囲いでよいとは限りません。
NSYでは御社で実際にエージェントを使う方がその動きを見て判断できるかどうかを最初に確かめることをおすすめしています。見て判断するのが難しい業務ほど、渡す道具と触れる場所を狭くしておきます。範囲を広げるのは使う方が動きを見て判断できるようになってからで十分です。NSYにご相談いただく場合も止めたい操作を書き出したうえで指示文に頼る部分と仕組みで守る部分を一緒に分けていきます。
