任せきりにするのも見張り続けるのも難しい
エージェントを本番の業務で動かすとき、多くの会社が同じところで迷います。任せきりにして誤りが出たら困ります。かといって人がずっと見張るなら、エージェントを入れた意味が薄れます。
どちらの心配にも理由があります。エージェントの仕事は何段階もの作業が続くので任せきりにするのは難しくなります。たとえば各段階の成功率が99%でも20段階続けば全体では約81.8%まで下がります。一方で途中に人の確認を何度も入れると今度は確認待ちで仕事が止まります。
NSYでは任せきりか見張り続けるかの二択で決めないことをおすすめしています。人の関わり方は業務への慣れに合わせて段階的に変えます。
最初は人が全件を見る
動かし始めは人がエージェントの出したものを全件確かめます。交通費の精算なら申請1件ずつについてエージェントの判定を担当者が見て、直したところと理由を残します。
この段階で人が全件を見るのは見張るためというより業務を覚えるためです。全件を見ていると守られていない決まりや担当者の頭の中にしかない判断の基準に気づきます。要らない決まりはなくし、暗黙の基準は書き出してエージェントに渡します。エージェントに合わせて業務の流れそのものを設計し直すことも考えます。
始める業務は毎月の交通費精算のように繰り返し起きるものが向いています。件数が多いので直した記録がたまりやすく、改善を繰り返しやすいからです。
要所だけを見る段階へ移る
直した記録を見て、同じ直しが出なくなった種類の仕事から人が見る対象を絞ります。エージェントが迷ったものや記録の少ない種類のものだけを人が見て、それ以外は通します。
この段階では誤りをゼロにする前提を捨てます。失敗が起きる前提でどう回復して仕事を終えるかを設計の中心に置きます。誤りが見つかったときにどこまで戻してやり直すかを先に決めておけば、人が全件を見なくても業務は止まりません。
最後は結果と基準を見る
最後の段階では人は作業の流れの外に出ます。この形は「人が流れの外から見守る運用」とも呼ばれます。人は目的・制約・品質の基準・検証の方法を決める側に回ります。1件ずつの中身は見ません。見るのはまとめた結果と基準から外れたものです。
利用者や担当者の指摘を集め、エージェントへの指示や渡す資料・作業の手順を直します。人の仕事は見張ることから基準を直し続けることに変わります。
本番運用でも24時間動かし続ける必要はない
本番で動かし続けるといっても、24時間休まず回す必要はありません。高性能なAIを常に動かせば利用料がかさみます。安いAIを常に動かせば人の手戻りで費用が増えます。エージェントは仕事が来たときに動かし、終わったら止めます。
NSYにご相談いただく場合もまず人が全件を見る形で始めます。そのうえで次の段階へ移る目安と、誤りが出たときの戻し方を御社の担当者と一緒に決めていきます。
