短い答え
ブラウザーを制御するエージェントは、名前の付いた操作、ファイル選択、保存を使い、サイトのアカウントなしでこれらの通常ページを操作できます。環境が必要なファイルアクセス、API、権限を扱える必要があります。カメラ許可や端末の共有画面には本人の操作が必要な場合があります。
処理ではまず制御するブラウザーがどこで動くかを確認します。エージェントのサービスが受け取る情報と、機能が意図して取得や共有をするかも確認します。ローカルブラウザーだけでは三つすべてを判断できません。
エージェントは二種類、分かれ目は一つ
道具を使うエージェントには二つの姿があり、その違いは、このページのほかのどの話よりも重い意味を持ちます。
ローカルで制御するブラウザーはその端末で読み、処理します。ここのローカルツールは処理用アップロードを追加しません。ただしエージェントは実装や設定により、指示、スクリーンショット、ファイルの文脈を提供者へ送る場合があります。
クラウドブラウザーは提供者のコンピューターで動きます。そこで使うために添付したファイルは既に端末を離れています。ツールはそのブラウザーで処理し、先の転送を取り消せません。意図した共有やアプリ引き渡しは、どちらの環境でも追加の操作です。
端末上で処理したいならローカルブラウザーを指定し、エージェント自身のデータ処理を確認し、意図した転送は別に許可します。為替とメール引き渡し、URL画像取り込み、共有、カメラの通信境界は各ページにあります。
エージェントへの仕事の渡しかた
エージェントは、同僚に渡すのと同じ指示書でいちばんよく働きます。道具、ファイル、そして完成が何を指すか。うまくいく型をいくつか。
- 道具だけでなく、結果を名指しすること。「abox.tools/compress-image/を開いて、この写真を200 KB以下にして」と言えば、ページが尋ねてくる数字をエージェントに渡したことになります。画像圧縮ツールは目標サイズを数字で受け取ります。エージェントが忠実に運べるのは、まさにこの種類の指示です。
- 地図を見せること。このサイトはllms.txtを公開しています。すべての道具とガイドが、それぞれ一行の説明付きで、一度の取得で読める平文になったものです。これを読んだエージェントは、何も巡回せずに、ここに何があるかを知ります。また、どのページにも、アドレスの末尾に
index.mdを付けた双子があります。画面まわりを取り除いた、Markdownとしてのページです。道具のページがどう見えるかではなく何を言っているかを知りたいエージェントのためのものです。 - いま開いているページを読ませること。どの道具も、よくある質問と答えをページ自身に載せていて、どの道具にもリンク一つ先にガイドがあります。設定に迷っているように見えるエージェントには、まずガイドを読むように言えます。人間が受け取るのと同じ助言です。
- 段階間の確認を指定する。スキャンからPDFや画像整理では、順序、切り抜き、文字の読みやすさ、出力サイズを確認させます。OCR、墨消し、共有するものの選択には判断と結果の確認が必要です。
任せないほうがよいもの
操作は作業の一部です。他人が見る、受け取るものを変える判断は確認してください。二つの例：
何を見せてはならないかを決めること。黒塗りの道具は、覆ったものを消してくれます。しかし何を覆うかを選ぶことこそが仕事であり、一行見落としたエージェントは、仕上がって見えて仕上がっていないファイルを作ってしまいます。塗りつぶしの操作をエージェントに任せるのは構いません。結果は、どこかへ送る前に自分の目で見ること。あの道具たちのガイドが人間の操作者に与えているのと同じ規則です。
読んだものを開くこと。このサイトのQRリーダーは、解読したものを開くことを拒みます。読むことと、たどることは別の行為だからです。同じ切り分けはエージェントにも課す価値があります。ファイルの中のコードやリンクやアドレスを読んだエージェントは、それを報告するべきで、訪れるべきではありません。そして、あなた自身のブラウザを操縦するエージェントは、そのブラウザがログインしているすべてを手にしています。どんな道具にも向ける、あの確かめる目つきをエージェントにも向ける理由で、次の節はその話です。
約束は、エージェントにも確かめられる
アップロードのガイドが教える4つの検査——回線を抜く、ネットワークタブを見張る、Content-Security-Policyを読む、コードを読む——は、どれもエージェントに実行できます。それどころか、人間よりエージェントに向いています。CSPヘッダーを読むことも、配信されたソースからfetchの呼び出しを探すことも、機械的な作業だからです。道具を信用する前にエージェントに検分させるなら、このサイトは同じやり方で検分されるつもりでいます。検査の土台になっているオフラインの振る舞いには専用のページがあります。
操作には名前があり、llms.txtとMarkdownで説明を読めます。ソース、共有モジュール、エンジンは公開しています。ビルドはページを生成して縮小するため、監査では公開結果と比較します。DevToolsやWebRTC診断の利用可否はエージェント環境次第です。
このガイドはエージェント提供者のプライバシーを保証しません。ブラウザーがローカルでも、指示、スクリーンショット、時にはファイルを送る場合があります。その経路とツールの通信機能も作業に含めて確認してください。ブラウザーの場所だけでは証明できません。