ブラウザ操作の自動化ライブラリ browser-use、OpenAI のブラウザツールに対応した話

ツール・基盤

ブラウザ操作の自動化ライブラリ browser-use、OpenAI のブラウザツールに対応した話

スポンサーリンク

browser-useが OpenAI のブラウザツールに対応。18 種類のデフォルトツールと 6 つのオプションアクションを提供。

この記事のポイント

  • スケーリング表示でスクショがずれていた
  • Browser Use Actorで18のツールを提供
  • 11件のテストをパス。広い評価は別

数字で見る

この記事に出てくる数字

デフォルトツール数 18
オプションアクション数 6
テスト数 11

どこで使えるか

ブラウザ操作を自動化したい人向け。OpenAIのツールで制御可能 GitHubリポジトリで公開済み OpenAI Python 3.31+が必要、ライセンスはMIT

スポンサーリンク

解説

かみくだいて説明します

GitHubでMagMuellerが、ブラウザ操作を自動化するツールbrowser-useのバージョン0.13.13を公開しました。OpenAIのブラウザ操作ドライバーを組み込み、CloudのタブURLが一時空白になる問題を修正しています。
CloudのタブURLが空白になるというのは、具体的にどういった場面で起きるんですか?
ブラウザの画面を拡大表示したとき、スクリーンショットやマウスカーソルの位置がずれてしまう現象です。0.13.13では、拡大率が変わっても画像と座標がきちんと揃うように直しています。
なるほど。では、このツールを実際に組み込む側から見ると、必要な環境はどのくらい整っているんですか?
OpenAIのPythonパッケージ3.31以上が必要です。インストールはopenai-toolsというオプションを指定すればよく、ローカルのブラウザからCloud上のブラウザ、借り受けたセッションまで対応しています。内部の通信にはhttpx2というライブラリを使うため、カスタムHTTPクライアントにはDefaultAsyncHttpxClientを指定します。
httpx2というのは、いままで使われていたものと何が違うんですか?
要するにメールの送受信を担う配達人のようなものです。以前のバージョンでは古い配達ルートを使っていたため、新しいOpenAIの仕様に対応できなくなっていました。0.13.13では新しい配達ルートに切り替えたため、データが正確に届くようになりました。
配達人に置き換えると確かに分かりやすいですね。デフォルトで何種類の操作が使えるんですか?
標準で18種類のブラウザ操作ツールと、6つのオプションアクションが用意されています。Driverテストは11件すべてパスしており、以前のバージョンでは新しいテストが失敗していた点もクリアしています。
11件のテストが全部通ったというのは、開発側も安心できそうですね。では、前のバージョンとの関係はどうなっているんですか?
今回のアップデートは、承認前に取り消された0.13.12の後を継ぐ正式版として位置づけられている。
最後に、これから先に見えてくる見通しはありますか。
現時点では、より大規模な評価結果が別途公開される予定です。それまでの間は、Driverテストとスモークテストが通った安定版として、組み込み作業を進めていただく形になります。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-ツール・基盤