画面の「目」を持つAIアシスタント！UI-TARS Desktopで始める超かんたんPC自動化ガイド

AIエージェント
この記事は約20分で読めます。
  1. UI-TARS DesktopのPodcast
  2. はじめに：PC作業を代わりにやってくれる「夢のAIアシスタント」の到来
  3. 第1章：UI-TARS Desktopとは？（従来の自動化ツールとの違い）
  4. 第2章：どうやって動いているの？（画面認識と予測実行の仕組み）
    1. 視覚ベースのPC操作ループ（Visual Perception Loop for PC Automation）
  5. 第3章：UI-TARS-1.5の圧倒的な性能と学術的な評価
    1. 主要GUIベンチマークの性能比較（GUI Agent Benchmark Comparison）
  6. 第4章：魔法のような4つの実用ユースケース
    1. 1. アプリケーションを跨ぐデータの自動転記（コピペ）
    2. 2. インテリジェントなブラウザを用いたチケット・フライト予約
    3. 3. Issueの追跡と開発ドキュメント作成の補助
    4. 4. システム設定やアクセシビリティの簡単変更
    5. ハイブリッド型ブラウザ制御アーキテクチャ（Hybrid Web Control Architecture）
  7. 第5章：実際に動かしてみよう！PC初心者向け導入・設定マニュアル
    1. 事前に必要なシステム要件の確認
    2. 導入のための3つのステップ
    3. 視覚言語モデル（VLM）の接続設定
      1. 方法A：Hugging Face経由で「UI-TARS-1.5」に接続する（初心者向け）
      2. 方法B：Ollamaを使って完全ローカル環境で動かす（セキュリティ重視）
    4. クラウドAPI接続と完全ローカル接続の選択マッピング（Cloud API vs Local Deployment Map）
  8. 第6章：安全に楽しむためのセキュリティとトラブルシューティング
    1. Event Stream & Diagnostics Dashboard
  9. おわりに：AIエージェントと切り開く次世代のPC操作ライフ
  10. 参考資料

UI-TARS DesktopのPodcast

下記のPodcastは、Geminiで作成しました。

はじめに：PC作業を代わりにやってくれる「夢のAIアシスタント」の到来

毎日のパソコン作業の中で、「このデータを別のファイルに転記するだけの単純作業を、AIが代わりにやってくれたらいいのに」と考えたことはありませんか。これまでのAIは、テキストで質問に答えてくれたり、プログラムのコードを書いてくれたりする「アドバイザー」のような存在でした。しかし、テクノロジーの進化により、AIは次のステップである「自らパソコンを操作してタスクを実行するエージェント」へと変貌を遂げています。

その代表格として大きな注目を集めているのが、ByteDance社のAI研究チームが開発したオープンソースのマルチモーダルAIエージェントスタック「UI-TARS」です。このシステムは、人間のようにディスプレイの画面を「目」で確認し、マウスやキーボードを操作して複雑な仕事を自律的にこなすことができます。本稿では、この画期的なAIエージェントの基本構造から、実際に自身のパソコンで動かすための具体的な手順まで、初心者の方にも分かりやすく丁寧に解説します。

第1章：UI-TARS Desktopとは？（従来の自動化ツールとの違い）

UI-TARS-desktopは、ByteDance AI Researchによって開発され、商用利用も可能なApache-2.0ライセンスのもとで一般公開されているオープンソースソフトウェアです。GitHub上ではすでに3万以上のスターを獲得しており、世界中の開発者やユーザーから多大な関心を集めています。このプロジェクトは、実質的に以下の2つの独立したプロダクトを含んでいます。

  • Agent TARS：主にターミナル（コマンドライン）やWeb UIで動作する、開発者向けのマルチモーダルAIエージェントです。Claude 3.7やGPT-4o、Doubao-1.5といった主要な大規模言語モデル（LLM）と連携し、高度なAPIやツールを駆使した自動パイプラインの構築に適しています。
  • UI-TARS Desktop：初心者や一般ユーザーでも手軽に利用できるように設計された、Electronベースのデスクトップアプリケーションです。直感的なグラフィカルインターフェース（GUI）を備えており、画面上の「Computer Operator」や「Browser Operator」をクリックするだけで、目の前にあるローカルPCの画面を直接操作させることができます。

このシステムがこれほどまでに画期的であるとされる理由は、従来の自動化アプローチ（RPA：ロボティック・プロセス・オートメーション）と全く異なる思想で設計されているからです。従来のRPAツールやテスト自動化フレームワーク（Selenium、Playwrightなど）は、画面上のボタンのピクセル座標や、Webページの内部構造を示すHTML要素のID（DOM要素）をプログラムに記録させる仕組みでした。そのため、Webサイトのデザインが少しでも更新されたり、ボタンの配置がズレたりするだけで、スクリプトが破損し動かなくなってしまうという弱点がありました。

一方でUI-TARSは、画面全体のレイアウトやボタン、テキストフィールドなどの「意味（セマンティクス）」を、AIが視覚的に直接理解します。そのため、インターフェースの軽微な変更に対しても人間に近い柔軟さで適応し、エラーで停止することなくタスクをやり遂げることができます。

ここで、UI-TARS Desktopと、他の代表的なオープンソースAIエージェント、および従来のRPAとの違いを比較表でまとめます。

比較項目UI-TARS DesktopOpen InterpreterOpenAdapt従来のRPA (UiPath等)
主な制御手法視覚モデル（VLM）による直接GUI操作コード（Python/Shell）実行とGUI操作の融合人間の操作の記録と再生固定された座標指定やDOM要素ID
ゼロショット操作可能（事前の設定や記録は不要）可能（コード生成により実行）苦手（事前に人間のお手本記録が必要）不可能（事前の厳密な開発が必須）
強み画面を人間同様に見て理解する能力ローカルコードの記述と実行の柔軟さ定型作業の正確なトレース大規模エンタープライズでの安定性
対応範囲デスクトップ・Web・モバイルアプリデスクトップ・Web・ターミナルシェルデスクトップアプリの画面内操作指定された対象アプリケーションのみ
ライセンスApache-2.0MITApache-2.0商用・プロプライエタリ

第2章：どうやって動いているの？（画面認識と予測実行の仕組み）

UI-TARS Desktopの自律的な動作の裏側では、以下に示すような視覚的認識、推論、そしてアクション実行の高度なループ処理がミリ秒単位で行われています。

  1. 指示の受領と現状把握：ユーザーが自然言語（日本語や英語など）で指示を出すと、エージェントは現在の画面全体のスクリーンショットを瞬時にキャプチャします。
  2. VLMによる画面の「意味理解」：キャプチャされた画像は、バックエンドで稼働する「視覚言語モデル（VLM）」に転送されます。このVLMは、UI-TARSシリーズやDoubao-1.5などのGUI専用モデル、あるいはGPT-4oやClaude 3.7といった主要モデルが利用されます。
  3. アクションプランの推論：VLMは画面内のボタンや入力エリアの目的を読み解き、「目的のボタンは（X座標、Y座標）の位置にある」「ここを左クリックして文字を入力すべきである」といった動作ステップを自動で算出します。
  4. オペレーションの代行：予測された座標と操作（クリック、ドラッグ、キー入力、スクロールなど）のデータがパソコンのOSに送られ、システムが人間さながらにデバイスを制御します。
  5. 動作完了と再チェック：操作の実行後、画面がどのように変化したかを再度キャプチャして検証し、目標が達成されるまでこのループを自律的に繰り返します。

この一連の動作の安定性を高めるために、UI-TARS Desktopには高度なWebブラウザ制御機能が備わっています。一般的なWebページのHTML要素に対しては、DOMを直接操作して高速かつ安定した制御を行う「DOMモード」を適用し、Canvas描画や特殊な動的デザインに対しては、純粋なビジョンのみに頼る「GUIエージェントモード」をシームレスに切り替えて対応します。

また、AIエージェントの思考回路として「システム1（直感的・即座のアクション）」と「システム2（論理的・熟考型のアクション）」という二重過程理論を組み込んでいます。 軽量なタスクでは余計な思考プロセスを省いてアクションのみを高速に出力する「GROUNDING」テンプレートを選択し、一方で失敗が許されない複雑な手続きや未経験の画面構成に対峙した際には、エージェントが次に取るべき行動をステップごとに論理的に推論し、自らのミスを反省・補正しながら動作する「思考（Thinking）モード」をアクティブにすることで、動作の成功率を大幅に引き上げています。

視覚ベースのPC操作ループ（Visual Perception Loop for PC Automation）

第3章：UI-TARS-1.5の圧倒的な性能と学術的な評価

UI-TARSの有効性は、単に便利であるという感覚的な評価に留まらず、学術界の主要なGUIベンチマークテストにおいても実証されています。最新の「UI-TARS-1.5」バージョンは、数万回に及ぶシミュレーションと、仮想マシン（VM）上での「自動間違い直し（リフレクション）」トレーニングを繰り返すことによって、膨大な学習データを自律的に生成・蓄積し、開発されました。

この徹底した強化プロセスにより、UI-TARS-1.5は他社のクローズドな最先端商用AIモデル群（ClaudeやGPT-4oなど）が提示する性能指標を大きく凌駕することに成功しています。 以下は、主要なGUI操作能力評価ベンチマークにおける、UI-TARS-1.5と他社エージェントモデルの検証結果の比較です。

評価対象ベンチマークUI-TARS-1.5 (最新)OpenAI CUA (Computer Use Agent)Claude 3.7従来の最高スコア (SOTA)
OSWorld (OS操作タスク精度・100ステップ)42.5[cite: 11]36.428.038.1 (200ステップ時)
Android World (モバイルアプリ操作精度)64.2[cite: 11]--59.5
ScreenSpotPro (画面内ターゲット精密特定率)61.6%[cite: 11, 12]23.4%27.7%43.6%
WebVoyager (Webブラウジング完遂率)84.887.0[cite: 11]84.187.0[cite: 11]

このベンチマーク結果から分かるように、画面上のボタンや入力箇所を極めて正確に見つけ出す能力（ScreenSpotPro）においては、既存の商用モデルにダブルスコア以上の大差をつけて圧倒的なアドバンテージを示しています。これは、モデルが純粋なテキストのDOM構造だけに依存せず、ディスプレイの持つ視覚的・幾何学的な意味合いを完全に把握しているためです。 また、このエージェントは「推論時スケーリング（Inference-time Scaling）」と呼ばれる特性を持っており、ステップ数を重ねて熟考させればさせるほど、まるで人間が試行錯誤を繰り返して答えに辿り着くように、困難なタスクでも徐々に賢く、安定してクリアできるようになります。

主要GUIベンチマークの性能比較（GUI Agent Benchmark Comparison）

第4章：魔法のような4つの実用ユースケース

UI-TARS Desktopの直感的かつ確かな操作能力は、私たちの日常的な事務作業から専門的な研究活動まで、多様なシーンにおいて多大なる省力化を可能にします。

1. アプリケーションを跨ぐデータの自動転記（コピペ）

オフィスのデスクワークで最も不毛とされがちな「Excelのリストからデータを読み取り、専用の業務Webアプリケーションのフォームへ一行ずつコピペして登録する」といった作業を自動化できます。エージェントはExcelファイルから文字列を読み取り、アクティブにするウィンドウをブラウザに切り替え、対象のテキストフォームに自動的に入力して送信ボタンを順次クリックしていきます。このプロセスにおいて、開発者によるプログラムの作成や外部APIの統合、高価なライセンス料の発生などは一切ありません。

2. インテリジェントなブラウザを用いたチケット・フライト予約

出張や旅行の手配において、例えば「Pricelineを開いて、9月1日のサンノゼ発ニューヨーク行きの一番早いフライトを検索し、復路は9月6日の最終便で抑える」という複雑な条件を指示するだけで、AIが能動的にブラウザを起動し、カレンダーや選択欄を視覚的に操作して目的の便を選び出します。各旅行サイトの特有のデザインや動的ポップアップも「目」で見ているためスムーズにいなし、まるで優秀な秘書が手配を進めてくれているかのような体験を提供します。

3. Issueの追跡と開発ドキュメント作成の補助

開発者や技術的なリサーチャーであれば、対象とするGitHubリポジトリの未解決案件（Issues）の傾向を読み込み、現在注目されている課題を精査して、それらの内容を自動的に要約したテキストレポートとしてローカルテキストエディタに美しく出力させるといった作業を完全に任せることができます。複数のデータソースの巡回や、PDF論文等のドキュメントの解読といった「調査と編集」の一連の流れを滑らかに統合します。

4. システム設定やアクセシビリティの簡単変更

「VS Codeを開いて設定画面を表示し、ファイルの自動保存設定（Auto Save）をONにして、遅延時間を500ミリ秒に設定して」「ディスプレイの明るさを50%に下げて」といった、OSや個別のアプリの深い階層にあるシステム設定を、迷うことなく代わりに探し出して数秒で変更してくれます。キーボードやマウスの直接的な操作が困難な方へのアクセシビリティ支援（パソコン利用補助）としての可能性も期待されています。

ハイブリッド型ブラウザ制御アーキテクチャ（Hybrid Web Control Architecture）

第5章：実際に動かしてみよう！PC初心者向け導入・設定マニュアル

それでは、実際にUI-TARS Desktopをお使いのパソコンに導入して自動化を体験してみましょう。初心者の方にも失敗なく準備ができるよう、順番を追って分かりやすく解説します。

事前に必要なシステム要件の確認

環境を構築する前に、必ず以下の条件が揃っていることを確認してください。

  • 絶対条件：モニターは1台（シングルディスプレイ）に設定する[cite: 8, 10] 現時点のUI-TARS-desktopは、ディスプレイが複数接続されている「マルチモニター環境」に完全には対応していません。複数モニターの状態で実行すると、AIが計算するクリック座標にズレが生じ、予期せぬ場所をクリックする不具合が発生するため、作業時は必ずPCの設定から「複製」または「ディスプレイを1台のみ使用する」モードに変更してください。
  • サポート対象のWebブラウザ[cite: 8] 「Browser Operator」機能を使用するには、Google Chrome、Microsoft Edge、またはMozilla FirefoxのいずれかのブラウザがPCにインストールされている必要があります。
  • 前提となる開発ツールのインストール[cite: 8] UI-TARS Desktopをビルドして起動するには、以下の基本ツール（無料）がPCに準備されている必要があります。あらかじめそれぞれの公式サイト等からダウンロードしてインストールしておいてください。
    • Git for Windows / macOS：リポジトリ（ソースコードの格納場所）からプログラムを取得するツールです。
    • Node.js：JavaScript/TypeScriptを実行するエンジンです。バージョン22以降を推奨します。
    • pnpm：プログラムに必要なパーツを高速にインストールするためのパッケージ管理ツールです。コマンドプロンプトで npm install -g pnpm と入力することで簡単に導入できます。

導入のための3つのステップ

準備ができたら、Windowsの場合は「Git Bash」や「コマンドプロンプト」、macOSの場合は「ターミナル」アプリを起動し、以下のコマンドを順番に実行します。

まず、プログラムのソースコードを自身のパソコンにダウンロードします。

git clone https://github.com/bytedance/UI-TARS-desktop.git

次に、ダウンロードしたディレクトリに入り、必要なライブラリやパッケージをすべてインストールします。

cd UI-TARS-desktop
pnpm install

すべてのパーツの準備が完了したら、開発者モードでアプリケーションを起動させます。

pnpm run dev:ui-tars

これでデスクトップ上にUI-TARS Desktopのウィンドウが開き、すぐにでも操作を開始できる状態になります。かつて搭載されていた遠隔サーバー経由の「Remote Operator（リモートデスクトップ操作）」機能は、2025年8月20日をもって正式にサポート終了（サンセット）となっています。現在は、目の前にあるローカルPCを動かす「Computer Operator」およびブラウザに特化した「Browser Operator」の2つのモードに集中して利用する形になります。

視覚言語モデル（VLM）の接続設定

アプリケーションが立ち上がったら、最後に「VLM Settings」から、AIエージェントの思考エンジンとなるモデルを設定します。主に、以下の2つの方法からお好みで設定できます。

方法A：Hugging Face経由で「UI-TARS-1.5」に接続する（初心者向け）

Hugging Faceのウェブサイトで配布されている「UI-TARS-1.5-7B」モデルのデプロイボタンを押し、ご自身のエンドポイントURL（Base URL）とAPIキーを取得して、アプリの設定画面に入力します。

  • VLM Provider：Hugging Face for UI-TARS-1.5[cite: 8]
  • VLM Base URL：取得したURL（必ず末尾を「/v1/」にしてください）[cite: 8]
  • VLM API KEY：ご自身のAPIキー[cite: 8]
  • VLM Model Name：モデル名[cite: 8]

方法B：Ollamaを使って完全ローカル環境で動かす（セキュリティ重視）

画面内の情報がインターネット上のサーバーに送信されるのを完全に防ぎたい場合は、ご自身のパソコン上でオープンソースモデルを実行する「Ollama」を利用できます。 事前にOllamaをインストールしたパソコンのターミナルで ollama pull ui-tars-7b コマンドを実行してモデルをダウンロードしておきます。アプリ側の設定でローカルプロバイダーを選択し、ローカル接続用のホスト情報を登録すれば、外部との通信なしで安全に自動化を実行できます。

クラウドAPIは、タスク処理の成功率は高いものの、若干の処理コストとインターネット経由での情報送信を要します。これに対し、ローカル環境（Ollama）は、エージェントからの応答が200〜400ミリ秒と圧倒的にスピーディですが、動かすためにはグラフィックボード（高性能GPU）などの高度なPCスペックが求められます。まずは確実なクラウド接続から試し、自動化プロンプトが最適化されてからローカル運用へと切り替えていく方法が推奨されます。

クラウドAPI接続と完全ローカル接続の選択マッピング（Cloud API vs Local Deployment Map）

第6章：安全に楽しむためのセキュリティとトラブルシューティング

AIにパソコンの画面を自由に見せて操作を任せることは、これまでにないほどスリリングで楽しい体験ですが、安全に活用するためには、以下のセキュリティ防衛策と運用ルールを必ず守ってください。

  • 決して「管理者権限（Administrator）」で起動しない[cite: 5] アプリに高いアクセス特権を与えてしまうと、AIが操作を誤った際やハッキング等の被害に遭った際、パソコンの重要なシステムファイルを書き換えられてしまう致命的な危険性があります。
  • パスワード入力や個人情報のマスキング[cite: 8, 11] エージェントが動作している最中は、画面のスクリーンショットが常に撮影され、モデル提供会社やクラウドサービスに送信されています。IDやクレジットカードの入力、機密書類が表示された状態で自動化を実行させないよう、実行前に画面を整理するか、ローカル環境での完全なオフライン稼働（Ollama等）を利用してください。
  • 認証やキャプチャ（CAPTCHA）の乱用防止[cite: 11] UI-TARS-1.5は非常に強力な認識力を持っているため、ロボット検知用の画像認証（CAPTCHA）を自律的に突破して、保護されたエリアに侵入してしまう能力すら備えています。しかし、これらを悪用した自動アクセスやアカウントの不正運用は、規約違反や違法行為にあたるため、絶対に行わないように心がけてください。
  • シングルモニターの設定でタスクが失敗する場合[cite: 8, 10]モニターが1台でも失敗する場合は、Windowsの「画面のスケーリング（拡大縮小）」設定が「150%」などのカスタム値になっていないかを確認してください。可能であれば「100%（推奨）」に設定を戻すと、座標のブレがなくなり、エージェントの操作精度が向上します。

Event Stream & Diagnostics Dashboard

おわりに：AIエージェントと切り開く次世代のPC操作ライフ

UI-TARS DesktopのようなビジョンベースのAIエージェントは、パソコン操作におけるこれまでの常識を一変させ、あらゆるユーザーにとって身近な業務効率化のベストパートナーになりつつあります。プログラミングや複雑な設定に悩まされることなく、私たちのいつもの言語で指示するだけで、画面上の情報を読み取って能動的に問題を解決してくれるAIエージェントのパワーは、仕事やプライベートの生産性をかつてない高みへと押し上げてくれるでしょう。 ぜひご自身のパソコンでUI-TARSをセットアップし、未来のデスクトップ自動化ライフの第一歩を体験してみてください。

参考資料

  1. GitHub - bytedance/UI-TARS-desktop: The Open-Source Multimodal AI Agent Stack, https://github.com/bytedance/ui-tars-desktop
  2. One Open Source Project a Day - No. 62: UI-TARS-Desktop by ByteDance's Open-Source Multimodal GUI, https://dev.to/wonderlab/one-open-source-project-a-day-no-62-ui-tars-desktop-bytedances-open-source-multimodal-gui-53pm
  3. 無料でローカルPCの操作を自動化できる「UI-TARS-desktop」について現状を確認してみた, https://gigazine.net/news/20260628-ui-tars-desktop/
  4. GitHub - bytedance/UI-TARS: Pioneering Automated GUI Interaction with Native Agents, https://github.com/bytedance/ui-tars
  5. AI/ML repo deltas, May 10 → 17: ByteDance's UI-TARS desktop up +2.5k, https://www.reddit.com/r/AI_Agents/comments/1tirhoq/aiml_repo_deltas_may_10_17_bytedances_uitars/
  6. bytedance/UI-TARS-desktop by Tom Doerr, https://tom-doerr.github.io/repo_posts/2025/06/26/bytedance-UI-TARS-desktop.html
  7. Bytedance UI-TARS AI Desktop: AI Agent for Computer Control, https://ui-tarsai.com/
  8. UI-TARS: Pioneering Automated GUI Interaction with Native Agents (arXiv Preprint), https://arxiv.org/abs/2501.12326
  9. GUIエージェントにUI-TARS-desktopが選ばれる理由と仕組み, https://syusodo.co.jp/tech-blog/articles/repo-bytedance-UI-TARS-desktop
  10. 無料でローカルPCの操作を自動化できる「UI-TARS-desktop」検証報告の詳細, https://gigazine.net/news/20260628-ui-tars-desktop/
  11. UI-TARS: Pioneering Automated GUI Interaction with Native Agents (arXiv Search Index), https://arxiv.org/abs/2501.12326
  12. UI-TARS: Pioneering Automated GUI Interaction with Native Agents (ResearchGate Publication), https://www.researchgate.net/publication/388317146_UI-TARS_Pioneering_Automated_GUI_Interaction_with_Native_Agents
  13. Bytedance UI-TARS AI Desktop (Installation & Features Overview), https://ui-tarsai.com/
  14. UI-TARS: Pioneering Automated GUI Interaction with Native Agents (Full PDF/HTML Structure), https://arxiv.org/html/2501.12326v1
  15. UI-TARS-desktop: Desktop GUI Intelligent Assistant (Notebook Guide), https://hyper.ai/en/notebooks/49785
  16. Google Scholar Citations for UI-TARS Research Team, https://scholar.google.co.jp/citations?user=K-v_r9oAAAAJ&hl=ja
  17. UI-TARS Desktop Complete Guide 2026, https://tosea.ai/blog/ui-tars-desktop-complete-guide-2026
  18. GUIエージェントにUI-TARS-desktopが選ばれる理由と仕組み (SyuSodo Tech Blog), https://syusodo.co.jp/tech-blog/articles/repo-bytedance-UI-TARS-desktop
  19. ByteDance Seed Agent Model UI-TARS-1.5 Open Source: Achieving SOTA Performance, https://seed.bytedance.com/blog/bytedance-seed-agent-model-ui-tars-1-5-open-source-achieving-sota-performance-in-various-benchmarks
  20. GitHub - bytedance/UI-TARS-desktop Source Code and Commits, https://github.com/bytedance/ui-tars-desktop
  21. GitHub - bytedance/UI-TARS Model Implementation and Evaluation, https://github.com/bytedance/ui-tars
  22. UI-TARS Desktop Setup, Ollama Local Configuration and VLM Settings, https://tosea.ai/blog/ui-tars-desktop-complete-guide-2026

コメント

タイトルとURLをコピーしました