返回博客
computer-usedesktop-automationmacoshuman-in-the-loopai-agents

开源 Computer Use Agent:随时查看和接管

Crewly 是一个面向 macOS 的开源 Computer Use agent 平台:在手机上查看,碰一下鼠标就暂停,一个快捷键就停止,也可以远程接管。

C
Crewly Team
阅读约 8 分钟
分享

目录

Crewly 是一个开源的 Computer Use(让 agent 操控你的电脑)agent 平台:它的 AI agent(智能体)可以操作你 Mac 真实的鼠标和键盘,在原生应用和系统对话框里工作。agent 工作时,屏幕上会有一条横幅,告诉你是哪个 agent、在做什么。碰一下鼠标就能让它暂停,一个快捷键就能让它停止,你还可以在 Crewly Cloud 门户或手机上查看并接管屏幕。

Crewly 是一个开源平台,用来运行一支由 AI 编码和运维 agent(Claude Code 和 Codex)组成的团队:它们在 Slack 里协作,操作你的浏览器和桌面,你随时可以查看、随时可以接管。Computer Use 是这些操作面里的最后一个,也是最需要能随时接管的一个。

Crewly 里的 Computer Use 是什么?

Computer Use 指的是 agent 看着你的屏幕,用鼠标和键盘在上面操作,就像你自己操作一样。Crewly 的 agent 把它用在没有更好途径的事情上:macOS 原生应用、系统对话框,以及任何连接器或浏览器够不到的地方。

它被刻意设计成最后的手段。Crewly 的 agent 会被引导去选能完成任务的最轻的那一层:

需求agent 用什么
邮件、Drive、日历、Slack、git、文件Crewly 的技能或连接器,完全不需要屏幕
一个以你的身份登录的网页Crewly in Chrome,在你真实的 Chrome 里
原生应用、系统对话框,以及其他一切Computer Use

只要可以,agent 会把屏幕读成一个个有名字的元素("Save 按钮"),而不是去猜像素坐标。这样窗口挪动或主题变化时,更不容易出问题。画布和 PDF 里的文字,会用设备端 OCR 来读取。

示意图:从最轻的一层开始的三层,依次是不需要屏幕的技能和连接器、用于已登录网页的 Crewly in Chrome,以及用于原生应用和系统对话框的 Computer Use。示意图:从最轻的一层开始的三层,依次是不需要屏幕的技能和连接器、用于已登录网页的 Crewly in Chrome,以及用于原生应用和系统对话框的 Computer Use。

先选最轻的那一层:Computer Use 是最后的手段(示意图)。

怎么知道 agent 正在用我的电脑?

鼠标指针自己动起来会让人不安,所以 Crewly 不会让这种事悄无声息地发生。agent 在桌面上操作时:

  • 屏幕上会出现一条横幅,写着 agent 的名字和目标,并带有 Pause 和 Stop 按钮。
  • 横幅只在会移动东西的操作时出现。agent 只是看一眼时,它不会每次都弹出来,因为一条你学会忽略的横幅,比没有横幅还糟。
  • 如果 agent 崩溃了,它的横幅会在不久后自己消失,而不是继续宣称一件并没有在进行的工作。

怎么从 Computer Use agent 手里接管?

从最温和到最强硬,你有四种方式。

  1. 直接用你的鼠标或键盘。 你真实的输入会立刻让 agent 暂停。伸手去拿鼠标的人,可不是在礼貌地请求。任务不会被取消,它会等着。
  2. 在横幅上点击 Pause,用完后点 Resume。
  3. 在横幅上点击 Stop,或者在任何地方按 ⌃⌥⌘.(Control-Option-Command-句点),即使 agent 正占着键盘也有效。Stop 之后,在你解除之前,所有桌面操作都会被拒绝。
  4. 在手机上停止 agent。 Crewly Cloud 门户里的 Desktop 页面有一个 Stop agents 按钮,在哪里都能用。

Pause 和 Stop 是刻意区分开的。Pause 的意思是"我要用我的电脑":agent 会被告知任务在等待,而不是被终止。Stop 的意思是在你发话之前,什么都不许动。

示意图:从最温和到最强硬的四种接管方式,依次是直接用鼠标或键盘、点击 Pause、点击 Stop 或按 ⌃⌥⌘.,以及在手机上停止 agent。示意图:从最温和到最强硬的四种接管方式,依次是直接用鼠标或键盘、点击 Pause、点击 Stop 或按 ⌃⌥⌘.,以及在手机上停止 agent。

从最温和到最强硬,四种接管方式(示意图)。

可以在手机上查看和控制我的 Mac 吗?

可以。Crewly Cloud 门户里的 Desktop 页面会显示这台机器屏幕的实时画面,在笔记本或手机上都行,还能让你直接操作。

首先,在那台机器上运行 crewly desktop remote on 打开远程桌面。它默认关闭,而且不能在门户里打开。打开之后,除了实时屏幕,你还能用:

  • Tap 模式(点按):点一下画面,Crewly 就在那里点击。可以左键单击、双击和右键单击。
  • Mouse 模式(鼠标):像触控板一样滑动来移动光标。Mac 上真实的指针也会跟着动,所以悬停菜单和提示会在你点击之前出现。
  • Type(输入):在一个文本框里输入,内容会打进当前聚焦的输入框。

手机截图:Crewly Cloud 的 Desktop 页面处于 Mouse 模式,显示 Mac 实时画面、点击按钮、输入框和 Stop agents 按钮。手机截图:Crewly Cloud 的 Desktop 页面处于 Mouse 模式,显示 Mac 实时画面、点击按钮、输入框和 Stop agents 按钮。

手机上的 Desktop 页面:Mac 屏幕的实时画面、Tap 或 Mouse 模式、向当前输入框打字,以及 Stop agents。

笔记本上的截图:Crewly Cloud 的 Desktop 页面处于 Tap 模式,显示一台演示用 Mac 的实时画面(画面里是一个 Crewly 团队页面),还有向当前输入框打字的文本框和 Stop agents 按钮。笔记本上的截图:Crewly Cloud 的 Desktop 页面处于 Tap 模式,显示一台演示用 Mac 的实时画面(画面里是一个 Crewly 团队页面),还有向当前输入框打字的文本框和 Stop agents 按钮。

同一个页面在笔记本上的样子。真实界面、演示数据:团队、机器和账号都是虚构的。

你的远程点击和 agent 的点击走的是同一套安全护栏(见下文)。你也不能远程往密码输入框里输入;锁屏状态下既看不到也操作不了,门户会提示你去那台机器上解锁。

agent 卡在登录或双重验证码上怎么办?

它会问你。遇到 CAPTCHA、双重验证码、登录,或者一个应该由你来做的决定时,agent 被要求暂停自己并请求人工介入。它会说明卡在哪里,并保存一张你可以在手机上打开的截图。然后它会等你,而不是自作聪明。对登录来说,"自作聪明"就意味着输入一个它永远不该输入的密码。

Crewly 的 Computer Use 有哪些安全护栏?

下面这些护栏在同一个地方统一执行,对每个 agent、每个运行时都一样:

  • 不能往密码输入框里输入。 当焦点在安全文本框上时,输入会被拒绝。
  • 绝不操作密码管理类应用。
  • 破坏性快捷键会被直接拒绝,包括退出(⌘Q)、关闭窗口(⌘W)和删除快捷键。它们是被直接拦掉,而不是送去等你批准,因为自动化几乎从来不需要它们。
  • 同一时间只有一个 agent。 一把全机范围的锁防止两个 agent 抢同一个鼠标,而且这把锁会过期,所以崩溃的 agent 不会把桌面冻住。
  • agent 不能解除护栏。 agent 不能从自己的命令行关掉护栏,也不能解除 Stop。
  • 每个操作在执行前都会记录到你 Mac 上的一个文件里,任何改变屏幕的操作还会附上操作前后的缩略图,这样你可以回看发生了什么,包括执行到一半失败的操作。
  • 权限问题会直说。 如果没有 macOS 的屏幕录制和辅助功能权限,agent 会被告知需要授予什么权限、给哪个应用,而不是对着一张黑屏截图反复重试。

怎么设置?

  1. 在你的 Mac 上运行 Crewly。 见 Crewly 快速上手或下载页面。代码在 GitHub 上。
  2. 授予 macOS 权限。 Computer Use 需要屏幕录制和辅助功能权限。第一次检查时会准确告诉你该给哪个应用授权。
  3. 给某个 agent 一个桌面任务,在 Slack 或 dashboard 里都可以。比如:"在 Numbers 里打开导出的报表,另存为 PDF 到桌面。"
  4. 可选: 想在手机上查看和操作这台 Mac,就在这台 Mac 上运行 crewly desktop remote on,然后在 Crewly Cloud 门户里打开 Desktop。

它不做什么

  • 目前只支持 macOS。 现在还不支持 Windows 或 Linux。在其他平台上,Computer Use 会直接说明不支持,而不是以一种让人摸不着头脑的方式失败。
  • agent 以完整权限运行。 除了上面的桌面护栏,这正是它们能无人值守工作的原因,所以请在你放心的环境里运行 Crewly。
  • 锁屏时不行。 锁屏的 Mac 既看不到也操作不了,agent 不行,你远程也不行。
  • 它是最慢、最脆弱的一层。 像素和坐标比连接器或浏览器标签页更容易出问题。Crewly 只在别的方式都做不到时才用 Computer Use,你也应该预期它会更慢。
  • 远程桌面需要每台机器单独开启。 如果你没有在那台 Mac 上运行 crewly desktop remote on,门户仍然可以停止它的 agent,但不能显示或操作屏幕。
  • 同一时间只有一个 agent 在操作。 其他需要桌面的 agent 会排队等锁。
  • 护栏是底线,不是保证。 它们能拦住密码、密码管理类应用和破坏性快捷键,但不能让每一次点击都安全。敏感的工作要盯着,随时可以用 Pause。

常见问题

Crewly 的 Computer Use 是开源的吗?

是。Computer Use 是 Crewly Community Edition 的一部分,Crewly Community Edition 是开源的(MIT),代码(包括安全护栏)都在 GitHub 上。

AI agent 能控制我的 Mac 或 PC 吗?

在 Mac 上可以:Crewly 的 agent 可以操作鼠标和键盘,并受上文所述安全护栏的约束。目前不支持 Windows 和 Linux,Computer Use 只支持 macOS。

Computer Use 安全吗?什么能阻止它删东西?

退出、关闭窗口、删除这类破坏性快捷键会被直接拒绝,密码输入框和密码管理类应用都不允许操作,每个操作在执行前都会记录日志。碰一下鼠标就能暂停它,按 ⌃⌥⌘. 就能停止一切。这些护栏是底线,不是保证,所以敏感的工作要盯着。

agent 能输入我的密码吗?

不能。在安全密码输入框里输入会被拒绝,密码管理类应用绝不会被操作,卡在登录上的 agent 会被要求暂停下来问你。

怎么立刻停止一个 agent?

在任何地方按 ⌃⌥⌘.(Control-Option-Command-句点),点击横幅上的 Stop,或者在门户的 Desktop 页面上点 Stop agents。只要动一下鼠标,它就会暂停。

可以用手机控制我的 Mac 吗?

可以,前提是你在那台 Mac 上用 crewly desktop remote on 打开远程桌面。它默认关闭,而且只能在那台机器上开启。

Claude Code 能通过 Crewly 使用 Computer Use 吗?

能。Crewly 里的 Claude Code 和 Codex agent 都能使用同样的 Computer Use,受同样的护栏约束。

它是在我真实的桌面上运行,还是在虚拟机里?

在你真实的 Mac 桌面上,也就是运行 Crewly 的那台。正因为如此,才有这些护栏、横幅和碰鼠标即暂停。

它需要哪些 macOS 权限?

屏幕录制和辅助功能。如果缺少权限,Crewly 会告诉你该给哪个应用授权。

Computer Use 和浏览器 agent,我该用哪个?

网页用浏览器 agent:Crewly in Chrome 更快,也更不容易出问题。Computer Use 用于浏览器够不到的原生应用和系统对话框。

两个 agent 会抢我的鼠标吗?

不会。一把全机范围的锁让桌面同一时间只归一个 agent 使用,如果某个 agent 崩溃,这把锁会自动过期。

相关文章

准备好编排你的 AI 团队了吗?

开始使用 Crewly,把多个 Claude Code、Codex 或 Antigravity agent 组成一支协同工作的团队来运行。

curl -fsSL https://crewlyai.com/install.sh | bash阅读文档 →

然后打开一个新的终端,运行:

crewly start

相关文章