Crewly 是一个开源的 Computer Use(让 agent 操控你的电脑)agent 平台:它的 AI agent(智能体)可以操作你 Mac 真实的鼠标和键盘,在原生应用和系统对话框里工作。agent 工作时,屏幕上会有一条横幅,告诉你是哪个 agent、在做什么。碰一下鼠标就能让它暂停,一个快捷键就能让它停止,你还可以在 Crewly Cloud 门户或手机上查看并接管屏幕。
Crewly 是一个开源平台,用来运行一支由 AI 编码和运维 agent(Claude Code 和 Codex)组成的团队:它们在 Slack 里协作,操作你的浏览器和桌面,你随时可以查看、随时可以接管。Computer Use 是这些操作面里的最后一个,也是最需要能随时接管的一个。
Crewly 里的 Computer Use 是什么?
Computer Use 指的是 agent 看着你的屏幕,用鼠标和键盘在上面操作,就像你自己操作一样。Crewly 的 agent 把它用在没有更好途径的事情上:macOS 原生应用、系统对话框,以及任何连接器或浏览器够不到的地方。
它被刻意设计成最后的手段。Crewly 的 agent 会被引导去选能完成任务的最轻的那一层:
| 需求 | agent 用什么 |
|---|---|
| 邮件、Drive、日历、Slack、git、文件 | Crewly 的技能或连接器,完全不需要屏幕 |
| 一个以你的身份登录的网页 | Crewly in Chrome,在你真实的 Chrome 里 |
| 原生应用、系统对话框,以及其他一切 | Computer Use |
只要可以,agent 会把屏幕读成一个个有名字的元素("Save 按钮"),而不是去猜像素坐标。这样窗口挪动或主题变化时,更不容易出问题。画布和 PDF 里的文字,会用设备端 OCR 来读取。
示意图:从最轻的一层开始的三层,依次是不需要屏幕的技能和连接器、用于已登录网页的 Crewly in Chrome,以及用于原生应用和系统对话框的 Computer Use。
先选最轻的那一层:Computer Use 是最后的手段(示意图)。
怎么知道 agent 正在用我的电脑?
鼠标指针自己动起来会让人不安,所以 Crewly 不会让这种事悄无声息地发生。agent 在桌面上操作时:
- 屏幕上会出现一条横幅,写着 agent 的名字和目标,并带有 Pause 和 Stop 按钮。
- 横幅只在会移动东西的操作时出现。agent 只是看一眼时,它不会每次都弹出来,因为一条你学会忽略的横幅,比没有横幅还糟。
- 如果 agent 崩溃了,它的横幅会在不久后自己消失,而不是继续宣称一件并没有在进行的工作。
怎么从 Computer Use agent 手里接管?
从最温和到最强硬,你有四种方式。
- 直接用你的鼠标或键盘。 你真实的输入会立刻让 agent 暂停。伸手去拿鼠标的人,可不是在礼貌地请求。任务不会被取消,它会等着。
- 在横幅上点击 Pause,用完后点 Resume。
- 在横幅上点击 Stop,或者在任何地方按 ⌃⌥⌘.(Control-Option-Command-句点),即使 agent 正占着键盘也有效。Stop 之后,在你解除之前,所有桌面操作都会被拒绝。
- 在手机上停止 agent。 Crewly Cloud 门户里的 Desktop 页面有一个 Stop agents 按钮,在哪里都能用。
Pause 和 Stop 是刻意区分开的。Pause 的意思是"我要用我的电脑":agent 会被告知任务在等待,而不是被终止。Stop 的意思是在你发话之前,什么都不许动。
示意图:从最温和到最强硬的四种接管方式,依次是直接用鼠标或键盘、点击 Pause、点击 Stop 或按 ⌃⌥⌘.,以及在手机上停止 agent。
从最温和到最强硬,四种接管方式(示意图)。
可以在手机上查看和控制我的 Mac 吗?
可以。Crewly Cloud 门户里的 Desktop 页面会显示这台机器屏幕的实时画面,在笔记本或手机上都行,还能让你直接操作。
首先,在那台机器上运行 crewly desktop remote on 打开远程桌面。它默认关闭,而且不能在门户里打开。打开之后,除了实时屏幕,你还能用:
- Tap 模式(点按):点一下画面,Crewly 就在那里点击。可以左键单击、双击和右键单击。
- Mouse 模式(鼠标):像触控板一样滑动来移动光标。Mac 上真实的指针也会跟着动,所以悬停菜单和提示会在你点击之前出现。
- Type(输入):在一个文本框里输入,内容会打进当前聚焦的输入框。
手机截图:Crewly Cloud 的 Desktop 页面处于 Mouse 模式,显示 Mac 实时画面、点击按钮、输入框和 Stop agents 按钮。
手机上的 Desktop 页面:Mac 屏幕的实时画面、Tap 或 Mouse 模式、向当前输入框打字,以及 Stop agents。
笔记本上的截图:Crewly Cloud 的 Desktop 页面处于 Tap 模式,显示一台演示用 Mac 的实时画面(画面里是一个 Crewly 团队页面),还有向当前输入框打字的文本框和 Stop agents 按钮。
同一个页面在笔记本上的样子。真实界面、演示数据:团队、机器和账号都是虚构的。
你的远程点击和 agent 的点击走的是同一套安全护栏(见下文)。你也不能远程往密码输入框里输入;锁屏状态下既看不到也操作不了,门户会提示你去那台机器上解锁。
agent 卡在登录或双重验证码上怎么办?
它会问你。遇到 CAPTCHA、双重验证码、登录,或者一个应该由你来做的决定时,agent 被要求暂停自己并请求人工介入。它会说明卡在哪里,并保存一张你可以在手机上打开的截图。然后它会等你,而不是自作聪明。对登录来说,"自作聪明"就意味着输入一个它永远不该输入的密码。
Crewly 的 Computer Use 有哪些安全护栏?
下面这些护栏在同一个地方统一执行,对每个 agent、每个运行时都一样:
- 不能往密码输入框里输入。 当焦点在安全文本框上时,输入会被拒绝。
- 绝不操作密码管理类应用。
- 破坏性快捷键会被直接拒绝,包括退出(⌘Q)、关闭窗口(⌘W)和删除快捷键。它们是被直接拦掉,而不是送去等你批准,因为自动化几乎从来不需要它们。
- 同一时间只有一个 agent。 一把全机范围的锁防止两个 agent 抢同一个鼠标,而且这把锁会过期,所以崩溃的 agent 不会把桌面冻住。
- agent 不能解除护栏。 agent 不能从自己的命令行关掉护栏,也不能解除 Stop。
- 每个操作在执行前都会记录到你 Mac 上的一个文件里,任何改变屏幕的操作还会附上操作前后的缩略图,这样你可以回看发生了什么,包括执行到一半失败的操作。
- 权限问题会直说。 如果没有 macOS 的屏幕录制和辅助功能权限,agent 会被告知需要授予什么权限、给哪个应用,而不是对着一张黑屏截图反复重试。
怎么设置?
- 在你的 Mac 上运行 Crewly。 见 Crewly 快速上手或下载页面。代码在 GitHub 上。
- 授予 macOS 权限。 Computer Use 需要屏幕录制和辅助功能权限。第一次检查时会准确告诉你该给哪个应用授权。
- 给某个 agent 一个桌面任务,在 Slack 或 dashboard 里都可以。比如:"在 Numbers 里打开导出的报表,另存为 PDF 到桌面。"
- 可选: 想在手机上查看和操作这台 Mac,就在这台 Mac 上运行
crewly desktop remote on,然后在 Crewly Cloud 门户里打开 Desktop。
它不做什么
- 目前只支持 macOS。 现在还不支持 Windows 或 Linux。在其他平台上,Computer Use 会直接说明不支持,而不是以一种让人摸不着头脑的方式失败。
- agent 以完整权限运行。 除了上面的桌面护栏,这正是它们能无人值守工作的原因,所以请在你放心的环境里运行 Crewly。
- 锁屏时不行。 锁屏的 Mac 既看不到也操作不了,agent 不行,你远程也不行。
- 它是最慢、最脆弱的一层。 像素和坐标比连接器或浏览器标签页更容易出问题。Crewly 只在别的方式都做不到时才用 Computer Use,你也应该预期它会更慢。
- 远程桌面需要每台机器单独开启。 如果你没有在那台 Mac 上运行
crewly desktop remote on,门户仍然可以停止它的 agent,但不能显示或操作屏幕。 - 同一时间只有一个 agent 在操作。 其他需要桌面的 agent 会排队等锁。
- 护栏是底线,不是保证。 它们能拦住密码、密码管理类应用和破坏性快捷键,但不能让每一次点击都安全。敏感的工作要盯着,随时可以用 Pause。
常见问题
Crewly 的 Computer Use 是开源的吗?
是。Computer Use 是 Crewly Community Edition 的一部分,Crewly Community Edition 是开源的(MIT),代码(包括安全护栏)都在 GitHub 上。
AI agent 能控制我的 Mac 或 PC 吗?
在 Mac 上可以:Crewly 的 agent 可以操作鼠标和键盘,并受上文所述安全护栏的约束。目前不支持 Windows 和 Linux,Computer Use 只支持 macOS。
Computer Use 安全吗?什么能阻止它删东西?
退出、关闭窗口、删除这类破坏性快捷键会被直接拒绝,密码输入框和密码管理类应用都不允许操作,每个操作在执行前都会记录日志。碰一下鼠标就能暂停它,按 ⌃⌥⌘. 就能停止一切。这些护栏是底线,不是保证,所以敏感的工作要盯着。
agent 能输入我的密码吗?
不能。在安全密码输入框里输入会被拒绝,密码管理类应用绝不会被操作,卡在登录上的 agent 会被要求暂停下来问你。
怎么立刻停止一个 agent?
在任何地方按 ⌃⌥⌘.(Control-Option-Command-句点),点击横幅上的 Stop,或者在门户的 Desktop 页面上点 Stop agents。只要动一下鼠标,它就会暂停。
可以用手机控制我的 Mac 吗?
可以,前提是你在那台 Mac 上用 crewly desktop remote on 打开远程桌面。它默认关闭,而且只能在那台机器上开启。
Claude Code 能通过 Crewly 使用 Computer Use 吗?
能。Crewly 里的 Claude Code 和 Codex agent 都能使用同样的 Computer Use,受同样的护栏约束。
它是在我真实的桌面上运行,还是在虚拟机里?
在你真实的 Mac 桌面上,也就是运行 Crewly 的那台。正因为如此,才有这些护栏、横幅和碰鼠标即暂停。
它需要哪些 macOS 权限?
屏幕录制和辅助功能。如果缺少权限,Crewly 会告诉你该给哪个应用授权。
Computer Use 和浏览器 agent,我该用哪个?
网页用浏览器 agent:Crewly in Chrome 更快,也更不容易出问题。Computer Use 用于浏览器够不到的原生应用和系统对话框。
两个 agent 会抢我的鼠标吗?
不会。一把全机范围的锁让桌面同一时间只归一个 agent 使用,如果某个 agent 崩溃,这把锁会自动过期。