AI In Windows: Investigating Windows Copilot
The Trail of Bits Blog
AI 正变得无处不在，像 GitHub 和 Photoshop 等广泛使用工具的开发者正在快速实施和迭代具备 AI 功能的特点。随着微软最近将 Copilot 集成到 Windows 中，AI 甚至进入了计算的老牌领域——桌面系统。
将 AI 助手整合到整个操作系统中是一个重大发展，值得深入研究。在这篇博客文章中，我想分享我对微软如何将 Copilot 集成到其传统桌面系统中的简要调查结果。我将总结集成的一些关键特性，并探讨 AI 在桌面环境中角色的一些担忧和未来考量。
一些注意事项
在我们深入细节之前，有两个重要的注意事项需要记住。
首先，也是最重要的，微软 Copilot 仅在有正常互联网连接的情况下工作。这告诉我们所使用的模型是托管式的，而非本地的，并且必然地，在使用 AI 功能时，您机器上的一些数据会被发送到微软。
其次，与其他具备 AI 功能的工具一样，Copilot 的结果并不总是稳定或可靠。Copilot 可能给出意想不到的结果，这需要一些时间来适应，并且需要初始的试错阶段来发现什么有效、什么无效。这表明即使是资源充足的生成式 AI 公共部署也未能充分缓解幻觉问题。
Windows 中的 Copilot
在最新的 Windows 11 版本中，微软正式推出了 Windows Copilot——一个存在于桌面上的日常 AI 伴侣，随时准备回答任何问题。根据微软的说法：
Copilot 将独特地结合网络的情报、您的工作数据以及您当前在 PC 上正在做的事情，以提供更好的协助——同时将您的隐私和安全放在首位。
在支持 Copilot 的 Windows 版本上，您可以看到一个新的桌面图标，打开一个侧边栏到 Copilot 界面：
虽然这个侧边栏可能看起来是全新的，但在底层，它仅仅是一个运行在 msedge.exe 进程中的 Microsoft Edge 内部 Bing AI 的视图。然而，Copilot 确实包含了一些超越“常规”Bing AI 的新功能和能力。
就像 Bing AI 一样，Copilot 没有本地 AI 模型。所有查询和操作都是通过一个网络界面到远程机器上处理请求并返回答案。因此，Copilot 需要活跃的互联网连接才能工作。Copilot 将搜索其自己的知识库或访问网络来回答您提出的任何问题（并且就像任何 LLM 一样，这些答案可能自信地不正确）。默认情况下，Copilot 仅执行一般网络查询，不会访问任何用户数据或与当前网络会话相关的数据。然而，即使在这种默认状态下，Copilot 确实可以访问浏览器和操作系统提供的元数据，例如 IP 地址、位置（由浏览器提供）和首选语言。
一个可选的设置（默认禁用）允许 Copilot 访问当前浏览器会话，以收集有关当前打开的网页的 URL 和标题以及活动网页内容的信息。它不应访问任何私人数据，如密码或浏览器历史记录。
Copilot 还具有除回答基本查询之外的其他能力。第一个是与 DALL-E 集成以生成 AI 艺术。您可以通过向 Copilot 提出一般请求或输入 #graphic_art("prompt") 来访问此功能。例如，输入 #graphic_art("tree") 将生成一棵树的图片。
另一个有趣的能力允许用户通过 #win_action("command") 提示访问硬编码的本地操作。每个操作都会导致 Copilot 发送一条消息，在执行操作之前请求用户确认。以下是目前似乎可用的硬编码 #win_action 选项列表：
| 操作 | 描述 | 必需参数 | 示例命令 |
|---|---|---|---|
| change_volume_level | 将音频音量级别增加或减少 10 点 | “increase” 或 “decrease” | #win_action("change_volume_level", "increase") |
| launch_app | 打开已安装的应用 | 要打开的应用程序名称 | #win_action("launch_app", "Calculator") |
| list_apps | 获取已安装应用列表 | 无 | #win_action("list_apps") |
| launch_screen_cast | 将屏幕投射到无线设备 | 无 | #win_action("launch_screen_cast") |
| launch_troubleshoot | 打开音频、相机、打印机、网络、蓝牙或 Windows 更新故障排除器之一 | 故障排除类别 | #win_action("launch_troubleshoot", "Audio") |
| manage_device | 打开设备设置以添加、移除或管理设备 | 无 | #win_action("manage_device") |
| mute_volume | 静音或取消静音音频 | “mute” 或 “unmute” | #win_action("mute_volume", "mute") |
| set_bluetooth | 启用或禁用蓝牙 | “on” 或 “off” | #win_action("set_bluetooth", "on") |
| set_change_theme | 更改颜色主题 | “dark” 或 “light” | #win_action("set_change_theme", "dark") |
| set_do_not_disturb | 启用或禁用“请勿打扰”模式 | “on” 或 “off” | #win_action("set_do_not_disturb", "on") |
| set_focus_session | 设置一个请求分钟数的专注会话 | 分钟数 | #win_action("set_focus_session", "30") |
| set_volume | 将音频音量级别设置为指定值 | 0 到 100 之间的数字，代表音量百分比 | #win_action("set_volume", "50") |
| set_wallpaper | 个性化您的背景（即，在设置中打开“个性化”>“背景”页面） | 无 | #win_action("set_wallpaper") |
| snap_window | 对齐您的活动窗口并在单个屏幕上共享多个应用窗口 | “left”、“right” 或 “none” 选择“none”允许您选择首选的布局。 | #win_action("snap_window", "left") |
| start_snipping_tool | 使用截图工具进行截图 | （可选）0 到 30 之间的数字，指定截图前的延迟 默认：3 秒 | #win_action("start_snipping_tool", "5") |
目前，虽然所有这些操作都是本地的，但它们不能在机器离线时使用。随着 Copilot 的成熟，我们期待看到它能提供哪些新能力。
尽管微软 Copilot 还处于早期阶段，但它展示了显著的能力。但就像任何基于云的 AI 应用一样，它引发了安全和隐私担忧。这些担忧主要围绕查询必须发送到服务器进行处理，并且它们可能被存储、用于进一步训练 AI 模型，或与其他公司共享用于各种目的（例如个性化广告）。此外，Copilot 对本地系统产生影响的能力尤其值得注意。这一功能引入了关于 AI 在桌面环境中角色的新担忧，这一角色超出了当前大多数具备 AI 功能产品的范围。例如，通过 Copilot 访问本地操作的能力可能帮助攻击者在机器上执行本地操作而不被检测；如果微软未来扩展可用操作列表，这一担忧只会增加。尽管将 AI 集成到桌面环境中是一个令人兴奋的发展，但随着微软继续迭代 Copilot，以及更多 AI-操作系统集成不可避免地出现，这些担忧必须成为开发者和研究者的关键焦点。
如果您喜欢这篇文章，请分享： Twitter LinkedIn GitHub Mastodon Hacker News
页面内容 一些注意事项 Windows 中的 Copilot 最近文章 Trail of Bits 的 Buttercup 在 AIxCC 挑战赛中获得第二名 Buttercup 现已开源！ AIxCC 决赛：记录表 攻击者的提示注入工程：利用 GitHub Copilot 作为新员工发现 NVIDIA Triton 中的内存损坏 © 2025 Trail of Bits。 使用 Hugo 和 Mainroad 主题生成。