AI Pulse: AI的积极面与智能代理的承诺

AI的好处是什么？

作为一家网络安全公司，趋势科技（Trend Micro）花费大量时间处于“风险区”：预测威胁并找出如何消除它们。但我们认识到，退后一步思考AI为人类带来积极变化的巨大力量同样重要。

本期AI Pulse探讨了一些为使AI安全且有益而采取的集体行动，包括通过AI增强的漏洞挖掘和威胁检测来加强网络安全。我们还思考了智能代理AI（agentic AI）如何为改善人们的生活开辟全新可能性，因为我们的文明继续沿着通往人工通用智能（AGI）的道路前进。

新动态：AI作为向善的力量

在法国，没有AI就无法拼写“和平”（paix）
巴黎和平论坛将和平视为不仅仅是战争的缺席：它是一种合作应对挑战的方法，如气候变化、移民和网络威胁——这些影响所有国家且无视国界的大问题。今年11月11日至12日的论坛明确表示，网络威胁（和机遇）不一定包括AI。两天的会议涵盖了从负责任的AI治理和弥合AI鸿沟到虚假信息和女性在AI中的角色等各个方面。

趋势科技参加了论坛，并宣布计划与论坛合作制定安全AI采用和实施的指南。趋势科技还将参加由法国总统埃马纽埃尔·马克龙领导的即将于2月举行的AI行动峰会，分享关于AI威胁以及如何通过先进的网络安全工具和实践应对这些威胁的见解。

智能代理AI对健康有益吗？
根据《MIT技术评论》，它很可能有益。该杂志最近发表了一篇关于代理驱动AI在生物学中解锁突破潜力的文章。这篇文章值得注意的原因有几个。首先，它断言AI代理的非结构化、“通才”问题解决方法有望穿透长期以来一直是人类研究人员障碍的复杂性。其次，这篇文章本身是由一个AI系统——Owkin（品牌为“世界上第一个端到端AI生物技术”）撰写的。

AI驱动发现和贡献高质量科学传播的双重能力让许多观察者感到兴奋。当然，也有需要管理的风险：《The Verge》最近报道了AI生成的医疗记录中出现不适当的幻觉段落；《Physics World》引用了一项研究，发现由于有偏见的数据集，某些计算机辅助诊断对某些患者的准确性低于其他患者。但总体而言，智能代理AI改善生活和提高科学素养的承诺似乎是一个净积极因素，也是变革性技术的一个良好用途。

AI传闻
每一次飞跃都放大了AI行善的能力，目前传闻工厂正在流传三家主要参与者的新版本提示。OpenAI首席执行官Sam Altman否认了这一点，但坊间传言称该公司将在12月推出一个平台——可能是GPT-5，目前代号为“Orion”。一位助长传闻的高管调侃说，新平台可能比GPT-4强大100倍。根据《The Verge》的说法，OpenAI的目标是通过结合其各种LLM（尽管一些消息来源称该公司内部已经实现了AGI）来更接近人工通用智能（AGI）。

Anthropic正在开发其平台的下一版本Claude 3.5 Opus。首席执行官Dario Amodei对发布日期同样含糊其辞，但观察者怀疑在年底前会看到一些东西。虽然没有宣布具体的增强功能，但“更快、更好、更智能”似乎是一个合理的期望，同时还有Anthropic对道德AI开发承诺的进一步证明。

据说谷歌也准备在年底前推出Gemini 2.0。同样，细节很少，尽管TechRadar建议“更智能的答案、更快的处理、支持更长的输入以及更可靠的推理和编码”是可能的。稍远一些的是Meta的Llama平台的下一个版本。一位公司发言人表示，Llama 4预计将在新年早期发布，其增强功能接近自主机器智能（AMI）——通过思维链等技术实现“感知、推理和规划”。从这些传闻中可以明显看出，竞争仍然激烈，AGI是每个人最终追求的目标。

开放还是不开放，这是个问题
随着AI巨头们努力开发新模型，关于开源AI利弊的争论继续 swirling。反对一方担心开源AI可能容易被滥用，中国将Llama 2用于军事用途表明这是一个真正的风险。但支持阵营指出开源软件在互联网和音乐流媒体等应用领域的成功，指出开放性往往能产生更强大、更可信的解决方案。《经济学人》最近的一篇评论文章赞扬了当今主要AI模型的至少部分开放性，并敦促政府通过监管和知识产权法律鼓励开源开发。

AI驱动的网络安全趋势

AI进行漏洞挖掘
随着AI“军备竞赛”不断升级，防御者正在利用他们所能获得的每一个优势。他们现在有一个新工具可供使用：用于自动化漏洞挖掘的AI。早在10月，Protect AI推出了Vulnhuntr：一个AI增强的Python静态代码分析器，可以“发现并解释复杂的多步漏洞”——据报道，它已经在开源AI项目中发现了十几个零日漏洞。

11月初，谷歌宣布其AI驱动发现了SQLite开源数据库引擎中的一个零日漏洞，这是第一个通过谷歌的LLM辅助Big Sleep框架识别的漏洞。两者都强调了开源开发的优势——因为有了源代码访问，发现漏洞比没有要容易得多。

招募AI作为网络防御者
麦肯锡最近的一篇文章发现，前32种网络安全产品中有17种现在包括高级AI用例，大多数企业客户（超过70%）“非常愿意”为基于AI的安全工具付费。据报道，安全运营是一个重点领域，尤其是威胁检测和响应——包括使用AI查询大型数据集并推荐保护行动。

其他机会领域包括云安全、端点安全以及使用AI助手自动填写问卷和报告。与此同时，谷歌一直在推广其为期三个月的AI for Cybersecurity Growth计划，以帮助初创公司在开发AI驱动的网络安全解决方案时“负责任地创新”。

为AI安全挺身而出
我们9月的AI Pulse探讨了一些正在进行的集体和监管努力以应对AI威胁。自那时起，形势继续发展。

10月初，MITRE宣布了其AI事件共享倡议，允许成员公司社区访问影响AI驱动系统事件的匿名数据。同月底，Anthropic发表了一份措辞强烈的呼吁，要求有针对性的AI监管，称政府需要在未来18个月内采取行动，否则可能失去对AI的控制。该文章还推广了Anthropic的责任扩展政策（RSP）作为“一个识别、评估和减轻灾难性风险的适应性框架”。虽然RSP框架旨在自愿采用，但Anthropic明确承认需要可执行的监管。

11月下旬，美国商务部和美国国务院共同在旧金山主办了国际AI安全研究所峰会，聚集了来自国际AI安全研究所网络和其他政府支持的科学办公室的AI专家，以推进AI安全方面的合作和知识共享。网络成员包括澳大利亚、加拿大、欧盟、法国、日本、肯尼亚、韩国、新加坡、英国和美国。11月的会议是2025年2月巴黎AI行动峰会的另一个前奏。

下一步：智能代理AI

能够独立思考的AI
AI代理在我们8月的AI Pulse中简要提及，但值得更深入的研究，因为它是通往人工通用智能（AGI）道路上被广泛认可的下一件大事。

简单来说，智能代理AI是能够在没有人类干预的情况下做出决策并采取行动的人工智能。Gartner称其为未来几年最重要的战略技术，预测到2028年，AI代理将做出约15%的日常工作决策。

你得到一个代理！你得到一个代理！
10月是智能代理AI的重要月份。微软宣布Copilot Studio用户现在可以创建自主代理，并为其Dynamics 365 ERP/CRM套件添加了近十几个代理。Anthropic推出了可以“读取”计算机屏幕内容并在软件应用程序和互联网上执行任务的AI代理。Salesforce推出了“Agentforce”，允许用户创建自己的代理来执行业务任务，并已被OpenTable、Saks和Wiley采用。Intuit宣布推出Intuit Assist，一个智能代理产品，为TurboTax、Credit Karma、QuickBooks和Mailchimp的用户提供个性化推荐。

随着公司创建和部署智能代理能力，寻找保持它们 streamlined、高效和协调的方法正在进行中——通过合作扩展它们的问题解决能力。OpenAI正在测试一种“Swarm”方法用于轻量级代理协调，趋势科技的专家一直在关注代理网格（agentic meshes）的概念，该概念将互连AI代理以合作追求人类提示的目标。

对于代理网格，信任建立机制将至关重要，同时还需要人类监督和审计智能代理AI活动的方法。随着AI代理开始创建自己的代理，在日益机器制造的环境中“隐形”传播自主性，这将变得更加重要。

金环：AGI
自我导向的AI代理被许多人认为是通往AGI的重要垫脚石，Anthropic的Dario Amodei更倾向于称之为“强大AI”。在他的文章《Machines of Loving Grace》中，Amodei表示“拥有一个真正鼓舞人心的未来愿景而不仅仅是一个救火计划至关重要。强大AI的许多影响是对抗性的或危险的，但归根结底，必须有一些我们为之奋斗的东西……”

Amodei指出了一些后代理AGI有望 dramatically 改善人类生活的领域：生物学和身体健康、神经科学和心理健康、经济发展和减贫、和平与治理以及工作与意义。

毫不奇怪，OpenAI的Sam Altman同样乐观，设想了一个未来，每个人都有自己的“个人AI团队”，由“不同领域的虚拟专家组成，共同努力创造几乎任何我们能想象的东西。”

随着智能代理AI的到来——并即将在2025年释放AI革命的下一波浪潮——Amodei和Altman可能是对的：最好的前进方式是让自己受到AI所能做的好事的启发和兴奋，即使我们仍然警惕我们需要共同管理的风险。

AI的积极面与智能代理的承诺：网络安全与生物医学突破

本文探讨了人工智能在网络安全漏洞挖掘、威胁检测和生物医学研究中的积极应用，并深入分析了智能代理AI如何推动人工通用智能（AGI）发展，同时强调了开源AI和安全监管的重要性。