AI Pulse: 2024年AI技术趋势回顾

AI技术日趋成熟

2024年可能是AI从技术新奇事物转变为生活事实的关键年份。微软、Salesforce和Intuit等巨头将AI集成到主流企业解决方案中；专业AI应用和服务如雨后春笋般涌现，涵盖从文案撰写到数据分析的各个领域。

2024年AI技术趋势

AI跨越式发展

我们之前的AI Pulse主要关注智能代理AI（agentic AI）——这是有充分理由的。自主、协作的基于机器的问题解决被广泛认为是通往人工通用智能（AGI）道路上的关键一步。所有主要AI厂商在2024年都重点展示了在智能代理领域的研发努力，而非AI厂商也开始提供AI即服务（AIAaaS）。

教计算机使用计算机

年度重要的智能代理发布之一是Anthropic Claude 3.5 Sonnet模型的"计算机使用"公开测试版。正如其名，计算机使用功能允许Claude 3.5 Sonnet通过"查看"屏幕、操纵光标、点击链接和输入文本来使用计算机。其他开发者也正在开发网络感知代理，尽管大规模性能评估是一个公认的挑战。研究公司ServiceNow旨在通过其AgentLab产品改变这一现状——这是一个12月发布的开源Python包，能够在多样化在线环境中并行运行大规模网络代理实验。

从RAG到AI财富

AI系统需要相关数据来有效解决问题。检索增强生成（RAG）通过让系统访问上下文重要信息而不是广泛、无重点的数据集来提供这种能力。单独使用RAG已被发现可以减少AI幻觉，并在长上下文变换器和微调等替代方法中表现更优。将RAG与微调结合使用会产生更好的结果。

Anthropic在今年秋季早些时候宣布了其自己的RAG变体"上下文检索"——据说可以使信息检索更成功——以及新的模型上下文协议（MCP），用于以可靠和可扩展的方式将AI助手连接到数据系统。

趋势科技发现RAG并非没有风险。暴露的向量存储和LLM托管平台可能导致数据泄漏和未经授权的访问。数据验证错误和拒绝服务（DoS）攻击等安全问题在RAG组件中很常见。除了身份验证，趋势科技建议实施传输层安全（TLS）加密和零信任网络，以防止未经授权的访问和操纵。

AI模型小型化

与向智能代理AI转变并行的是对更小、更灵活、更快的专门为特定任务构建的模型的需求。2024年在这方面也投入了大量工作。10月，Meta发布了其Llama AI模型的更新，比前代产品快达四倍，小56%，使得在智能手机等小型设备上也能实现复杂的AI功能。Nvidia发布了其Nemotron-Mini-4B Instruct小型语言模型（SLM），将VRAM使用量降至约2GB，速度远快于LLM。

较小的模型不仅更灵活：它们也比LLM更节能——而且更经济实惠。这反过来使它们更广泛可用。所有这些都与联合国可持续发展目标很好地契合。

AI与网络安全风险：了解你的敌人

OWASP的LLM风险清单

开放全球应用程序安全项目（OWASP）公布了其2025年LLM十大风险清单。再次出现的有提示注入风险、供应链风险和不当输出处理等老问题。新增内容包括向量和嵌入弱点、错误信息和无限制消耗（之前DoS风险类别的扩展）。

OWASP扩大了对"过度代理"的担忧，主要是因为半自主智能代理架构的兴起。正如OWASP所说：“随着LLM作为代理或在插件设置中运行，未经检查的权限可能导致意外或危险的操作，使这个条目比以往任何时候都更加关键。”

MIT也为追踪AI风险做出了贡献。8月，它启动了一个公共AI风险存储库，包含基于40多个不同框架的700多个风险，带有引用和风险分类法。

AI也能做好事

抢先击败坏人

使用AI发现漏洞和利用在整个年度受到了相当多的关注。虽然并不总是需要AI，但在复杂性高和未知因素多的情况下，它可以提供出色的结果。前沿模型论坛发现漏洞发现和修补是AI优势的新兴领域，部分原因是训练后编码示例使用的增加，部分原因是上下文窗口的扩展。AI还可以通过实时监控和分析、趋势识别等支持开源情报收集和报告。

正如趋势科技对2025年的预测，智能代理AI可以通过工具、数据和规划的组合扩展这些能力，减少涉及人脑时间。将IDA、Ghidra和Binary Ninja等逆向工程工具的智能代理使用与代码相似性、架构RAG和编译代码的算法识别相结合，可能是网络安全军备竞赛中的强大杠杆。

前瞻

今年的这个时候充满了预测，我们将在未来几周分享更多我们自己的预测。从2024年的AI趋势中可以清楚地看出，创新不会很快放缓：完整的智能代理革命即将到来，随之而来的将是监管机构的新选择、网络犯罪分子武器化的新能力——以及网络防御者主动保护数字世界的新机会。