AI与合规性：风险何在？

人工智能（AI），尤其是生成式AI（GenAI）和聊天机器人的快速发展，为企业提供了丰富的机会，以改善客户互动方式、提升效率并加速劳动密集型任务。

但GenAI也带来了问题，从安全漏洞和隐私问题，到关于偏见、准确性甚至“幻觉”（即AI响应完全不真实）的质疑。这自然引起了立法者和监管机构的关注。同时，企业内部合规部门发现自己正在追赶这项快速发展且复杂的技术。

本文探讨AI在法律和监管环境中对合规性构成的潜在风险，以及为什么合规团队需要仔细检查其GenAI使用情况，以发现弱点和漏洞，并评估源数据和输出数据的可靠性。

企业AI项目的常见风险

最常见的企业AI项目大多涉及GenAI或大型语言模型（LLM）。这些模型作为聊天机器人、回答查询或向客户提供产品推荐。搜索、总结或翻译文档是另一个流行的用例。

但AI也用于欺诈检测、监控、医疗影像和诊断等领域；这些领域的风险更高。这引发了关于如何或是否应使用AI的问题。

组织发现AI系统可能产生错误，以及不准确或误导性的结果。

AI工具还泄露了机密数据，要么直接泄露，要么因为员工将机密文档上传到AI工具。

然后是偏见问题。最新的AI算法，尤其是在LLM中，非常复杂。这使得很难确切理解AI系统如何得出结论。对于企业来说，这反过来又难以解释或证明AI工具（如聊天机器人）的行为。

这带来了一系列风险，尤其是对受监管行业和公共部门的企业。监管机构迅速更新现有合规框架以覆盖AI风险，除了欧盟的AI法案等立法。

行业分析师Forrester的研究确定了20多种由GenAI带来的新威胁，其中一些与安全相关。这些包括未能使用安全代码构建AI系统，或恶意行为者篡改AI模型。其他如数据泄露、数据篡改和数据完整性缺失，即使在模型安全的情况下也可能导致监管失败。

“影子AI”的增长使情况更加恶化，即员工非正式地使用AI工具。“最常见的部署可能是企业甚至不知道的，”安全和合规顾问James Bore警告说。“这范围从部门的影子IT，到个人将公司数据输入AI以简化他们的角色。大多数公司尚未充分考虑AI的合规性，即使考虑了，也缺乏防止滥用的控制措施。”

这要求首席信息官（CIO）和数据官审视AI在企业中可能使用的所有方式，并实施控制措施。

企业需要控制的第一个领域是如何将数据用于AI。这适用于模型训练和AI的推理或生产阶段。

企业应检查他们是否有权将数据用于AI目的。这包括版权，尤其是第三方数据。用于AI的个人可识别信息受《通用数据保护条例》（GDPR）和行业法规的约束。组织不应假设现有的数据处理同意涵盖AI应用。

然后是数据质量问题。如果组织使用低质量数据训练模型，结果将不准确或具有误导性。

这反过来又带来合规风险——即使组织使用匿名化数据，这些风险也可能无法消除。

“源数据仍然是企业AI中最被忽视的风险领域之一，”IT和云服务提供商Sify Technologies的首席解决方案官Ralf Lindenlaub警告说。“这些做法不符合英国GDPR和欧盟隐私法，”他说。“匿名化还有一种错误的安全感。许多数据可以被重新识别或带有系统性偏见。”

“全球技术提供商在大型语言模型中使用的公共数据经常不符合欧洲隐私标准。为了使AI真正可靠，组织必须仔细策划和控制他们使用的数据集，尤其是当模型可能影响涉及个人或受监管结果的决策时。”

AI模型运行的位置带来了进一步的复杂性。尽管对本地AI的兴趣在增长，但最常见的LLM是基于云的。公司需要检查他们是否有权将数据移动到云供应商存储的位置。

另一组合规和监管问题适用于AI模型的输出。

最明显的风险是AI的机密结果被泄露或窃取。而且，随着公司将AI系统连接到内部文档或数据源，这种风险增加。

已有案例显示AI用户通过提示恶意或无意中暴露机密信息。一个原因是使用机密数据训练模型，而没有适当的保障措施。

然后是AI模型输出错误的风险。

“AI输出可能看起来自信但完全错误、有偏见，甚至侵犯隐私，”Sify的Lindenlaub警告说。“企业往往低估有缺陷结果的破坏性，从歧视性招聘到错误的法律或财务建议。没有严格的验证和人工监督，这些风险成为运营责任。”

对于“代理”AI系统，风险更大，其中多个模型协同运行业务流程。如果一个模型的输出错误或有偏见，该错误将在代理之间传递时被放大。

监管后果可能很严重，因为一个错误输出可能导致许多客户被拒绝信贷或工作面试。

“AI输出最明显的问题是它们生成语言，而不是信息，”James Bore说。“尽管它们被呈现的方式，LLM不分析，它们没有任何理解，甚至没有事实与虚构的权重，除了在训练时内置的。”

“它们会疯狂地产生幻觉，更糟的是，它们以非常令人信服的方式这样做，因为它们擅长语言，”他补充说。“没有彻底的事实核查——而不是由另一个LLM——它们永远不能被信任。”

企业可以并且确实以合规的方式使用AI，但CIO和首席数字官需要仔细考虑训练、推理以及如何使用AI结果中的合规风险。