访谈：在生成式AI工作流中使用AI代理作为法官

我们与Lloyds银行集团首席数据与分析官Ranil Boteju交谈，探讨该银行如何在面向客户的聊天机器人中运用代理AI。

大约40年前，银行分行经理可能认识每位客户的姓名，并能提供个性化建议和指导。但正如Lloyds银行集团首席数据与分析官Ranil Boteju指出的那样，在当今世界，这种模式无法扩展。

“在财务规划领域，英国大多数人负担不起咨询财务规划师的费用，“他说。训练有素的财务顾问数量也不足以帮助所有寻求建议的人，这就是金融机构正在研究如何部署生成式人工智能（GenAI）来直接支持客户的原因。

但来自超大规模厂商的大语言模型（LLM）和生成式AI相当像黑盒子，可能提供错误的响应，在AI术语中称为"幻觉”。在受金融行为监管局（FCA）监管的行业中，这些都是不可接受的。

令Boteju兴奋的是，通过以某种方式使用人工智能，能够将40年前的银行经理模式扩展到满足当前需求，这种方式使银行有信心认为AI能够理解人们的需求，并以可评估且符合FCA指南的方式给予他们正确的指导。

“对于英国来说，这将是一个巨大的’解锁’，可以为更广泛和更庞大的人群提供高质量的财务指导，“他说。

正如Boteju指出的，银行使用AI已有多年。“我们使用各种机器学习算法进行信用风险评估和欺诈筛查已经超过15年了，“他说。“我们使用聊天机器人也至少有10年了。”

因此，AI在金融服务中是一种非常常用的能力。然而，新的是生成式AI和代理AI。“生成式AI在2022年底随着ChatGPT的出现而爆发。现在已经存在大约两年半了，“Boteju说。

尽管银行拥有AI经验，但他们需要弄清楚如何使用生成式AI和大语言模型。谈到他自己的经验，Boteju说：“我们考虑诸如模型性能以及我们是否使用了正确的算法等问题。”

还有透明度、伦理、防护栏以及AI模型的部署方式。Boteju说：“这些对于大语言模型和传统AI都是共同的。但生成式AI在金融服务中有特定的挑战，因为我们是一个受监管的行业。”

由于生成式AI常常导致幻觉，他说银行在如何将大型行动模型直接暴露给客户方面必须非常谨慎。“我们投入大量精力确保大语言模型的输出正确、准确和透明，并且没有偏见。”

在受监管的行业中，确保AI模型不产生幻觉至关重要。“这可能是我们需要真正意识到的一个关键事项，“他说。

对专业AI模型的需求

正如Boteju指出的，像Google Gemini这样的模型是在所有内容上训练的。“如果你问它一个问题，输出将基于它对所有事物的知识。它已经在大量数据上进行了训练。”

然而，并非所有这些数据都与金融服务相关。通过将AI模型限制在特定于金融服务的数据上，理论上模型应该产生更少的幻觉。

“我们非常强烈地感到，我们希望使用一个或一组专门在与英国相关的金融服务数据上训练的语言模型，“Boteju说。

这导致Lloyds银行集团接触苏格兰初创公司Aveni，以支持开发FinLLM，一个金融服务特定的大语言模型。2024年，该公司从Puma Private Equity获得了1100万英镑的投资，Lloyds和Nationwide参与其中。

讨论与Aveni的合作时，Boteju说Lloyds银行集团不想局限于一个特定模型，因此决定对基础模型采取开放方法。从AI主权的角度来看，他说：“我们不想局限于大型超大规模模型。有一个很棒的开源模型生态系统，我们想鼓励它，而且我们可以在英国创建一个以英国为中心的FinLLM，这是我们觉得非常有吸引力的。”

该银行一直在其审计团队中测试FinLLM，其中由Lloyds银行集团集团审计与行为调查（GA&CI）开发的审计聊天机器人虚拟助手正在改变审计师访问和与审计情报交互的方式。该聊天机器人将生成式AI与集团内部文档系统Atlas集成，使信息检索更快、更智能、更直观。

Boteju说，银行有效地使用FinLLM及其对审计的知识训练了聊天机器人，基于其收集的所有审计数据。

他描述了Lloyds银行集团为减少错误所采取的方法为"代理作为法官”。“你可能有一个特定的模型或代理产生特定的结果，“他说。“然后我们将开发不同的模型和不同的代理来审查这些结果并有效地对它们进行评分。”

该银行一直与Aveni密切合作，开发使用AI代理作为法官来评估其他AI模型输出的方法。

每个结果都由一组不同的模型独立评估。对AI模型输出的审查使Lloyds能够确保它们符合FCA指南以及银行的内部规定。

根据Boteju的说法，检查AI模型的输出是双重确认客户没有收到坏建议的一个非常好的方法，他补充说：“我们正在完善这些防护栏，并且我们必须[拥有这个过程]。”

Boteju指出，无论"代理作为法官"的方法如何，让人类参与循环仍然很重要。“未来，人类在循环中仍然非常有地位，“他说。

不同AI模型在代理AI中的力量

虽然像FinLLM这样的AI模型已经过调整以理解银行业的细节，但Boteju说其他模型在理解人类行为方面要好得多。这意味着银行可以，例如，使用来自超大规模厂商的一个AI模型，如ChatGPT 5或Google Gemini，来理解客户实际在说什么。

“然后我们将使用不同的模型将他们所说的内容分解成组成部分，“他说。然后不同的模型被分配处理客户查询的每个不同部分。“我们对此的思考方式是，有不同的模型具有不同的优势，我们想做的是为每个任务使用最好的模型。”

这种方法就是银行如何看待代理AI的部署。Boteju说，通过代理AI，问题被分解成越来越小的部分，不同的代理对每个部分作出响应。在这里，拥有一个代理作为法官几乎像是第二线的同事充当观察者。