AI治理框架的实践之路
并非每家公司都具备Intuit旗下Credit Karma的规模与技术实力，但该公司数据科学负责人为其他企业规划AI治理框架提供了可借鉴的起点。
Credit Karma能够使用Intuit的GenOS AI操作系统，该系统包含AI模型、智能体和软件开发工具目录。在GenOS的辅助下，Credit Karma团队近期创建了多智能体系统，在允许AI输出进入生产环境前自动进行审查。
这些技术构成了由Credit Karma数据科学与工程高级总监Madelaine Daianu领导的AI合规计划的基础。但她强调，这些努力始于人工协作实践，这是所有公司都能够且必须效仿的，因为每个企业和行业都需要制定量身定制的方法。
“在创新与安全、合规或任何相关因素之间找到平衡至关重要，在快速推进前适当放缓脚步非常关键，“Daianu表示，“让内部红队去破坏LLM生成的响应并从中学习，为您的用例开发全面、定制的评估框架。”
五步评估框架
在Credit Karma，通过红队测试打破由大语言模型驱动的工作流并识别其弱点后，团队设计了一套五步AI治理评估框架：
- 响应质量与准确性
- AI安全性（包括偏见检测）
- 合规性（主要涉及向平台用户展示信用卡和贷款信息时符合合作伙伴的合同期望）
- 数据来源与准确性
- 系统指标（如成本与延迟）
“在这个框架中，合规性环节需要我们极度创新，因为手动检查LLM生成的摘要将耗费大量时间，“Daianu解释说，“例如对于信用卡，我们需要确保准确呈现该卡与合作伙伴品牌对应的权益。为此，我们必须从摘要中提取与利率或费用相关的字段。”
多智能体系统的应用
这正是多智能体系统的用武之地。 specialized AI智能体检查LLM生成摘要中的每个特定数据字段，确保其向用户的展示符合合作伙伴品牌要求。在评估框架的这个及其他阶段，LLM还被用于评判智能体组的整体响应质量。
这些模型通过Credit Karma客户成功团队的人工反馈进行训练，该团队仍会执行抽查。据Daianu介绍，AI智能体只是将评估过程重新应用于新摘要，速度提升高达50倍。
然而，Daianu强调在评估AI工具时避免过度使用同样重要：“我们在框架的某些环节使用GenAI作为评判者，特别是在合规方面，但并非所有环节都适用。对于AI安全性，我们可以使用传统机器学习。不过度依赖GenAI很重要，因为这通常能提供更好的准确性、可解释性，且不那么像黑箱。”