警方最爱的AI工具自动删除AI使用证据

电子前沿基金会（EFF）周四发布了一项全面调查，指控AI生成的警察报告在设计上几乎无法审计，可能使警察更容易在宣誓下说谎。

Axon的Draft One去年夏天在科罗拉多州警察局首次亮相，立即引发人们对AI撰写警察报告可能对刑事司法系统造成负面影响的担忧。该工具依赖ChatGPT变体根据随身摄像机音频生成警察报告，警察随后应编辑报告以纠正错误、评估AI输出的偏见或添加上下文。

但EFF发现该技术"似乎旨在阻碍任何审计、透明度和问责制的尝试"。警察不必在每个部门披露何时使用AI，Draft One不保存草稿或保留显示报告哪些部分由AI生成的记录。

设计缺陷阻碍透明度

部门也不保留不同版本的草稿，使得难以评估一个AI报告版本与另一个版本的比较，以帮助公众确定该技术是否是"垃圾"，EFF表示。这引发了问题，EFF提出：“为什么机构不想维护可以确定技术准确性的记录？”

目前很难知道警察是在编辑报告还是"反射性地橡皮图章草稿以尽快继续"，EFF说。这尤其令人不安，EFF指出，因为Axon向至少一个警察部门披露，“已经有一次工程师发现了一个错误，允许官员在至少三次场合绕过’护栏’，这些护栏本应阻止官员在未阅读的情况下提交AI生成的报告。”

AI可能越权解释音频

AI工具还可能"越权解释音频"，可能误解俚语或添加上下文。

EFF表示，一个"主要担忧"是AI报告可以给警察一个"烟幕"，甚至可能允许他们通过将报告中的任何"偏见语言、不准确、误解或谎言"归咎于AI工具来逃避在法庭上撒谎的后果。

“没有记录显示罪魁祸首是警官还是AI，“EFF说。“这使得评估系统如何随时间影响司法结果变得极其困难，如果不是不可能的话。”

故意避免审计的设计

根据EFF，Draft One"似乎故意设计为避免可能向公众提供任何问责制的审计”。在EFF审查的一次圆桌讨论视频中，Axon生成式AI高级首席产品经理吹捧Draft One的消失草稿作为一个功能，解释说：“我们不存储原始草稿，这是设计上的，这确实是因为我们最不想做的就是为我们的客户和律师办公室制造更多的披露头痛。”

EFF将其解释为意味着Axon"最不想要"的是"警察必须向任何人（比如法官、辩护律师或公民自由非营利组织）提供这些数据。”

“为了服务和保护公共利益，AI输出必须在其使用的任何时间和地点持续和积极地评估，“EFF说。“但Axon故意使这变得困难。”

全国监控呼吁

EFF呼吁全国努力监控AI生成的警察报告，预计未来几年将在许多城市越来越多地部署，并发布了一份指南，帮助记者和其他人提交记录请求以监控其地区的警察使用。但"不幸的是，获取这些记录并不容易，“EFF的调查确认。“在许多情况下，这完全是不可能的。”

Axon的回应

Axon发言人向Ars提供了一份声明： Draft One帮助警官严格根据随身摄像机录音的音频转录起草初始报告叙述，并包括一系列保障措施，包括在关键点的强制性人类决策和关于其使用的透明度。与不是由Draft One生成的叙述报告一样，警官对内容负全部责任。每份报告必须由人类警官编辑、审查和批准，确保准确性和问责制。Draft One旨在镜像现有的警察叙述过程——长期以来，只有最终批准的报告被保存和可发现，而不是警官或主管审查期间进行的中间编辑、添加或删除。

从第一天起，每当使用Draft One生成初始叙述时，其使用都存储在Axon Evidence的不可更改数字审计跟踪中，机构可以在任何报告上检索。默认情况下，每个Draft One报告还包括一个可定制的免责声明，可以根据机构政策出现在报告的开头或结尾。我们最近增加了机构导出Draft One使用报告的能力——显示每个用户生成和提交了多少草稿——并运行关于哪些特定证据项目与Draft One一起使用的报告，进一步支持透明度和监督。Axon致力于与警察机构、检察官、辩护律师、社区倡导者和其他利益相关者持续合作，收集意见并指导Draft One和AI技术在司法系统中的负责任演变，包括随着法律变化的变化。

“警察不应使用AI”

预计Axon的工具可能会快速传播——作为节省时间的附加服务向已经依赖Axon获取电击枪和随身摄像机的警察部门营销——EFF的高级政策分析师Matthew Guariglia告诉Ars，EFF迅速制定了跟踪新技术采用的计划。

春季，EFF向数十个被认为使用Draft One的警察部门发送了公共记录请求。为了制作请求，他们还审查了Axon用户手册和其他材料。

在新闻稿中，EFF确认调查"发现产品提供微弱的监督功能”，包括一个实际上无用的"审计日志"功能，似乎与围绕数据保留的警察规范相矛盾。

基本统计分析几乎不可能

也许最明显的是，Axon的工具不允许部门"导出所有使用Draft One的警察列表，“EFF指出，甚至"导出所有由Draft One创建的报告列表，除非部门自定义其过程。“相反，Axon只允许导出显示在特定报告上采取的行动或个别用户在系统中的基本活动（如登录和上传）的基本日志。这使得"甚至最基本的统计分析也几乎不可能：多少官员使用该技术以及使用频率，“EFF说。

EFF发现，任何处理数字的努力都将耗时。在一些部门，可以查找个别警察的记录以确定他们何时使用Draft One，但这"可能意味着梳理数十、数百或有时数千个个别用户日志。“EFF指出，考虑到任何给定机构"生成的报告数量庞大”，逐一分类报告将需要类似"大量时间”。

各州响应立法

在一些司法管辖区，警察被要求披露何时使用AI生成报告。EFF发现，一些部门要求它，这使得文件更易于搜索，进而使一些警察部门更可能响应公共记录请求而不收取过高费用或要求大量延迟。但印第安纳州至少一个部门告诉EFF，“我们没有能力创建通过Draft One创建的报告列表。它们不可搜索。”

虽然不是每个警察都能搜索他们的Draft One报告，但Axon可以，EFF报道，建议公司可以比警察自己更好地跟踪警察使用该工具的程度。

EFF希望其报道将减少对 shady AI生成的警察报告日益增长的依赖，Guariglia告诉Ars，如果没有干预，这在美国警务中可能变得更加普遍。

在加利福尼亚州，一些警察长期使用Draft One，已经提出一项法案，要求披露澄清警察报告的哪些部分由AI生成。该法律如果通过，还将"要求保留创建的初稿，只要最终报告被保留，“Guariglia告诉Ars，这将使Draft One按当前设计自动非法。EFF指出，犹他州正在权衡一个类似但不那么稳健的倡议。

对交叉询问的担忧

Guariglia告诉Ars，EFF已经与公设辩护人交谈，他们担心AI生成的警察报告的扩散如何"影响交叉询问”，可能给警察一个简单的替罪羊当被指控在法庭上撒谎时。

为了避免问题 entirely，华盛顿州金县至少一个地区检察官办公室已经禁止AI警察报告， citing “对市场上一些产品的合法担忧。“Guariglia告诉Ars，地区检察官的一个主要担忧是使用AI工具可能"危及案件。“EFF现在敦促"其他检察官效仿并要求其管辖区的警察不要释放这种新的、无问责制的和故意不透明的AI产品。”

“警察不应使用AI编写警察报告，“Guariglia说。“关于AI如何翻译情境音频、警察是否会实际编辑这些草稿以及公众是否能够分辨什么是由人编写和什么是由计算机编写的问题太多未解答。这甚至在我们开始讨论这些报告如何可能导致已经不公平和不透明的刑事司法系统中的问题之前。”

这个故事已更新以包括Axon的声明。