警方AI报告工具自动删除使用痕迹，引发问责危机
电子前沿基金会（EFF）周四发布了一项全面调查，指控AI生成的警方报告在设计上几乎无法审计，并可能使警察更容易在宣誓下撒谎。
Axon公司的Draft One工具于去年夏天在科罗拉多州警察部门首次亮相，立即引发了人们对AI撰写警方报告可能对刑事司法系统造成负面影响的担忧。该工具依赖ChatGPT变体根据随身摄像机音频生成警方报告，警察随后应编辑报告以纠正错误、评估AI输出的偏见或添加上下文。
但EFF发现，该技术“似乎旨在阻碍任何审计、透明度和问责制的尝试”。警察不必在每个部门都披露AI的使用情况，且Draft One不保存草稿或记录显示报告的哪些部分是由AI生成的。部门也不保留草稿的不同版本，这使得难以评估AI报告的不同版本如何比较，以帮助公众确定该技术是否是“垃圾”，EFF表示。EFF提出疑问：“为什么机构不想维护可以证明技术准确性的记录？”
目前很难知道警察是在编辑报告还是“反射性地批准草稿以尽快继续”，EFF说。这尤其令人担忧，因为Axon向至少一个警察部门披露，“已经有一次工程师发现了一个漏洞，允许警察在至少三次场合绕过‘护栏’，这些护栏本应阻止警察在未阅读的情况下提交AI生成的报告。”
AI工具还可能“在音频解释上越界”，可能误解俚语或添加从未发生的上下文。
EFF表示，一个“主要担忧”是AI报告可以给警察一个“烟幕”，甚至可能允许他们通过将报告中的“偏见语言、不准确、误解或谎言”归咎于AI工具来逃避在法庭上撒谎的后果。
“没有记录显示罪魁祸首是警察还是AI，”EFF说。“这使得评估系统如何随时间影响司法结果变得极其困难，甚至不可能。”
根据EFF，Draft One“似乎故意设计为避免可能向公众提供任何问责的审计”。在EFF审查的一次圆桌讨论视频中，Axon的高级生成式AI产品经理吹捧Draft One的消失草稿作为一个功能，解释说：“我们不存储原始草稿，这是设计上的，因为这确实是我们最不想做的事情，为我们的客户和律师办公室制造更多披露麻烦。”
EFF将此解释为Axon“最不想要”的是“警察必须向任何人（例如法官、辩护律师或公民自由非营利组织）提供这些数据”。
“为服务和保护公共利益，AI输出必须在其使用的任何时间和地点持续和积极评估，”EFF说。“但Axon故意使这变得困难。”
EFF呼吁全国范围努力监控AI生成的警方报告，预计未来几年将在许多城市越来越多地部署，并发布了一份指南，帮助记者和其他人提交记录请求以监控他们地区的警察使用。但“不幸的是，获取这些记录并不容易，”EFF的调查确认。“在许多情况下，这完全不可能。”
Axon发言人向Ars提供了一份声明： Draft One帮助警官严格根据随身摄像机录音的音频转录起草初始报告叙述，并包括一系列保障措施，包括在关键点的强制性人为决策和关于其使用的透明度。与不是由Draft One生成的叙述报告一样，警官对内容负全部责任。每份报告必须由人类警官编辑、审查和批准，确保准确性和问责制。Draft One旨在镜像现有的警方叙述过程——其中，正如长期标准，只有最终批准的报告被保存和可发现，而不是警官或主管审查期间进行的中间编辑、添加或删除。
从第一天起，每当使用Draft One生成初始叙述时，其使用都存储在Axon Evidence的不可更改数字审计跟踪中，机构可以在任何报告上检索。默认情况下，每个Draft One报告还包括一个可定制的免责声明，可以根据机构政策出现在报告的开头或结尾。我们最近增加了机构导出Draft One使用报告的能力——显示每个用户生成和提交了多少草稿——并运行关于哪些特定证据项目与Draft One一起使用的报告，进一步支持透明度和监督。Axon致力于与警察机构、检察官、辩护律师、社区倡导者和其他利益相关者持续合作，收集意见并指导Draft One和AI技术在司法系统中的负责任演变，包括随着法律变化而进行的更改。
“警察不应使用AI” 预计Axon的工具可能会快速传播——作为节省时间的附加服务向已经依赖Axon的电击枪和随身摄像机的警察部门营销——EFF的高级政策分析师Matthew Guariglia告诉Ars，EFF迅速制定了跟踪新技术采用的计划。
春季期间，EFF向数十个被认为使用Draft One的警察部门发送了公共记录请求。为了制作请求，他们还审查了Axon用户手册和其他材料。
在新闻稿中，EFF确认调查“发现产品提供微弱的监督功能”，包括一个几乎无用的“审计日志”功能，似乎与围绕数据保留的警察规范相矛盾。
也许最明显的是，Axon的工具不允许部门“导出所有使用Draft One的警察列表”，EFF指出，甚至“导出所有由Draft One创建的报告列表，除非部门自定义其过程”。相反，Axon只允许导出显示在特定报告上采取的行动或个别用户在系统中的基本活动（如登录和上传）的基本日志。这使得“即使是最基本的统计分析也几乎不可能：有多少警官使用该技术以及使用频率，”EFF说。
EFF发现，任何处理数字的努力都将耗时。在一些部门，可以查找个别警察的记录以确定他们何时使用Draft One，但这“可能意味着梳理数十、数百或有时数千个个别用户日志”。并且考虑到“任何给定机构生成的报告数量巨大”，逐个分类报告将需要类似“大量时间”，EFF指出。
在一些司法管辖区，警察被要求披露何时使用AI生成报告。EFF发现，一些部门要求这一点，这使得文档更易于搜索，进而使一些警察部门更可能响应公共记录请求而不收取过高费用或要求大量延迟。但至少印第安纳州的一个部门告诉EFF，“我们没有能力创建通过Draft One创建的报告列表。它们不可搜索。”
虽然并非每个警察都可以搜索他们的Draft One报告，但Axon可以，EFF报道，暗示公司可以比警察自己更好地跟踪警察使用该工具的情况。
EFF希望其报道将减少对 shady AI生成的警方报告的日益依赖，Guariglia告诉Ars，如果没有干预，这在美国警务中可能变得更加普遍。
在加利福尼亚州，一些警察长期使用Draft One，已提出一项法案，要求披露澄清警方报告的哪些部分是AI生成的。该法律如果通过，还将“要求保留创建的初稿，只要最终报告被保留”，Guariglia告诉Ars，这将使Draft One按当前设计自动非法。EFF指出，犹他州正在权衡一个类似但不那么稳健的倡议。
Guariglia告诉Ars，EFF已经与公设辩护人交谈，他们担心AI生成的警方报告的扩散如何“影响交叉询问”，通过可能给警察一个简单的替罪羊当被指控在法庭上撒谎时。
为避免问题 entirely，至少华盛顿州金县的一个地区检察官办公室已禁止AI警方报告， citing“对市场上一些产品的合法担忧”。Guariglia告诉Ars，地区检察官的一个主要担忧是使用AI工具可能“危及案件”。EFF现在敦促“其他检察官效仿并要求他们管辖区的警察不要释放这种新的、无问责的、故意不透明的AI产品。”
“警察不应使用AI编写警方报告，”Guariglia说。“关于AI如何翻译情境音频、警察是否会实际编辑这些草稿以及公众是否能够分辨什么是由人编写和什么是由计算机编写的问题太多未解答。这甚至在我们还没有谈到这些报告如何可能导致已经不公平和不透明的刑事司法系统中的问题之前。”
这个故事已更新以包括Axon的声明。