https://blog.qife122.com/tags/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E8%AF%84%E4%BC%B0/ Recent content in 人工智能评估 on 办公AI智能小助手 Hugo zh-cn qife Sun, 09 Nov 2025 17:55:09 +0800 https://blog.qife122.com/p/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%A6%82%E4%BD%95%E8%AF%84%E4%BC%B0%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8Bllm%E8%AF%84%E4%BC%B0%E6%8A%80%E6%9C%AF%E6%B7%B1%E5%BA%A6%E8%A7%A3%E6%9E%90/ Sun, 09 Nov 2025 17:55:09 +0800 https://blog.qife122.com/p/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%A6%82%E4%BD%95%E8%AF%84%E4%BC%B0%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8Bllm%E8%AF%84%E4%BC%B0%E6%8A%80%E6%9C%AF%E6%B7%B1%E5%BA%A6%E8%A7%A3%E6%9E%90/ <h1 id="谁来看守看守者llm对llm评估的探讨">谁来看守看守者？LLM对LLM评估的探讨</h1> <p>虽然使用LLM来评判LLM输出可能看起来像是让狐狸看守鸡舍，但事实证明这种方法效果相当不错（而且比人类评估更具扩展性）。</p> <p>随着生成式AI被更广泛地实施，特别是在生产应用中，工程师们正在思考如何使他们的应用程序更可靠。随着开发人员使用LLM并对其更加熟悉，他们意识到不能盲目信任这些模型产生的内容。我们的2025年开发者调查发现，AI采用率正在增加，而对AI的信任和好感度却在下降。光环已经褪去，因此工程团队现在正在寻找构建可信系统的机制。</p> https://blog.qife122.com/p/%E4%BD%BF%E7%94%A8vertex-genai%E8%AF%84%E4%BC%B0%E6%9C%8D%E5%8A%A1%E6%8F%90%E5%8D%87llm%E8%B4%A8%E9%87%8F%E4%B8%8E%E5%8F%AF%E8%A7%A3%E9%87%8A%E6%80%A7/ Sun, 05 Oct 2025 09:15:18 +0800 https://blog.qife122.com/p/%E4%BD%BF%E7%94%A8vertex-genai%E8%AF%84%E4%BC%B0%E6%9C%8D%E5%8A%A1%E6%8F%90%E5%8D%87llm%E8%B4%A8%E9%87%8F%E4%B8%8E%E5%8F%AF%E8%A7%A3%E9%87%8A%E6%80%A7/ <h2 id="提升llm质量与可解释性vertex-genai评估服务实践">提升LLM质量与可解释性：Vertex GenAI评估服务实践</h2> <p>开发者在利用大语言模型（LLM）时常面临两个关键挑战：管理输出的固有随机性，以及处理偶尔产生事实错误信息的倾向。就像掷骰子一样，LLM具有一定不可预测性，即使给定相同提示也会生成不同响应。虽然这种随机性能激发创造力，但在需要一致性或事实准确性的场景中却可能成为障碍。此外，LLM偶尔出现的&quot;幻觉&quot;现象——即自信地提供错误信息——会削弱对其能力的信任。</p> https://blog.qife122.com/p/heal%E6%A1%86%E6%9E%B6%E8%AF%84%E4%BC%B0%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E6%A8%A1%E5%9E%8B%E5%9C%A8%E5%81%A5%E5%BA%B7%E5%85%AC%E5%B9%B3%E6%80%A7%E4%B8%AD%E7%9A%84%E8%A1%A8%E7%8E%B0/ Fri, 03 Oct 2025 09:51:51 +0800 https://blog.qife122.com/p/heal%E6%A1%86%E6%9E%B6%E8%AF%84%E4%BC%B0%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E6%A8%A1%E5%9E%8B%E5%9C%A8%E5%81%A5%E5%BA%B7%E5%85%AC%E5%B9%B3%E6%80%A7%E4%B8%AD%E7%9A%84%E8%A1%A8%E7%8E%B0/ <h1 id="heal机器学习性能健康公平性评估框架">HEAL：机器学习性能健康公平性评估框架</h1> <p>今天，我们介绍健康公平性机器学习性能评估（HEAL），这是一个新颖的评估框架，旨在定量评估基于机器学习的健康工具的性能是否公平。我们提出了一个4步流程，用于估计机器学习工具在平均健康结果较差的群体中表现优于其他群体的可能性，目标是指导改进，使健康AI技术更加公平。</p> https://blog.qife122.com/p/%E5%88%A9%E7%94%A8%E5%A4%9A%E6%A8%A1%E5%9E%8B%E9%99%AA%E5%AE%A1%E5%9B%A2%E7%B3%BB%E7%BB%9F%E5%AE%9E%E7%8E%B0%E9%9D%9E%E7%BB%93%E6%9E%84%E5%8C%96%E6%96%87%E6%9C%AC%E5%88%86%E6%9E%90/ Mon, 15 Sep 2025 01:05:42 +0800 https://blog.qife122.com/p/%E5%88%A9%E7%94%A8%E5%A4%9A%E6%A8%A1%E5%9E%8B%E9%99%AA%E5%AE%A1%E5%9B%A2%E7%B3%BB%E7%BB%9F%E5%AE%9E%E7%8E%B0%E9%9D%9E%E7%BB%93%E6%9E%84%E5%8C%96%E6%96%87%E6%9C%AC%E5%88%86%E6%9E%90/ <h1 id="ai评判ai通过多模型陪审团系统扩展非结构化文本分析">AI评判AI：通过多模型陪审团系统扩展非结构化文本分析</h1> <p>随着越来越多机构采用生成式AI（尤其是大语言模型）处理各类应用，一个新的挑战随之出现：如何确保这些AI模型的输出符合人类视角，且准确契合业务场景。手动分析大规模数据集耗时耗力，例如人工审查2000条评论可能需要超过80小时。大语言模型为文本标注、摘要生成甚至评估其他AI系统输出提供了可扩展的解决方案。</p> https://blog.qife122.com/p/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%9F%BA%E5%87%86%E6%B5%8B%E8%AF%95%E6%B7%B1%E5%BA%A6%E8%A7%A3%E6%9E%90/ Tue, 09 Sep 2025 10:39:15 +0800 https://blog.qife122.com/p/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%9F%BA%E5%87%86%E6%B5%8B%E8%AF%95%E6%B7%B1%E5%BA%A6%E8%A7%A3%E6%9E%90/ <h1 id="大语言模型基准测试深度解析">大语言模型基准测试深度解析</h1> <h2 id="评估框架概述">评估框架概述</h2> <p>大语言模型（LLMs）已迅速发展成为从对话式人工智能到复杂推理任务等各种应用的核心组成部分。然而，随着模型规模和能力的增长，有效评估其性能变得日益困难。传统的基准测试指标如困惑度和BLEU分数往往无法捕捉真实交互的细微差别，这使得人类对齐的评估框架变得至关重要。</p> https://blog.qife122.com/p/%E6%97%A5%E6%9C%AC%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E4%B8%AD%E7%9A%84%E4%BA%A4%E5%8F%89%E5%81%8F%E8%A7%81%E7%A0%94%E7%A9%B6/ Sat, 06 Sep 2025 07:35:14 +0800 https://blog.qife122.com/p/%E6%97%A5%E6%9C%AC%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E4%B8%AD%E7%9A%84%E4%BA%A4%E5%8F%89%E5%81%8F%E8%A7%81%E7%A0%94%E7%A9%B6/ <h1 id="日本大语言模型中基于情境化视角的交叉偏见研究">日本大语言模型中基于情境化视角的交叉偏见研究</h1> <p>随着大语言模型（LLMs）的快速发展，越来越多研究开始关注其社会偏见问题。尽管大多数研究集中于单一社会属性引发的偏见，但社会科学研究表明，社会偏见往往以交叉性形式出现——即由社会属性引发的构成性和情境化偏见视角。</p> https://blog.qife122.com/p/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%9F%BA%E5%87%86%E6%B5%8B%E8%AF%95%E6%B7%B1%E5%BA%A6%E8%A7%A3%E6%9E%90/ Sat, 06 Sep 2025 04:33:45 +0800 https://blog.qife122.com/p/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%9F%BA%E5%87%86%E6%B5%8B%E8%AF%95%E6%B7%B1%E5%BA%A6%E8%A7%A3%E6%9E%90/ <p>大型语言模型（LLMs）的快速发展使其成为从对话式AI到复杂推理任务等各种应用的核心组成部分。然而，随着模型规模和能力的增长，有效评估其性能变得愈发困难。传统的基准指标如困惑度和BLEU分数往往难以捕捉真实交互的细微差别，这使得人类对齐的评估框架变得至关重要。</p>