https://blog.qife122.com/tags/%E8%AF%84%E4%BC%B0%E6%A1%86%E6%9E%B6/ Recent content in 评估框架 on 办公AI智能小助手 Hugo zh-cn qife Tue, 04 Nov 2025 10:32:24 +0800 https://blog.qife122.com/p/%E8%B0%B7%E6%AD%8C%E5%8F%91%E5%B8%83llm-evalkit%E4%B8%BA%E6%8F%90%E7%A4%BA%E5%B7%A5%E7%A8%8B%E5%B8%A6%E6%9D%A5%E7%A7%A9%E5%BA%8F%E4%B8%8E%E6%A0%87%E5%87%86%E5%8C%96%E8%AF%84%E4%BC%B0/ Tue, 04 Nov 2025 10:32:24 +0800 https://blog.qife122.com/p/%E8%B0%B7%E6%AD%8C%E5%8F%91%E5%B8%83llm-evalkit%E4%B8%BA%E6%8F%90%E7%A4%BA%E5%B7%A5%E7%A8%8B%E5%B8%A6%E6%9D%A5%E7%A7%A9%E5%BA%8F%E4%B8%8E%E6%A0%87%E5%87%86%E5%8C%96%E8%AF%84%E4%BC%B0/ <p>谷歌推出了LLM-Evalkit，这是一个基于Vertex AI SDK构建的开源框架，旨在使大语言模型的提示工程不再混乱，更具可测量性。这个轻量级工具旨在用统一、数据驱动的工作流程取代分散的文档和基于猜测的迭代。</p> https://blog.qife122.com/p/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%B9%BB%E8%A7%89%E6%A3%80%E6%B5%8B%E6%96%B0%E5%B7%A5%E5%85%B7%E4%B8%8E%E6%95%B0%E6%8D%AE%E9%9B%86%E8%A7%A3%E6%9E%90/ Wed, 24 Sep 2025 21:26:16 +0800 https://blog.qife122.com/p/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%B9%BB%E8%A7%89%E6%A3%80%E6%B5%8B%E6%96%B0%E5%B7%A5%E5%85%B7%E4%B8%8E%E6%95%B0%E6%8D%AE%E9%9B%86%E8%A7%A3%E6%9E%90/ <h1 id="新工具与数据集助力大语言模型幻觉检测">新工具与数据集助力大语言模型幻觉检测</h1> <p>基于知识三元组而非自然语言的事实表示方式，可实现更细粒度的判断。</p> <h2 id="幻觉检测挑战">幻觉检测挑战</h2> <p>尽管大语言模型能力卓越，但其存在显著弱点：容易产生幻觉，即生成听起来合理但事实错误的断言。有时这些幻觉非常细微，例如模型可能生成基本准确但将日期错判一两年的内容。</p>