https://blog.qife122.com/tags/%E8%8A%82%E8%83%BD%E8%AE%A1%E7%AE%97/ Recent content in 节能计算 on 办公AI智能小助手 Hugo zh-cn qife Fri, 12 Sep 2025 16:47:03 +0800 https://blog.qife122.com/p/%E6%97%A0%E9%9C%80%E4%B9%98%E6%B3%95%E7%9A%84%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6ecotransformer%E8%A7%A3%E6%9E%90/ Fri, 12 Sep 2025 16:47:03 +0800 https://blog.qife122.com/p/%E6%97%A0%E9%9C%80%E4%B9%98%E6%B3%95%E7%9A%84%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6ecotransformer%E8%A7%A3%E6%9E%90/ <h1 id="ecotransformer无需乘法的注意力机制">EcoTransformer：无需乘法的注意力机制</h1> <p>Transformer凭借其缩放点积注意力机制已成为现代AI的基础架构。然而，该机制计算密集且能耗较高。提出了一种新型Transformer架构EcoTransformer，其中输出上下文向量通过使用拉普拉斯核对值进行卷积构建，其中距离通过查询和键之间的L1度量计算。</p>