https://blog.qife122.com/tags/%E5%88%86%E5%B1%82%E7%A9%BA%E9%97%B4/ Recent content in 分层空间 on 办公AI智能小助手 Hugo zh-cn qife Thu, 11 Sep 2025 14:14:05 +0800 https://blog.qife122.com/p/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E6%B8%B8%E6%88%8F%E7%9A%84%E5%88%86%E5%B1%82%E7%A9%BA%E9%97%B4%E7%BB%93%E6%9E%84%E4%B8%8E%E4%BD%93%E7%A7%AF%E5%A2%9E%E9%95%BF%E5%8F%98%E6%8D%A2%E6%8E%A2%E7%B4%A2/ Thu, 11 Sep 2025 14:14:05 +0800 https://blog.qife122.com/p/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E6%B8%B8%E6%88%8F%E7%9A%84%E5%88%86%E5%B1%82%E7%A9%BA%E9%97%B4%E7%BB%93%E6%9E%84%E4%B8%8E%E4%BD%93%E7%A7%AF%E5%A2%9E%E9%95%BF%E5%8F%98%E6%8D%A2%E6%8E%A2%E7%B4%A2/ <h2 id="摘要">摘要</h2> <p>本研究探索了基于Transformer的近端策略优化（PPO）模型在强化学习游戏中的嵌入空间结构。通过将Robinson等人针对大语言模型的体积增长变换方法适配至强化学习场景，发现视觉硬币收集游戏的令牌嵌入空间并非流形结构，而更适合建模为局部维度随点变化的分层空间。研究进一步证明广义体积增长曲线可通过分层空间实现，并分析表明智能体在行动时，其潜在表征会在低局部维度（固定子策略执行）和高局部维度（达成子目标或环境复杂度提升）之间交替变化。</p>