https://blog.qife122.com/tags/ppo%E7%AE%97%E6%B3%95/ Recent content in PPO算法 on 办公AI智能小助手 Hugo zh-cn qife Fri, 26 Sep 2025 05:50:37 +0800 https://blog.qife122.com/p/%E9%83%A8%E5%88%86%E5%8F%AF%E8%A7%82%E6%B5%8B%E7%8E%AF%E5%A2%83%E4%B8%8B%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E5%9C%A8%E6%B8%97%E9%80%8F%E6%B5%8B%E8%AF%95%E4%B8%AD%E7%9A%84%E9%B2%81%E6%A3%92%E7%AD%96%E7%95%A5%E7%A0%94%E7%A9%B6/ Fri, 26 Sep 2025 05:50:37 +0800 https://blog.qife122.com/p/%E9%83%A8%E5%88%86%E5%8F%AF%E8%A7%82%E6%B5%8B%E7%8E%AF%E5%A2%83%E4%B8%8B%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E5%9C%A8%E6%B8%97%E9%80%8F%E6%B5%8B%E8%AF%95%E4%B8%AD%E7%9A%84%E9%B2%81%E6%A3%92%E7%AD%96%E7%95%A5%E7%A0%94%E7%A9%B6/ <h1 id="在部分可观测环境下学习鲁棒的渗透测试策略系统性评估">在部分可观测环境下学习鲁棒的渗透测试策略：系统性评估</h1> <h2 id="摘要">摘要</h2> <p>渗透测试（通过模拟网络攻击来识别安全漏洞）呈现出一个非常适合强化学习（RL）自动化的序列决策问题。与许多将RL应用于现实问题的场景一样，部分可观测性带来了重大挑战，因为它破坏了马尔可夫决策过程（MDPs）中存在的马尔可夫属性。部分可观测MDPs需要历史聚合或信念状态估计来学习成功的策略。我们研究了在不同规模主机网络上的随机、部分可观测渗透测试场景，旨在通过更具挑战性和代表性的基准测试更好地反映现实世界的复杂性。这种方法有助于开发更鲁棒和可迁移的策略，这对于确保在不同且不可预测的现实环境中具有可靠性能至关重要。</p> https://blog.qife122.com/p/%E6%8E%A2%E7%B4%A2%E4%B8%8E%E5%88%A9%E7%94%A8%E7%9A%84%E5%B9%B3%E8%A1%A1ppo%E7%AE%97%E6%B3%95%E4%B8%AD%E7%86%B5%E5%A5%96%E5%8A%B1%E7%9A%84%E8%B0%83%E4%BC%98%E5%AE%9E%E8%B7%B5/ Sat, 13 Sep 2025 13:47:38 +0800 https://blog.qife122.com/p/%E6%8E%A2%E7%B4%A2%E4%B8%8E%E5%88%A9%E7%94%A8%E7%9A%84%E5%B9%B3%E8%A1%A1ppo%E7%AE%97%E6%B3%95%E4%B8%AD%E7%86%B5%E5%A5%96%E5%8A%B1%E7%9A%84%E8%B0%83%E4%BC%98%E5%AE%9E%E8%B7%B5/ <h1 id="混沌代理breakout基线-3">混沌代理——Breakout基线 #3</h1> <p>正如莎士比亚曾写道：</p> <blockquote> <p>利用还是探索，这是个问题。<br> 是默然忍受已知安全策略的微薄回报，<br> 还是挺身反抗未知状态的海洋，<br> 通过探索发现更好的策略？</p> </blockquote> <p>这家伙真是超前于他的时代啊！今天我们将深入探讨，在我们仍不完美的MinAtar Breakout智能体中，熵奖励如何影响策略动态。希望到最后，我们能找到一些明确的迹象，以判断熵奖励是过高还是过低。</p>