https://blog.qife122.com/tags/sparksql/ Recent content in SparkSQL on 办公AI智能小助手 Hugo zh-cn qife Thu, 11 Sep 2025 06:27:19 +0800 https://blog.qife122.com/p/%E4%BD%BF%E7%94%A8apache-iceberg%E6%9E%84%E5%BB%BA%E5%8F%AF%E5%A4%8D%E7%8E%B0ml%E7%B3%BB%E7%BB%9F/ Thu, 11 Sep 2025 06:27:19 +0800 https://blog.qife122.com/p/%E4%BD%BF%E7%94%A8apache-iceberg%E6%9E%84%E5%BB%BA%E5%8F%AF%E5%A4%8D%E7%8E%B0ml%E7%B3%BB%E7%BB%9F/ <h2 id="构建可复现的ml系统apache-iceberg与sparksql开源基础">构建可复现的ML系统：Apache Iceberg与SparkSQL开源基础</h2> <h3 id="机器学习数据可复现性问题">机器学习数据可复现性问题</h3> <h4 id="常见痛点">常见痛点</h4> <p>数据漂移悄无声息地发生：特征分布随时间变化，直到模型开始做出不合理预测时才被发现。特征管道本应是确定性的，但实际上并非如此；由于时间戳逻辑或竞态条件，相同管道运行两次会产生微妙不同的输出。</p>