Featured image of post Amazon S3 Storage Lens 增强:性能指标、数十亿前缀分析与导出至 S3 Tables

Amazon S3 Storage Lens 增强:性能指标、数十亿前缀分析与导出至 S3 Tables

本文详细介绍了Amazon S3 Storage Lens新增的三大功能:性能指标、对数十亿前缀的全面分析支持,以及将指标直接导出至S3 Tables。这些增强功能旨在帮助用户优化应用程序性能、降低成本并基于数据驱动制定存储策略。

今天我们宣布为 Amazon S3 Storage Lens 新增三项功能,帮助您更深入地了解存储性能和用量模式。通过新增性能指标、支持分析数十亿前缀以及直接导出到 Amazon S3 Tables,您现在拥有优化应用性能、降低成本以及就 Amazon S3 存储策略做出数据驱动型决策所需的工具。

新的性能指标类别

S3 Storage Lens 现在包含八个新的性能指标类别,帮助您识别并解决整个组织中的性能瓶颈。这些指标可在组织、账户、存储桶和前缀级别使用。例如,该服务可以帮助您识别存储桶或前缀中可能降低应用程序性能的小对象。可以通过批量处理小对象或使用 Amazon S3 Express One Zone 存储类来处理高性能小对象工作负载来缓解此问题。

要访问新的性能指标,您需要在创建新的 Storage Lens 仪表板或编辑现有配置时,在 S3 Storage Lens 高级层中启用性能指标。

指标类别 详情 用例 缓解措施
读取请求大小 每日读取请求大小(GET)的分布 识别导致性能下降的小型读取请求模式的数据集 小型请求:批量处理小对象,或使用 Amazon S3 Express One Zone 处理高性能小对象工作负载
写入请求大小 每日写入请求大小(PUT、POST、COPY、UploadPart)的分布 识别导致性能下降的小型写入请求模式的数据集 大型请求:并行化请求、使用多部分上传(MPU)或使用 AWS CRT
存储大小 对象大小的分布 识别因小对象而降低性能的数据集 小对象大小:考虑捆绑小对象
并发 PUT 503 错误 因同一对象上的并发 PUT 操作而导致的 503 错误数量 识别因并发 PUT 限制而降低性能的前缀 对于单个写入者:修改重试行为或使用 Amazon S3 Express One Zone。
对于多个写入者:使用共识机制或使用 Amazon S3 Express One Zone
跨区域数据传输 跨区域、区域内的字节传输和请求发送 识别因跨区域数据访问可能导致的性能和成本下降 将计算与数据放在同一 AWS 区域
已访问的唯一对象 每日访问的唯一对象的数量或百分比 识别其中一小部分对象被频繁访问的数据集。可将这些数据移至更高性能的存储层以获得更好性能 考虑将活动数据移至 Amazon S3 Express One Zone 或其他缓存解决方案
首字节延迟(现有的 Amazon CloudWatch 指标) 首字节延迟指标的每日平均值 从完整请求被接受到开始返回响应,每个请求的平均时间
总请求延迟(现有的 Amazon CloudWatch 指标) 总请求延迟的每日平均值 从接收第一个字节到发送最后一个字节,每个请求的平均耗时

工作原理 在 Amazon S3 控制台上,我选择“创建 Storage Lens 仪表板”来创建一个新的仪表板。您也可以编辑现有的仪表板配置。然后,我配置常规设置,例如提供仪表板名称、状态和可选的标签。然后,我选择“下一步”。

接下来,我通过选择“包括所有区域”和“包括所有存储桶”并指定要包含的区域和存储桶来定义仪表板的范围。

我在 Storage Lens 仪表板配置中选择加入“高级层”,选择“性能指标”,然后选择“下一步”。

接着,我选择“前缀聚合”作为额外的指标聚合方式,然后保持其余信息为默认值,之后选择“下一步”。

我选择“默认指标报告”,然后选择“通用用途存储桶”作为存储桶类型,并选择我 AWS 账户中的 Amazon S3 存储桶作为“目标存储桶”。其余信息保持默认,然后选择“下一步”。

在最终完成该过程之前,我审查所有信息,然后选择“提交”。

启用后,我将在 Storage Lens 控制台仪表板中直接收到每日性能指标。您也可以选择以 CSV 或 Parquet 格式将报告导出到您账户中的任何存储桶,或发布到 Amazon CloudWatch。性能指标每日聚合和发布一次,并将在多个级别可用:组织、账户、存储桶和前缀。在此下拉菜单中,我选择“% 并发 PUT 503 错误”作为指标,“最近 30 天”作为日期范围,“10”作为 Top N 存储桶数量。

“并发 PUT 503 错误计数”指标跟踪对同一对象进行同时 PUT 操作产生的 503 错误数量。限制错误可能会降低应用程序性能。对于单个写入者,修改重试行为或使用 Amazon S3 Express One Zone 等更高性能的存储层来缓解并发 PUT 503 错误。对于多个写入者场景,使用共识机制来避免并发 PUT 503 错误,或使用 Amazon S3 Express One Zone 等更高性能的存储层。

针对 S3 存储桶中所有前缀的完整分析

S3 Storage Lens 现在通过新的“扩展前缀指标报告”支持对 S3 存储桶中所有前缀进行分析。此功能消除了之前将分析限制在满足 1% 大小阈值且最大深度为 10 层的前缀的限制。您现在可以跟踪每个存储桶多达数十亿个前缀,以便在最细粒度的前缀级别进行分析,无论大小或深度如何。

“扩展前缀指标报告”包含所有现有的 S3 Storage Lens 指标类别:存储用量、活动指标(请求和传输的字节数)、数据保护指标和详细的状态代码指标。

如何开始 我按照“工作原理”部分概述的相同步骤来创建或更新 Storage Lens 仪表板。在控制台的步骤 4 中,您可以选择导出选项,在那里您可以选择新的“扩展前缀指标报告”。之后,我可以将扩展前缀指标报告以 CSV 或 Parquet 格式导出到账户中的任何通用用途存储桶,以便高效查询我的 Storage Lens 数据。

须知 此增强功能解决了组织需要在整个前缀结构中实现细粒度可见性的场景。例如,您可以识别具有未完成的多部分上传的前缀以降低成本,跟踪整个前缀结构以符合加密和复制要求,并在最细粒度级别检测性能问题。

将 S3 Storage Lens 指标导出到 S3 Tables

S3 Storage Lens 指标现在可以自动导出到 S3 Tables,这是 AWS 上内置 Apache Iceberg 支持的完全托管功能。此集成提供了每日自动将指标交付到 AWS 托管的 S3 Tables 的功能,无需额外的处理基础设施即可立即查询。

如何开始 我首先按照控制台步骤 5 中概述的流程操作,在该步骤中选择导出目标。这次,我选择“扩展前缀指标报告”。除了“通用用途存储桶”外,我还选择“表存储桶”。

新的 Storage Lens 指标将导出到 AWS 托管存储桶 aws-s3 中的新表。

我选择 expanded_prefixes_activity_metrics 表来查看扩展前缀报告的 API 使用指标。

我可以在 Amazon S3 控制台上预览该表,或者使用 Amazon Athena 来查询该表。

须知 S3 Tables 与 S3 Storage Lens 的集成简化了使用熟悉的 SQL 工具和 AWS 分析服务(如 Amazon Athena、Amazon QuickSight、Amazon EMR 和 Amazon Redshift)进行的指标分析,无需数据管道。指标会自动组织以优化查询,并提供自定义保留期和加密选项以满足您的需求。

此集成支持跨账户和跨区域分析、自定义仪表板创建,以及与其他 AWS 服务的数据关联。例如,您可以将 Storage Lens 指标与 S3 元数据结合使用,以分析前缀级别的活动模式,并识别冷数据前缀中可迁移到低成本存储层的对象。

对于您的智能体 AI 工作流,您可以使用自然语言通过 S3 Tables MCP 服务器查询 S3 Tables 中的 S3 Storage Lens 指标。智能体可以提出诸如“上个月哪个存储桶增长最多?”或“按存储类别显示存储成本”等问题,并从您的可观测性数据中即时获得洞察。

现已推出

所有三项增强功能均已在当前提供 S3 Storage Lens 的所有 AWS 区域(中国区域和 AWS GovCloud(美国)除外)推出。

这些功能包含在 Amazon S3 Storage Lens 高级层中,除标准高级层定价外,不收取额外费用。对于 S3 Tables 导出,您只需支付 S3 Tables 存储、维护和查询的费用。导出功能本身不收取额外费用。

要了解有关 Amazon S3 Storage Lens 性能指标、对数十亿前缀的支持以及导出到 S3 Tables 的更多信息,请参阅 Amazon S3 用户指南。有关定价详情,请访问 Amazon S3 定价页面

comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计