使用Amazon Q Developer和Jellyfish衡量开发者生产力

现代软件开发团队面临着在管理日益增长的系统复杂性的同时，更快交付高质量代码的压力。开发人员经常花费大量时间在必要但无差别的工作或"苦工"上。苦工通常是手动、重复且持久价值有限的工作，使其成为自动化或委托给生成式AI工具的强有力候选。re:Invent 2024会议"释放生成式AI：Amazon与Amazon Q Developer的旅程（DOP214）“讨论了苦工与生产力之间的反比关系。Amazon Q Developer可以帮助减少苦工，让开发人员腾出时间从事更有生产力的任务。但直到现在，这种影响一直难以展示。

本文向您展示如何将Amazon Q Developer与Jellyfish集成，以衡量AI对开发者生产力的影响。您将学习如何设置集成、理解关键指标，并就AI投资做出数据驱动的决策。

开发者生产力衡量的演进

最初于2023年10月发布的Amazon Q Developer Dashboard提供了对订阅使用情况、代码生成统计和安全扫描的基本可见性。虽然这些指标让客户了解了基本使用模式，但他们希望更深入地了解这些指标如何与开发者生产力和业务成果联系起来。自那时起，Amazon Q Developer Dashboard的更新提供了额外的用户级洞察，最近的更改在2025年5月的博客文章"解锁Amazon Q的力量：基于指标的更好AI编码策略"中讨论。

许多组织在衡量生成式AI影响时面临挑战，原因是复杂的组织结构、碎片化的工具链和快速演进的AI能力。

领导者可以通过从期望的业务成果倒推来做出更明智的指标决策。当客户开始使用生成式AI工具时，他们关注基本使用指标，如订阅数量和活跃用户。随着生成式AI在组织内的采用增长，团队希望了解AI对生产力和业务价值的影响。通过收集正确的数据，领导者可以衡量生成式AI如何影响其组织中的开发工作流程和业务成果。

为什么集成指标很重要

2025年4月的博客"生成式AI如何在Amazon转变开发者工作流程"分享道，开发者生产力指标比任何单一工具衡量的都要复杂。这与DORA和SPACE等既定框架一致。理解AI的影响需要在整个开发生命周期中具有可见性。组织正在寻找将来自多个数据源的数据组合起来以获得完整视图的方法。一些组织创建了自研工具和仪表板，而其他组织如Genesys（全球AI驱动的体验编排云领导者）则利用了像Jellyfish这样的合作伙伴。

“在Jellyfish，我们的客户一直要求我们提供Amazon Q Developer集成，以便他们能够全面了解生成式AI如何转变、改进和加速其软件开发工作流程” – Billy Robbins，Jellyfish合作伙伴关系负责人

Jellyfish解决方案

Jellyfish是一个工程管理解决方案，结合了来自各种开发工具的指标。当与Amazon Q Developer集成时，Jellyfish通过分析AI使用数据以及工程指标，帮助您了解Amazon Q Developer如何影响您的开发生产力。Jellyfish理解客户组织的分类法，允许您在对你重要的组织级别获得洞察。这种集成帮助工程领导者衡量AI对开发速度的影响，跟踪采用和使用模式，并计算AI支出的投资回报。

“在Genesys，我们长期致力于数据驱动的工程和软件开发生命周期的深度遥测。然而，量化AI对我们开发团队的影响具有挑战性，因为来自孤立工具的洞察过于碎片化，无法给我们清晰的整体图景。通过与AWS和Jellyfish合作，我们将工程师信任的AI开发工具与领导团队依赖的可见性和对齐平台集成在一起。这种统一视图使我们能够超越衡量AI采用，进而关注运营指标，如生产力改进和投资回报，在每个级别实现更明智的决策。” – Craig Dahlinger，Genesys平台工程高级总监

解决方案概述

Amazon Q Developer和Jellyfish集成将您的AI辅助开发指标与更广泛的工程分析连接起来。通过安全、自动化的数据流，该解决方案提供关于AI如何转变您的开发流程的洞察。

工作原理

Amazon Q Developer自动在您的AWS环境中捕获详细的使用数据和提示日志。这些数据流到指定的Amazon Simple Storage Service（Amazon S3）存储桶，Jellyfish通过预定义的IAM角色安全访问该存储桶。Jellyfish处理这些信息以及来自您其他开发工具的数据，通过其分析系统提供全面的洞察。

关键指标与洞察

Jellyfish的AI影响仪表板展示了整个开发生命周期中的几个重要指标：

工程采用

可视化组织中有多少工程师采用了Amazon Q Developer。用户按群体分类：强力用户、临时用户、闲置用户和新用户，让您清晰了解采用情况。以下截图显示了按用户群体的细分：在77名工程师中，您看到22名强力用户、20名临时用户、6名闲置用户和12名新用户。此视图帮助您了解在推动采用方面成功的地方以及可能存在改进空间的地方。

使用模式与趋势

通过直观的图表，您可以看到每日活跃使用数据、采用趋势和随时间的使用模式。这种时间视图对于理解使用如何演变至关重要，并帮助您识别成功的采用策略和一致使用的潜在障碍。

您还可以看到哪些编程语言从AI辅助中受益最多。例如，管理采用仪表板截图显示React中AI建议的接受率高于SQL（2,415 vs. 54），指导您在不同开发领域扩展AI使用的努力。

影响衡量

也许最关键的是，这种集成提供了具体的影响指标。您现在可以衡量从首次提交到拉取请求打开的时间减少。例如，以下截图显示减少了24%，工作时间从2天23小时减少到2天6小时。您还可以跟踪审查时间的变化，这可能会显示轻微增加，因为AI辅助的代码通常需要更彻底的审查。吞吐量改进也是可衡量的，一些团队看到平均每月每个用户的拉取请求增加了142%，从每月2.6个PR跃升到6.3个PR。

您可以使用仪表板查看随时间由Amazon Q Developer辅助的拉取请求百分比，并跟踪AI采用。您还可以理解AI编写代码与人工编写代码的比率，提供对开发过程中AI集成水平的洞察。

投资分析

为了完善图景，您可以可视化工具利用对投资在不同领域（如增长、KTLO（保持运营）和支持）的影响。这帮助您理解AI投资如何影响开发生命周期的各个方面。

实施指南

先决条件

在实施此集成之前，请确保您有：

活跃的Amazon Q Developer Pro订阅
访问Jellyfish资源
AWS账户和适当的AWS权限以：
- 配置S3存储桶
- 管理IAM角色
- 设置CloudTrail日志（可选）

设置过程

实施涉及三个步骤：

步骤1：启用Amazon Q Developer数据收集：按照此存储库中的设置过程，包含自动化脚本和详细说明。在此步骤中，您配置必要的AWS资源以收集Amazon Q Developer指标。

此存储库包括：

用于本地执行的Python脚本
用于无服务器部署的AWS Lambda函数
全面文档和测试程序

步骤2：S3访问：要授予Jellyfish账户/角色访问S3存储桶以获取日志，更新存储桶策略

示例：向Jellyfish提供您的amazon-q-log-bucket名称 S3存储桶ARN：<您的amazon-q-log-bucket-arn> 更新S3存储桶策略

转到AWS S3控制台 → 选择您的Amazon Q日志存储桶 → 权限选项卡。单击编辑存储桶策略并添加：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::0XXXXXXXX5:role/<AccessRoleName>"
            },
            "Action": ["s3:GetObject", "s3:ListBucket"],
            "Resource": [
                "arn:aws:s3:::<您的amazon-q-log-bucket>",
                "arn:aws:s3:::<您的amazon-q-log-bucket>/*"
            ]
        }
    ]
}

步骤3：验证设置：确认数据出现在您的S3存储桶中，并与Jellyfish团队检查以验证他们有权访问S3存储桶并正在接收日志。

清理

结论

Amazon Q Developer与Jellyfish的集成代表了在衡量和优化AI在软件开发中影响的能力方面迈出的重要一步。通过为工程领导者提供关于AI采用和影响的强大、可操作的洞察，组织能够就其AI投资做出明智决策，优化开发者工作流程，并在其工程团队中推动更高效率。

要了解有关此集成的更多信息，请访问Amazon Q Developer文档，联系您的Jellyfish代表，或者如果您是Jellyfish资源的新用户，请访问Jellyfish网站。