上下文是关键：HubSpot如何规模化推广AI应用
这篇文章旨在成为关于赋能产品、UX和工程团队使用AI的系列文章的第一篇。我们将重点介绍我们如何在编写代码的背景下推广和使用AI。
AI从根本上改变了我们在HubSpot构建软件的方式。过去两年中，我们从谨慎实验发展到在整个工程组织中几乎普遍采用AI编码工具。
这一转变并非一夜之间发生。它需要战略投资、组织承诺和学习意愿。当我们与其他工程领导者分享经验时，发现许多团队在将AI应用从概念验证和早期采用者扩展到更大范围时面临类似挑战。与外部团队的交流使我们相信，我们的经验教训可以帮助其他团队更有效地完成这一旅程。
采用AI编码助手的工程师比例[经过处理的数据]
从代码补全开始
我们于2023年夏季开始尝试GitHub Copilot。我们的创始人Dharmesh和Brian为我们提供了启动所需的推动力。Dharmesh最近使用GitHub Copilot构建了ChatSpot并获得了良好体验，因此他和Brian推动我们评估该工具，并将我们与行业中取得成功的其他领导者联系起来。
我们的概念验证成功验证了该工具的潜力，以下几个因素促成了我们的成功：
- 高管支持使一切变得更容易：Dharmesh和Brian的支持显著加速了我们的试点过程。这帮助我们的法律、安全和工程团队为实现这一目标拥有相同的目标和紧迫感。
- 我们进行了足够大规模的试点：我们的策略是包括整个团队，让他们能够共同采用和学习，这些团队拥有不同的经验水平、不同的任务并在不同的领域工作。我们给团队超过两个月的时间来尝试。
- 我们投入精力进行赋能：我们设置了安装/培训课程，并创建了一个渠道，供人们提问和分享哪些方法有效、哪些无效。
- 我们测量了一切：我们将现有的工程速度测量方法应用于试点。这帮助我们检查自己的偏见。起初我们持怀疑态度，但看到测量的影响逐渐消除了我们的怀疑。
初步结果令人鼓舞：不同资历和资历的工程师都给出了积极的定性反馈和可测量但适度的生产力改进。我们最初的收益低于市场上听到的一些非凡说法，但考虑到Copilot当时每月19美元/商业用户的成本结构，这些收益仍然很重要。即使是适度的时间节省也证明了投资的合理性。
看到早期价值和工具潜力的一组坚定利益相关者愿意保持耐心并继续投资。我们相信技术会随着时间的推移而改进，因此我们在有防护措施的情况下推出了它。随着我们扩大采用范围，人们获得更多经验，我们看到了越来越有意义的生产力提升。
利用中央团队的力量
在HubSpot，我们长期以来一直相信中央团队创造的杠杆作用。我们的平台团队构建基础设施、工具和防护栏，使小型自主产品团队能够在保持质量和一致性的同时快速行动。
当生成式AI出现时，我们最初依赖这些领域附近的团队（特别是管理我们GitHub设置的团队）来推动采用。但随着需求爆炸式增长，积压工作呈指数级增长。我们意识到是时候创建一个专门的团队了。
我们于2024年10月创建了一个开发者体验AI团队，最初专注于：
- 推动编码工具的采用：一旦我们意识到这些工具的影响，我们希望整个组织尽快加入
- 增加AI工具的影响力：HubSpot有一个非常固执己见的技术栈，我们希望生成的代码尽可能反映这些观点。这从简单地共享Cursor规则文件开始，但很快演变为更复杂的工具，为代理提供关于我们架构、库和最佳实践的深度上下文。（未来将有更多相关内容）
- 倡导：我们希望通过收集和传播对人们有效的内容来围绕AI建立社区。我们创建了一个开放论坛，供人们发布关于AI的内容，并播种内容以推动参与。随着采用率的增长，我们看到一个充满活力的社区慢慢兴起。
- 调整采购以加快速度：我们知道我们想尝试每一个出现的工具，但我们的采购流程是为长期谈判协议设计的，我们不能总是依赖创始人的推动来推动事情进展。我们想要按月合同并尽快开始。
- 建立评估能力：我们不想仅仅依赖定性反馈，因此我们想出了运行试点和根据优点比较工具的方法。我们也亲身体验了经验数据如何对抗先入之见和怀疑。
中央基础设施团队在产品团队日常工作的各个方面创造杠杆。AI也不例外。我们开始时规模很小，只有两名具有基础设施经验且已经高度参与AI的人员。随着我们扩展到更高级的用例，团队逐渐壮大，其中许多用例将在本系列中介绍。但创建团队并集中这些工程师为我们的未来成功铺平了道路，而无需大量初始投资。
改变规模
随着工程师采用这些工具，我们收集了更多数据，我们越来越确信这些工具会对我们的工程团队产生积极影响。最初，由于经验有限和成本考虑，我们保持了保守的使用规则。用户必须请求许可证并同意遵循严格的防护措施。
我们提取了代码审查负担、周期时间、采用前后的速度比较以及生产事故率的指标。
AI采用对事故的影响，团队级别数据[经过处理]
数据一致显示相同的事情：AI采用并没有造成我们最初担心的问题。上面的散点图显示了一个例子，表明AI采用与生产事故之间没有相关性。
2024年5月，我们取消了限制。然后我们主动给每个人一个席位，使入门尽可能容易。采用率一夜之间飙升至50%以上。
达到后期大多数
当采用率超过60%时，采用速度再次放缓。采用的后期阶段是你面临怀疑者、开始更好地理解当前工具的局限性，并看到更高水平的变更/风险规避，因此我们必须改变方法：
- 同行验证：每当我们听说有人用AI做了有趣的事情时，我们请他们录制视频并分享。我们也开始自己录制每周视频，展示新功能和实际使用情况。
- 定量证明：我们分享了高级数据，显示大多数人已经在成功和安全地使用这些工具。我们故意保持数字宽泛而不是深入精确细节。虽然数据对于决策很重要，但我们希望人们关注明显的改进趋势，而不是陷入对确切数字的争论。
- 提供更好的工具：我们为多个编码助手运行了概念验证，为工程师提供更多选择，认识到不同的工具适用于不同的工作流程和偏好。
- 精心策划的体验：我们在每台机器上透明地设置了本地MCP服务器，带有针对我们开发环境优化的默认规则和配置。这为每位工程师提供了量身定制的体验，专门针对我们的特定技术栈和最佳实践，开箱即用。我们根据对有效使用模式的了解，不断修订和改进此设置。
- AI流利度成为基线期望：一旦我们达到90%的采用率，我们通过将其添加到职位描述和招聘期望中，使AI流利度成为工程师的基线期望。到这个时候，很容易看出AI流利度不仅对HubSpot是正确的，对工程师来说，在这个转型过程中继续职业发展也是一项必要的投资。这帮助我们在内部和外部明确承诺投资。
采用是开始，为随之而来的一切打开了大门：利用编码代理、创建Sidekick（我们的AI助手，回答平台问题、创建问题、实施更改和审查PR）、开发一种用我们的设计系统快速原型UI的方法，以及构建基础设施，导致我们的代理可以在内部、OpenAI和Anthropic MCP服务器上利用400多个工具。