大语言模型引领的新API经济
强大语言模型的崛起正在创造新的API经济，其中自然语言取代结构化代码成为主要交互接口。
大型语言模型在理解自然语言上下文方面正变得越来越先进。随之出现了一种新范式——将LLM用作API。
传统上，API调用会是GET /users/123/orders，然后您会收到返回的JSON数据，其中包含用户123的订单信息。API促进了不同软件系统之间的交互。
但如果查询更复杂呢？如果需要与另一个系统交互但对相关API了解不多呢？如果交互者是非技术人员且不知道如何调用API呢？
这正是LLM发挥作用的地方。LLM可以充当通用API，能够解释输入并生成输出。在这种情况下，输入是自然语言查询，输出则是API调用。
这改变了软件的构建方式以及用户与软件的交互方式。本文从两个角度讨论这一方面——开发者应如何构建支持LLM类API的软件，以及用户如何利用LLM与软件交互。
从代码到自然语言
传统API是确定性的：您发出特定请求，获得已知响应。每次调用传统API时，响应都是相同的。它们可预测、可靠且僵化。但LLM改变了这个等式。
传统API：
GET /users/123/orders → JSON → 手动过滤和聚合
LLM API： “用户123上个月订购了什么？” → LLM → “用户下了3个订单，总计249美元”
LLM驱动的API访问提供了变革性转变，使用户能够使用自然语言而非结构化语法与系统交互。
LLM如何改变我们构建和使用API的方式
从结构化代码到非结构化语言的根本性转变要求软件生命周期中的每个人都进行调整，从构建API的开发者到与之交互的最终用户。
API开发者
开发者现在需要转型，因为这要求新的技能组合。API是契约，应该作为契约来维护。
- 创建提示模板以指导模型行为
- 逐步将LLM API集成到代码库中
- 优化LLM延迟和令牌使用
- 设置良好的防护措施防止LLM API滥用
- 建立故障检测模型以最小化幻觉
- 即使在LLM API中也要实现良好的访问管理
这催生了LLMOps，这是一个专注于LLM应用程序生命周期管理的新学科。
API用户
这些LLM API的调用者可以感到欣喜。由于LLM API正在成为现实，这使调用者能够选择调用哪种API。
从调用者角度来看：
- 确保API适合目的
- 关键工作通过明确定义的API调用
- 提高AI素养，理解如何构建输入以获得最佳输出
- 调整软件与LLM API的交互方式
非技术用户
LLM不仅赋能开发者，还为其他所有人打开了大门。
对于这类用户，像GET /users/123/orders这样的查询很难理解。语言提供了询问更多内容的机会：“用户123上个月订购了什么，给我一个总结并与该地区其他用户进行比较”。
语言作为新的API表面
最大的转变不仅仅是技术性的——更是概念性的。
使用LLM时，API表面变成了语言。您不仅仅是在编码函数，而是在编写指令；不仅仅是在设计屏幕，而是在启用交互；不仅仅是在调用特定API，而是在提出问题。
LLM正在将范式从刚性接口和预定义契约转向更具适应性、对话性和智能的系统。
对于企业来说，这意味着LLM不仅仅是另一个工具，而是一个可定制和智能的层，可以包裹现有的遗留系统。
向使用语言作为API的过渡仅仅是个开始。随着这些系统变得更强大和集成，使用软件与进行对话之间的区别将减少，从根本上重塑我们与技术的关系。将LLM视为API是迈向那个未来的第一个关键步骤。