生成配置：温度参数、top-k、top-p与测试时计算
机器学习模型具有概率性特征。假设询问"世界最佳美食"这一问题，人类两次回答会保持一致，而模型可能给出不同答案——如果模型认为越南菜有70%概率最佳，意大利菜有30%概率，则其回答将按此比例变化。
这种概率特性使AI擅长创造性任务，但也会导致不一致和幻觉现象。某机构分析AI初创公司客服数据发现，20%的问题源于用户不理解概率特性。要理解AI响应机制，需深入了解采样（解码）过程。
采样机制
神经网络处理输入时先计算所有可能值的概率分布。对于二分类任务（如垃圾邮件识别），可直接选择最高概率值。但语言模型若始终选择最可能token（贪婪采样），会生成单调输出。
替代方案是根据概率分布采样下一个token。例如在"My favorite color is…“后，“red"有30%概率，“green"有50%概率，则按此比例选择。
温度参数
温度技术通过调整logit值重新分配概率。具体流程：
- 神经网络输出logit向量（词汇表大小维度）
- 通过softmax转换：$p_i = \frac{e^{x_i/T}}{\sum_j e^{x_j/T}}$
- 温度T越高，常见token概率降低，模型更具创造性但连贯性下降
- 温度越低，输出更一致但可能更单调
实际应用中，温度通常设为0-2之间，0.7常作为创造性与确定性的平衡点。温度设为0时模型直接选择最高logit值（argmax操作）。
Top-k采样
为降低计算开销，仅对top-k个logit值进行softmax计算：
- k值通常设为50-500远小于词汇表大小
- 较小k值使文本更可预测但多样性降低
- 减少计算量但保持响应多样性
Top-p采样（核采样）
动态选择累积概率超过p的最小token集合：
- 常见p值范围为0.9-0.95
- 根据上下文自适应调整候选集大小
- 虽然不减少计算量，但能生成更符合语境的输出
停止条件
自回归模型需要停止生成机制：
- 固定token数量：可能截断句子
- 停止token：如遇到”
“停止 - 有效控制延迟和成本
测试时计算
通过生成多个输出选择最佳结果提升性能：
- 用户选择模式：展示多个输出供用户选择
- 概率选择法：选择平均log概率最高的输出
- 序列概率为token概率乘积
- 使用log概率避免下溢问题
- 平均log概率避免长度偏差
- 奖励模型评分：使用验证器评分选择
- 启发式方法：根据应用需求选择（如最短响应、最有效SQL等）
多输出采样对精确答案任务特别有效（如数学题多次求解取最高频答案）。但需要注意：
- 成本随输出数量线性增加
- 性能提升存在临界点（实验显示400输出后性能下降）
- 模型不确定性越高，多输出采样收益越大
结构化输出
生产环境中常需要特定格式输出，主要场景包括：
- 需符合特定语法：SQL查询、正则表达式、分类标签
- 下游解析需求：避免缓冲文本，直接生成可解析格式（如JSON）
实现方法包括：
- 提示工程：最简单但效果最差的方法
- 微调：当前主流方法，可保持或修改模型架构
- 约束采样：在采样过程中施加格式约束
约束采样技术
- 重复生成直到满足约束（计算成本高）
- 采样时过滤不符合约束的token
- 需要构建语法规则库
- 不同格式需要不同语法（JSON、CSV等）
- 业界对约束采样存在争议，部分认为应优先提升指令遵循能力
结论
理解AI模型采样机制对有效利用AI解决问题至关重要。概率特性既神奇又复杂，随着模型能力提升，未来通过简单提示获得所需输出将更加容易，当前这些技术的重要性可能逐渐降低。