深度学习开源教材新增注意力机制章节

全球机器学习市场正在快速扩张。据预测，到2027年机器学习产品市场规模将达到1170亿美元。这种增长伴随着对机器学习技能需求的急剧上升。

某中心团队通过创建名为《动手学深度学习》（D2L）的书籍来帮助满足这一需求。该书于2020年发布，完全通过可独立执行的Jupyter笔记本起草，是一个持续更新的活文档。每次更新都会触发PDF、HTML和笔记本版本的开源同步。

最新增加的"注意力机制"章节解决了长期困扰非参数机器学习模型的问题：这些模型需要处理不同数量的信息并将其置于上下文中。

注意力机制的核心价值

以人类视觉为例：我们视野中可能有数百个物体，但大脑能自动识别重要信息以避免感官过载。这种能力使人类能够实时适应信息丰富的场景。对部分信息的注意力在计算上经济，在统计上有效。

“注意力机制可应用于图像识别等计算机视觉任务，“原创作者之一表示。“这反映了深度学习领域的持续演进——即使我们不断添加新内容，仍有新的发展需要跟进。”

在自然语言处理（NLP）应用中，计算机的注意力可指向提示逻辑后续词的特殊词语。例如"银行"之后可能出现"存款”，这加速了计算机预测和分析语音文字的能力。

2014年Bahdanau等人发明的现代注意力机制解决了机器翻译模型必须"记住"源语句的问题，这对长句处理尤其重要。注意力允许模型持续查看源文本和已翻译内容以提高准确性。

注意力领域的一个挑战是其计算强度仍然很高。近年来出现的"Transformer"模型通过应用高级算法来确定词序列的逻辑顺序，帮助解决了这一挑战。Transformer驱动了当今最强大的NLP模型（如GPT-3）。

“Transformer彻底改变了自然语言处理，“某机构副总裁表示。“它允许非常高效地向前和向后跳转多个步骤，几乎像波形一样，而不是一次只进行一步。这创造了更高的计算效率。”

新章节提供了丰富的模型、示例和代码，学生可以随学随练。示例同时支持MXNet和PyTorch框架，为用户提供机器学习框架选择。

作者特别注重使注意力主题对学生更易理解。注意力是一个难以掌握的概念，涉及精妙的数学和有时抽象的概念。

此外，新章节的前三分之一已被翻译成中文和土耳其文。中文市场是《动手学深度学习》的最大市场之一，被20所大学用作教材。土耳其版本则源于该国庞大的机器学习专家社区。

作为书籍的补充，D2L团队还在其YouTube频道上推出了一系列"训练营"视频教程。每个视频时长15-20分钟，以《动手学深度学习》的相关章节为模型。

团队正在筹备《动手学深度学习》的印刷版本，并 evolving 内容模式：原创作者减少原始内容开发，更多担任广大机器学习社区贡献的管理者角色。

最新章节现已在线发布。