深度学习著作新增注意力机制章节

全球机器学习市场正在迅速扩张。《福布斯商业洞察》预测，到2027年机器学习产品市场规模将达到1170亿美元。这种增长伴随着对机器学习技能需求的激增。

某中心团队通过创建名为《深度学习入门》（D2L）的书籍帮助满足这一需求。该书于2020年出版，完全通过可独立执行的Jupyter笔记本起草，是一个动态文档，每次更新都会触发PDF、HTML和笔记本版本的开源更新。原始作者包括某机构高级应用科学家等多位专家。随着书籍涵盖更多主题、深度学习框架（如PyTorch和TensorFlow）和语言（如中文和土耳其语），贡献作者数量正在增加。

最新新增的是“注意力机制”章节。某专家表示：“注意力是深度学习近期最令人兴奋的发展之一，之前没有相关内容令人惭愧。”

新章节解决了经常困扰非参数机器学习模型的问题：它们需要处理不同数量的信息并将其置于上下文中。

注意力机制的核心价值

考虑人类视觉：我们视野中可能有数百个物体，但大脑能理解哪些重要以避免感官过载。从原始问题（“营地附近有老虎吗？”）到现代问题（“我的红色咖啡杯放哪了？”）都是如此。这使人类能够即时适应信息丰富的场景。对部分信息的关注在计算上经济且在统计上有效。

“可以使用注意力机制解决计算机视觉任务，如图像识别问题，”某作者表示，“这就是为什么需要专门章节介绍该领域的精彩进展。这也反映了深度学习领域的不断演进——即使我们添加新内容，仍有新发展需要跟进。”

某专家将问题类比为有棋盘棋子与无棋盘下棋：“物理棋盘让玩家能专注于特定兵和车的位置及可能行动，而无棋盘时玩家必须在行动前记住棋盘上所有信息和选项。”

在自然语言处理中的关键作用

虽然在计算机视觉中很重要，但注意力在自然语言处理（NLP）中也扮演关键角色。在这些应用中，计算机的注意力可能指向提示逻辑下一个词或思想的特定词语，例如“银行”后可能接“存款”。这加速了计算机预测或分析语音和词语的能力。

实际上，现代注意力由Bahdanau、Cho和Bengio于2014年发明，用于处理机器翻译模型在生成翻译时必须“记住”源语言的问题。这对长句尤其挑战。注意力使模型能持续查看源文本和已翻译内容以提高准确性。

新章节概述了可追溯至19世纪的注意力心理学研究，以及如何将其理解应用于计算机。包括开发模型以确定计算机应如何按重要性“加权”所见内容。

计算挑战与Transformer突破

注意力领域的一个挑战是计算强度仍然很高。近年来，“Transformer”模型应用高级算法到词序列以确定逻辑顺序，帮助应对这一挑战。Transformer驱动了当今一些最强大的NLP模型，如GPT-3。

“Transformer彻底改变了NLP，”某专家表示，“它们允许非常高效地向前和向后跳转多步——例如在词序列中——几乎像波形，而不是一次一步。这创造了更高的计算效率。”

新章节涉及Transformer的关键元素以及如何将其应用于NLP或计算机视觉问题。

教学资源与全球扩展

注意力章节包含丰富的模型、示例和代码，供学生随学随练。示例提供MXNet和PyTorch版本，让用户可选择机器学习框架。

作者还专注于使注意力主题对学生更易接近。注意力可能是一个难以掌握的概念，涉及微妙数学和有时抽象的概念。

同时，新章节的前三分之一已翻译成中文和土耳其文。中国市场是《深度学习入门》的最大市场之一，被20所大学用作教科书。土耳其版本则源于该国庞大的机器学习专家社区。

作为书籍补充，D2L团队还在其YouTube频道推出了一系列“训练营”视频教程。某专家疫情期间在家工作，发现有空闲时间，决定部分用于创建新视频——他11岁的女儿帮助场景布置。每个视频时长15到20分钟，以《深度学习入门》相关章节为模型。

团队正在开发《深度学习入门》的印刷版，并演进模型以添加更多内容，原始作者更少关注原创内容开发，更多担任广大机器学习社区贡献的管理者。

《深度学习入门》最新章节现已上线。关注@D2L_ai获取最新更新。