LLM 中的注意力机制：一个直观的解释

[mostakimvip06]

语言对于人类交流至关重要，而语言自动化可以带来巨大的好处。自然语言处理 (NLP) 模型多年来一直难以有效捕捉人类语言的细微差别，直到出现突破——注意力机制。

注意力机制于 2017 年在论文《注意力就是你所需要的一切》中提出。与孤立地处理单词的传统方法不同，注意力机制根据每个单词与当前任务的相关性为其分配权重。这使模型能够捕获长距离依赖关系，同时分析局部和全局上下文，并通过关注句子的信息部分来解决歧义问题。

考虑以下句子：“迈阿密，被称为‘魔幻之城’，拥有美丽的白沙滩。”传统模型会按顺序处理每个单词。然而，注意力机制更像我们的大脑。它根据每个单词与理解当前焦点的相关性为其分配分数。在考虑位置时，“迈阿密”和“海滩”等词变得更重要，因此它们会获得更高的分数。

在本文中，我们将对注意力机制进行直观解释。您还可以在本教程中找到有关transformer 工作原理的更技术性的方法。让我们开始吧！

传统语言模型
让我们从语言模型的更大背景开始理解注意力机制。

语言处理基础
语言模型通过尝试理解语法结构（句法）和含义（语义）来处理语言。目标是输出具有与输入相关的正确句法和语义的语言。

语言模型依靠一系列技术来分解和理解文本：

解析：这种技术分析句子结构，为每个单词分配词性（名词、动词、形容词等）并识别语法关系。
标记化：该模型将句子分成单个单词（标记），创建执行语义分析的基础块（您可以在单独的文章中了解有关标记化的更多信息）。
词干提取：此步骤将单词简化为其词根形式（例如，“walking” 变成“walk”）。这可确保模型以一致的方式处理相似的单词。
实体识别和关系提取：这些技术协同工作，识别和分类文本中的特定实体（如人物或地点）并揭示它们的关系。
词嵌入：最后，模型为每个单词创 肯尼亚赌博数据 建一个数字表示（一个向量），捕捉其含义以及与其他单词的联系。这使得模型能够处理文本并执行翻译或摘要等任务。
传统模型的局限性
虽然传统语言模型为 NLP 的进步铺平了道路，但它们在全面掌握自然语言的复杂性方面面临挑战：

上下文有限：传统模型通常将文本表示为一组单独的标记，无法捕捉句子的更广泛上下文。这使得很难理解句子中相距很远的单词之间可能存在怎样的关联。
短上下文：这些模型在处理过程中考虑的上下文窗口通常很有限。这意味着它们无法捕捉长距离依赖关系，即句​​子中相距很远的单词会相互影响彼此的含义。
词语消歧问题：传统模型很难仅根据周围的词语来消除具有多重含义的词语的歧义。它们缺乏考虑更广泛的上下文来确定预期含义的能力。
泛化挑战：由于网络架构和可用训练数据量的限制，这些模型通常难以适应新的或看不见的情况（域外数据）。
语言模型中的注意力是什么？
与孤立地处理单词的传统模型不同，注意力机制允许语言模型考虑上下文。让我们看看这是什么！

你只需要关注
2017 年，一篇名为《Attention Is All You Need》的论文引入了注意力机制，从此改变了 NLP 领域。

本文提出了一种称为transformer的新架构。与循环神经网络(RNN) 和卷积神经网络(CNN) 等旧方法不同，transformer 使用注意力机制。

通过解决传统模型的许多问题，Transformer（和注意力）已成为当今许多最流行的大型语言模型（LLM）的基础，例如OpenAI 的 GPT-4和 ChatGPT。

注意力是如何发挥作用的？
让我们考虑一下这两个句子中的“bat”这个词：

“挥动球棒！”
“蝙蝠在夜间飞行。”
传统的嵌入方法为“蝙蝠”分配一个向量表示，这限制了它们区分含义的能力。然而，注意力机制通过计算上下文相关权重解决了这个问题。

他们分析周围的单词（“swing”与“flew”）并计算确定相关性的注意力分数。然后使用这些分数对嵌入向量进行加权，从而对“bat”作为运动工具（“swing”权重高）或飞行生物（“flew”权重高）产生不同的表示。

这使得模型能够捕捉语义细微差别并提高理解力。