什么是注意力机制？
注意力机制是深度学习中的一个突破性概念，它彻底改变了机器处理序列数据的方式。它最初是为机器翻译而引入的，解决了传统编码器-解码器模型的一个关键限制：无法有效处理长序列。编码器会将整个输入序列压缩成一个单一的固定长度向量，从而造成信息瓶颈。注意力机制允许模型在生成输出的每一步“回顾”整个输入序列，权衡每个输入词的重要性，并专注于最相关的词。这种动态关注输入不同部分的能力使其成为现代自然语言处理的基石。
主要特点
- 动态上下文： 注意力机制为每个输出步骤创建一个动态的上下文向量，而不是为整个序列使用一个静态的上下文向量，该向量针对正在生成的输出的特定部分量身定制。
- 在长序列上性能更佳： 通过减轻将所有信息塞入一个向量的需要，注意力机制显著提高了在具有长输入句子或文档的任务上的性能。
- 可解释性： 注意力权重具有很高的可解释性。通过可视化模型在生成特定输出词时“关注”哪些输入词，我们可以深入了解模型的决策过程。
- 多功能性： 虽然源于自然语言处理，但注意力的核心思想已成功应用于计算机视觉和语音识别等其他领域。
使用案例
- 机器翻译： 通过为每个生成的目标词关注相关的源词来翻译句子。
- 文本摘要： 识别并专注于文档中最显著的句子，以创建简洁的摘要。
- 图像描述： 通过为描述的每个词关注图像的不同区域来为图像生成描述。
- 问答系统： 定位文本段落中包含给定问题答案的特定部分。
入门指南
这是一个使用Python和PyTorch实现的Bahdanau风格注意力层的简化概念性实现。此示例展示了如何根据解码器的隐藏状态和编码器的输出计算注意力分数。
```python import torch import torch.nn as nn import torch.nn.functional as F
class Attention(nn.Module): def init(self, hidden_size): super(Attention, self).init() self.Wa = nn.Linear(hidden_size, hidden_size) self.Ua = nn.Linear(hidden_size, hidden_size) self.Va = nn.Linear(hidden_size, 1)
def forward(self, query, keys):
# query 是解码器的隐藏状态, keys 是编码器的输出
# query: [batch_size, hidden_size]
# keys: [batch_size, seq_len, hidden_size]
# 为 query 增加一个维度以匹配 keys
scores = self.Va(torch.tanh(self.Wa(query.unsqueeze(1)) + self.Ua(keys)))
scores = scores.squeeze(2).unsqueeze(1)
# 计算注意力权重 (softmax)
weights = F.softmax(scores, dim=-1)
# 计算上下文向量
context = torch.bmm(weights, keys)
return context, weights
使用示例:
hidden_size = 128 seq_len = 10 batch_size = 32
attention_layer = Attention(hidden_size) decoder_hidden = torch.randn(batch_size, hidden_size) encoder_outputs = torch.randn(batch_size, seq_len, hidden_size)
context_vector, attention_weights = attention_layer(decoder_hidden, encoder_outputs)
print(“Context Vector Shape:”, context_vector.shape) print(“Attention Weights Shape:”, attention_weights.shape)
预期输出:
Context Vector Shape: torch.Size([32, 1, 128])
Attention Weights Shape: torch.Size([32, 1, 10])
向自注意力的演进
最初的注意力机制用于编码器和解码器之间。这个思想的一个重要演进是自注意力，该机制在单个序列内部使用，以权衡同一序列中其他词的重要性。这个概念是Transformer架构的基本构建块，该架构已成为像BERT和GPT这样的语言模型的事实标准，完全消除了对循环层的需求。