理解 Attention，先把张量形状写清楚

内容说明：这是用于演示网站排版与内容组织的示例文章。请在正式对外分享前替换为自己的实验、结论与来源。

从一次信息聚合开始

对序列中的一个位置，注意力计算它与其他可见位置的匹配程度，再按权重聚合 Value。先检查矩阵维度，比直接记住公式更容易理解。

公式与最小计算

\operatorname{Attention}(Q,K,V)=\operatorname{softmax}\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V

scores = (Q @ K.T) / sqrt(d_k)
scores = apply_mask(scores, causal_mask)
weights = softmax(scores, axis=-1)
output = weights @ V

用实验检验直觉

固定输入，分别改变 mask、缩放系数或某个位置的表示，观察权重与输出。注意力权重能帮助观察信息流，但不能直接当作模型完整的推理解释。