读懂《Attention Is All You Need》
——一份可以随时回来接着走的路径

① 向量 / 矩阵乘法 + 维度对齐。 整篇论文 90% 的操作就是"这个矩阵乘那个矩阵"。⭐ 看懂维度怎么对上，比会算重要。

② 点积的几何意义 —— 这是全篇的钥匙。 a·b 衡量两个向量有多对齐：方向一致 → 大；垂直 → 0；相反 → 负。

③ softmax。 把一串任意数字变成加起来等于 1 的权重：先 exp()，再各自除以总和。大的变得更大（指数放大），但总量守恒。

先建立骨架，再去看论文的严格表述。顺序反了会很痛苦——论文是写给同行看的，它默认你已经知道它在解决什么问题。

Jay Alammar 的图解是公认最好的入门（有中译）。3Blue1Brown 的两集视频更直观，可以二选一或都看。

原文编排对初学者不友好——它先讲整体架构，可你还不知道零件是什么。按下面的顺序读，每一节都建立在上一节之上。

用 d=4、序列长度 3 的玩具例子，把 softmax(QKᵀ/√d)V 从头算一次。你是工程师，用 numpy 十几行就行——不要用现成库，自己写矩阵乘法那几行。

然后做一件事：把输入的三行打乱顺序，再算一遍。 你会发现输出只是跟着换了行、值完全没变——这就是卡点 ④ 说的"置换不变"，亲手撞见比读十遍都管用。

Karpathy 的《Let's build GPT: from scratch, in code, spelled out》——约 2 小时视频，从 bigram 基线一路搭到多头注意力 + 残差 + LayerNorm，终点就是 nanoGPT 的内核。跟着敲，别只看。

⭐ 顺带一提：Karpathy 现在在 Anthropic，也在你的 x-feed watchlist 里。

如果一个向量既当"我在找什么"又当"我是什么"，模型就没法区分「搜索者」和「被搜索者」两个角色。三个投影矩阵（Wq / Wk / Wv）让它能把这两件事分开学。

维度越高，点积的方差越大 → 数值变得很大 → softmax 饱和成 one-hot → 梯度接近 0，训不动。除以 √d_k 把方差拉回 1。

⚠️ 论文只用一个脚注提这件事，但工程上非常实在——很多"为什么训不动"的坑都在这类缩放上。

一次注意力只能表达一种关注模式。多头 = 并行跑多组，各自学不同的关系（有的学句法、有的学指代）。

⭐ 不是让它更强，是让它能同时表达多种关系。 这个区分很关键——很多人把多头理解成"堆算力"，那是误读。

注意力是置换不变的：把输入顺序打乱，输出集合完全一样。它根本不知道"顺序"这回事。 所以位置必须手动注入进去。

⭐ "attention 天生没有顺序概念"这件事本身，才是理解这个架构的关键。 Step 4 手算时打乱输入试一次，你会亲眼看到。

不让它看到未来的词，否则训练时等于抄答案。实现上就是把相似度矩阵的右上三角设成 −∞，softmax 之后自动变 0。