把学过的 5 节课拼成一条流水线。处理词 i 时,它如何吸收上下文——一张图看全。
| 投影 q/k/v | Q/K/V 课 —— 三台矩阵把 x 加工成"找/被找/给"三个角色 |
| ① 打分 q·k | 点积课 —— 点积衡量两向量"有多对齐/相关" |
| ② 缩放 /√d | 缩放点积课 —— 维度高→分数大→softmax 饱和;除掉拉回平缓区 |
| ③ softmax | softmax 课 —— e 的幂 ÷ 总和 → 和为 1 的权重 |
| ④ 加权求和 | 朴素注意力课 —— 按权重混合各词的 value |
q·k 测相关 → ÷√d 稳一稳 → softmax 变权重 → 乘 v 求平均
softmax 的算法一直没变(e 的幂÷总和);变的只是喂给它的分数 = 真实的 q·k/√d。