第三章收官:掩码防的是答案泄露,多头是加视角不是加角色。说实话,这一章我自认没完全过关,这篇是如实的认知水位记录。
从简化版到带可训练权重的自注意力:三步走、三块矩阵、sqrt(d_k)、以及梯度怎么流回去。学了三小时,答了五道题。