What is Attention Mechanism? (The Meaning of K, Q, V)
Why K, Q, V? 예전에 Transformer에서 K, Q, V의 의미가 무엇이냐는 질문을 받았을 때 갑자기 머리가 멍해지면서 제대로 답변을 못한 적이 있었다. 그런데 막상 찾아보면, 그 의미를 명확히 전달해주는 글은 잘 없었다. 원래 논문(Vaswani et al. 2017)을 찾아보라고 보통 애기하지만, 이걸 제대로 보려면 (Bengio, ...