Transformer (33-1)
지난 33번에 이어~스케일드 닷-프로덕트 어텐션을 구현해보겠습니다. 5) 스케일드 닷-프로덕트 어텐션 구현하기위의 식을 이용해서 구현해본 함수는 아래에있습니다.def scaled_dot_product_attention(query, key, value, mask): # query 크기 : (batch_size, num_heads, query의 문장 길이, d_model/num_heads) # key 크기 : (batch_size, num_heads, key의 문장 길이, d_model/num_heads) # value 크기 : (batch_size, num_heads, value의 문장 길이, d_model/num_heads) # padding_mask : (batch_size, 1..
2025. 1. 1.
