TAPA propõe codificação posicional sensível a tokens
Artigo apresenta o Token-Aware Phase Attention (TAPA), método de codificação posicional com função de fase treinável, e analisa o viés do RoPE dependente da distância. A publicação informa uma comparação de desempenho em contextos longos.
Publicado em 26 de junho de 2026, o artigo apresenta o Token-Aware Phase Attention (TAPA), um método de codificação posicional que usa uma função de fase treinável. O trabalho analisa o viés dependente da distância associado ao RoPE e compara o desempenho do TAPA com o do RoPE em contextos longos.
A descrição disponível não informa os resultados quantitativos da comparação. Engenheiros que pesquisam modelos de contexto longo podem consultar o artigo para verificar a análise teórica, os métodos e os resultados reportados na fonte original; não se deve inferir superioridade sem examinar esses dados.