Ir para o conteúdo

Radar ·

TAPA propõe codificação posicional sensível a tokens

Artigo apresenta o Token-Aware Phase Attention (TAPA), método de codificação posicional com função de fase treinável, e analisa o viés do RoPE dependente da distância. A publicação informa uma comparação de desempenho em contextos longos.

Publicado em 26 de junho de 2026, o artigo apresenta o Token-Aware Phase Attention (TAPA), um método de codificação posicional que usa uma função de fase treinável. O trabalho analisa o viés dependente da distância associado ao RoPE e compara o desempenho do TAPA com o do RoPE em contextos longos.

A descrição disponível não informa os resultados quantitativos da comparação. Engenheiros que pesquisam modelos de contexto longo podem consultar o artigo para verificar a análise teórica, os métodos e os resultados reportados na fonte original; não se deve inferir superioridade sem examinar esses dados.

Fonte original: TAPA apresenta attention de fase sensível a tokens para positional encoding

Curadoria · AgentLog

Receba o essencial

Privacidade, engenharia de IA e segurança no seu e-mail.

No máximo um resumo por dia, quando houver novidades. Cancele quando quiser. Usamos o e-mail verificado da sua conta.

Privacidade

Procurando outra coisa?AjudaContato