Memory Attention adiciona memória indexada por token
Post publicado em 25 de setembro de 2026 descreve uma alteração na atenção do Transformer: substituir a projeção de valores aprendida pela soma de chaves contextuais e vetores de memória indexados por token, específicos de cada camada. A memória pode ficar na CPU.
Publicado em 25 de setembro de 2026, o post apresenta Memory Attention como uma mudança na atenção do Transformer. Em vez da projeção de valores aprendida, o método soma chaves contextuais e vetores de memória indexados por token, específicos de cada camada. Segundo o texto, a memória pode ficar na CPU. A proposta é relevante para engenheiros que investigam formas de acrescentar capacidade a modelos por meio de memória indexada por token; o post, porém, não fornece resultados de avaliação ou comparação.
Para conhecer os detalhes e confirmar o que foi afirmado, consulte o post original e verifique nele a descrição da arquitetura e da localização possível da memória. O material disponível não informa métricas, configurações experimentais nem resultados que permitam concluir sobre desempenho.