Transformers com energia refinam a previsão do próximo token
Publicado em 27 de setembro de 2025, o relato descreve uma abordagem que reduz iterativamente a energia atribuída a candidatos para o próximo token. Em testes com 44 milhões de parâmetros no RedPajama-Data-v2, ela superou transformers vanilla do mesmo tamanho em três de quatro benchmarks.
Um relato publicado em 27 de setembro de 2025 apresenta os Energy-Based Transformers como alternativa à previsão do próximo token em uma única etapa. O método atribui uma pontuação de energia a candidatos e a reduz iterativamente por meio de passos de gradiente.
Nos testes descritos, com modelos de 44 milhões de parâmetros treinados no RedPajama-Data-v2, a abordagem superou transformers vanilla do mesmo tamanho em três de quatro benchmarks. Para entender o alcance do resultado, consulte o material original e verifique a configuração dos testes, os benchmarks e as comparações reportadas; o resumo disponível não detalha esses elementos.