Energy-Based Transformers refinam previsões do próximo token
Em testes com 44 milhões de parâmetros no RedPajama-Data-v2, o método superou transformers vanilla de mesmo tamanho em três de quatro benchmarks.
Energy-Based Transformers atribuem uma pontuação de energia a candidatos para o próximo token. Em vez de escolher a previsão em uma única etapa, reduzem iterativamente a energia com passos de gradiente.
Nos testes relatados, o modelo tinha 44 milhões de parâmetros e foi avaliado no RedPajama-Data-v2. Superou transformers vanilla de mesmo tamanho em três de quatro benchmarks; o resultado não representa uma vitória em todos os testes.
Para estudar a abordagem, compare-a com uma referência de tamanho equivalente e mantenha os dados e as condições de avaliação consistentes. Registre separadamente cada benchmark e o custo de computação, para não confundir melhoria de qualidade com diferenças de configuração.
Se usar IA para analisar ou aplicar o material, não envie dados pessoais ou informações internas sem autorização. Aplique a política da organização, use dados minimizados e sintéticos quando possível e confira as conclusões antes de incorporá-las a um sistema.