Ir para o conteúdo

Radar ·

Transformers com energia refinam a previsão do próximo token

Publicado em 27 de setembro de 2025, o relato descreve uma abordagem que reduz iterativamente a energia atribuída a candidatos para o próximo token. Em testes com 44 milhões de parâmetros no RedPajama-Data-v2, ela superou transformers vanilla do mesmo tamanho em três de quatro benchmarks.

Um relato publicado em 27 de setembro de 2025 apresenta os Energy-Based Transformers como alternativa à previsão do próximo token em uma única etapa. O método atribui uma pontuação de energia a candidatos e a reduz iterativamente por meio de passos de gradiente.

Nos testes descritos, com modelos de 44 milhões de parâmetros treinados no RedPajama-Data-v2, a abordagem superou transformers vanilla do mesmo tamanho em três de quatro benchmarks. Para entender o alcance do resultado, consulte o material original e verifique a configuração dos testes, os benchmarks e as comparações reportadas; o resumo disponível não detalha esses elementos.

Fonte original: Energy-Based Transformers refinam previsões do próximo token com gradient steps

Curadoria · AgentLog

Receba o essencial

Privacidade, engenharia de IA e segurança no seu e-mail.

No máximo um resumo por dia, quando houver novidades. Cancele quando quiser. Usamos o e-mail verificado da sua conta.

Privacidade

Procurando outra coisa?AjudaContato