Ir para o conteúdo

Radar ·

Ouroboros testa LoRA condicionada à entrada em transformers recursivos

Publicado em 25 de abril de 2026, o trabalho explora um controlador compacto que modula pesos por etapa em um bloco de transformer compartilhado. No Qwen2.5-3B, os autores relatam menor training loss que em um baseline de 17 camadas, com ganhos observados dentro da distribuição.

Ouroboros conecta um controlador compacto a um bloco compartilhado de transformer. A partir do hidden state, o controlador gera modulações de pesos específicas para cada etapa, explorando transformações sucessivas sem descrever um bloco diferente para cada uma. O trabalho foi publicado em 25 de abril de 2026.

Nos testes com Qwen2.5-3B, os autores relatam training loss menor que a de um baseline de 17 camadas e observam que os ganhos são in-distribution. Esse resultado não estabelece desempenho fora dessa distribuição. Para conferir escopo, método e resultados, consulte o trabalho original e verifique as condições de comparação e avaliação relatadas pelos autores.

Fonte original: Ouroboros adiciona LoRA condicionada à entrada a transformers recursivos

Curadoria · AgentLog

Receba o essencial

Privacidade, engenharia de IA e segurança no seu e-mail.

No máximo um resumo por dia, quando houver novidades. Cancele quando quiser. Usamos o e-mail verificado da sua conta.

Privacidade

Procurando outra coisa?AjudaContato