Ouroboros testa LoRA condicionada à entrada em transformers recursivos
Publicado em 25 de abril de 2026, o trabalho explora um controlador compacto que modula pesos por etapa em um bloco de transformer compartilhado. No Qwen2.5-3B, os autores relatam menor training loss que em um baseline de 17 camadas, com ganhos observados dentro da distribuição.
Ouroboros conecta um controlador compacto a um bloco compartilhado de transformer. A partir do hidden state, o controlador gera modulações de pesos específicas para cada etapa, explorando transformações sucessivas sem descrever um bloco diferente para cada uma. O trabalho foi publicado em 25 de abril de 2026.
Nos testes com Qwen2.5-3B, os autores relatam training loss menor que a de um baseline de 17 camadas e observam que os ganhos são in-distribution. Esse resultado não estabelece desempenho fora dessa distribuição. Para conferir escopo, método e resultados, consulte o trabalho original e verifique as condições de comparação e avaliação relatadas pelos autores.