Destilação com informação privilegiada pode afetar raciocínios longos
Estudo avalia self-distillation com informação privilegiada em modelos de raciocínio e relata degradação em trajetórias longas em cinco modelos testados no AIME.
Publicado em 7 de julho de 2026, o artigo estuda self-distillation com informação privilegiada — por exemplo, fornecer a solução de um problema de matemática — em modelos de raciocínio. Nos testes no AIME, relata degradação em trajetórias longas de raciocínio em cinco modelos Qwen3 e OLMo.
O estudo aponta um possível trade-off: informação privilegiada pode ajudar a melhorar modelos de raciocínio, mas também prejudicar cadeias longas. Para avaliar o resultado, consulte o artigo original e confira nele os métodos, os modelos, as métricas e os detalhes dos testes; o resumo disponível não especifica esses elementos.