Estudo sobre distilação: a direção do KL por token importa mais que o rollout
Estudo sistemático relata que a direção do KL por token pesa mais que a política de rollout na distilação on-policy versus off-policy, questionando a ideia de que rollouts on-policy são inerentemente melhores.
Segundo o resumo publicado, um estudo sistemático relata que a direção do KL por token importa mais do que a política de rollout na distilação on-policy versus off-policy. O trabalho questiona a suposição de que rollouts on-policy são inerentemente melhores.
O resultado pode orientar escolhas de políticas de rollout e objetivos de KL ao projetar receitas de distilação. O texto disponível não traz métricas, modelos, escala ou detalhes experimentais adicionais, então a leitura deve ser feita no estudo original, identificado pelo título, na fonte indicada pelo curador. A Rota Nacional não treina nem destila modelos, e este item não descreve um recurso da plataforma.