Artigo de 24 de outubro de 2025 analisa reverse KL e forward KL em reinforcement learning e questiona a aplicação direta da intuição sobre busca por modos e cobertura de massa.
Publicado em 24 de outubro de 2025, o artigo estuda a regularização por reverse KL e forward KL em reinforcement learning. O trabalho apresenta análises matemáticas e empíricas sobre como essas formas de regularização se comportam nesse contexto.
O resultado destacado é que a intuição habitual de que reverse KL busca modos enquanto forward KL cobre a distribuição não necessariamente se aplica ao RL. Engenheiros que usam regularização KL em reinforcement learning para modelos de linguagem podem precisar rever suposições sobre diversidade. Para conferir os detalhes e verificar as conclusões, consulte o artigo original e compare seus argumentos matemáticos e resultados empíricos com o resumo desta notícia.