Post publicado em 8 de maio de 2026 propõe usar SAM nos cerca de 10% finais do mid-training para reduzir o esquecimento após fine-tuning ou quantização.
Um post de 8 de maio de 2026 afirma que controlar a sharpness com SAM nos cerca de 10% finais do mid-training pode reduzir em mais de 35% o esquecimento após fine-tuning ou quantização. Segundo o texto, isso pode ocorrer mesmo quando a qualidade do modelo-base piora; a proposta também sugere testar taxas de aprendizado até cerca de dez vezes maiores.
A ideia é equilibrar a qualidade inicial do modelo com a retenção posterior, mas os números são alegações do post, não uma validação independente apresentada no material. Para avaliar, consulte a publicação original e confira método, métricas e condições dos experimentos antes de aplicar os resultados. Ao usar IA para estudar o tema, não envie dados pessoais ou conteúdo interno sem verificar a política da organização.