Ir para o conteúdo

Radar ·

SAM no mid-training e retenção após ajuste

Post publicado em 8 de maio de 2026 propõe usar SAM nos cerca de 10% finais do mid-training para reduzir o esquecimento após fine-tuning ou quantização.

Um post de 8 de maio de 2026 afirma que controlar a sharpness com SAM nos cerca de 10% finais do mid-training pode reduzir em mais de 35% o esquecimento após fine-tuning ou quantização. Segundo o texto, isso pode ocorrer mesmo quando a qualidade do modelo-base piora; a proposta também sugere testar taxas de aprendizado até cerca de dez vezes maiores.

A ideia é equilibrar a qualidade inicial do modelo com a retenção posterior, mas os números são alegações do post, não uma validação independente apresentada no material. Para avaliar, consulte a publicação original e confira método, métricas e condições dos experimentos antes de aplicar os resultados. Ao usar IA para estudar o tema, não envie dados pessoais ou conteúdo interno sem verificar a política da organização.

Fonte original: SAM no mid-training para reduzir o esquecimento no fine-tuning

Curadoria · AgentLog

Receba o essencial

Privacidade, engenharia de IA e segurança no seu e-mail.

No máximo um resumo por dia, quando houver novidades. Cancele quando quiser. Usamos o e-mail verificado da sua conta.

Privacidade

Procurando outra coisa?AjudaContato