O relato propõe aplicar SAM nos cerca de 10% finais do mid-training para controlar a sharpness. Segundo o texto, essa abordagem pode reduzir em mais de 35% o esquecimento depois de fine-tuning ou quantização, mesmo que a qualidade do modelo-base piore. Também sugere testar taxas de aprendizado de até aproximadamente dez vezes maiores.
Esses números são uma afirmação do relato, não uma garantia para outros modelos ou conjuntos de dados. Antes de adotar a receita, defina métricas para a qualidade do modelo-base e para a retenção das capacidades relevantes após cada etapa.
Compare execuções com e sem SAM, mantendo os demais fatores tão constantes quanto possível. Registre as taxas de aprendizado testadas, os dados e as métricas; avalie o resultado tanto antes quanto depois do fine-tuning ou da quantização.
Se usar IA para estudar ou aplicar o método, evite enviar dados internos ou pessoais sem autorização. Na Rota Nacional, a política organizacional detecta dados pessoais antes da execução e pode substituí-los por marcadores, removê-los ou bloquear a solicitação; metadados de uso ficam no painel, e prompts e respostas brutos são mantidos apenas no arquivo de auditoria com AES-256-GCM.