BF16 no FlashAttention pode instabilizar gradientes
Relato de 29 de setembro de 2026 aponta que o arredondamento BF16 no FlashAttention pode quebrar uma simetria do gradiente do softmax e levar a gradientes explosivos no fim do treinamento. Os autores propõem o GProj como correção.
Em 29 de setembro de 2026, os autores relataram que o arredondamento BF16 no FlashAttention pode quebrar uma simetria do gradiente do softmax e fazer os gradientes explodirem no fim do treinamento. O problema é relevante para engenheiros que treinam modelos com kernels fused de attention em BF16.
A proposta apresentada é o GProj, descrito como uma correção para o problema. Para verificar os detalhes, consulte o material original e confira como ele caracteriza a instabilidade e a correção; o resumo disponível não informa resultados quantitativos nem condições específicas de avaliação. Se usar IA para estudar ou aplicar o método, não envie código ou dados internos sem autorização.