Publicado em 26 de setembro de 2025, o texto da Modal descreve a engenharia reversa do FlashAttention-4 e atribui um ganho de desempenho de 20% a mudanças no cálculo e na execução.
Em 26 de setembro de 2025, a Modal publicou uma análise de engenharia reversa do FlashAttention-4, voltada a engenheiros que exploram otimizações de kernels para cargas de trabalho de attention. O texto destaca assincronia, expoentes aproximados rápidos e um softmax mais eficiente.
Segundo a publicação, um polinômio cúbico, melhorias na estabilidade numérica e mais assincronia contribuíram para um ganho de desempenho de 20%. Consulte o texto original da Modal para verificar métodos e contexto; esses resultados não demonstram, por si só, que a mesma otimização funcionará em outros kernels ou ambientes.