Publicada em 11 de março de 2026, a nota descreve novos pipelines, cálculos reformulados e otimizações de memória para FlashAttention-4 em GPUs Blackwell.
A publicação relata que FlashAttention-4 usa novos pipelines, cálculos reformulados e otimizações de memória voltados para GPUs NVIDIA Blackwell. Em GPUs B200, informa ganhos de velocidade em relação ao cuDNN 9.13 e ao Triton, sem especificar valores no resumo disponível.
O resultado pode interessar a equipes que otimizam workloads de attention nessas GPUs; os ganhos de desempenho e de tempo de compilação devem ser verificados no ambiente de cada equipe. Consulte a publicação original e confira as configurações, métricas e condições dos testes antes de comparar resultados ou aplicar as otimizações.