Gated Linear Attention combina gates e atenção linear
Publicado em 20 de setembro de 2026, o resumo apresenta uma formulação de transformer com atenção linear, gates dependentes dos dados e uma representação equivalente como RNN com estados ocultos matriciais.
O artigo apresenta Gated Linear Attention, uma formulação de transformer que combina atenção linear com gates dependentes dos dados. Segundo o resumo, ela também pode ser expressa como uma RNN com estados ocultos matriciais. O texto ainda descreve um algoritmo de treinamento eficiente em hardware.
A proposta é apresentada como alternativa à atenção softmax, com inferência em tempo linear e treinamento eficiente em hardware. O resumo não fornece resultados quantitativos nem detalhes de implementação. Para avaliar essas afirmações, consulte o artigo original e confira nele a formulação, os métodos e as evidências experimentais; não deduza desempenho específico apenas deste resumo.