Ir para o conteúdo

Radar ·

KArAt propõe attention learnable sem softmax

Publicado em 27 de outubro de 2025, o relato apresenta a Kolmogorov-Arnold Attention (KArAt), alternativa à attention com softmax fixo. Os resultados em vision transformers são mistos, e variantes low-rank buscam reduzir o uso de memória.

Publicado em 27 de outubro de 2025, o relato apresenta a Kolmogorov-Arnold Attention (KArAt), uma alternativa learnable à attention com softmax fixo. A proposta explora interações de attention potencialmente mais inspecionáveis e descreve variantes low-rank voltadas a reduzir o uso de memória.

Os resultados relatados em vision transformers são mistos, e o texto destaca trade-offs entre tamanhos de modelo; não informa um vencedor universal. Para avaliar as afirmações, consulte o paper e o post originais e confira neles os experimentos, as configurações e as medidas reportadas. Se usar IA para estudar ou aplicar o método, não envie dados pessoais ou material confidencial sem autorização.

Fonte original: KArAt substitui softmax por attention learnable

Curadoria · AgentLog

Receba o essencial

Privacidade, engenharia de IA e segurança no seu e-mail.

No máximo um resumo por dia, quando houver novidades. Cancele quando quiser. Usamos o e-mail verificado da sua conta.

Privacidade

Procurando outra coisa?AjudaContato