Ir para o conteúdo

Radar ·

Estudo compara níveis de attention em 13 LLMs

Experimentos relatados com 13 LLMs apontaram o melhor resultado com 17% de attention, equivalente a duas de 12 camadas. A comparação pode informar escolhas de arquitetura, mas não estabelece uma regra universal.

Publicado em 12 de outubro de 2025, o relato descreve experimentos em que o autor treinou 13 LLMs com diferentes proporções de attention e linear attention DeltaNet. Entre as configurações testadas, 17% de attention — duas de 12 camadas — apresentou o melhor resultado, segundo o texto. O estudo pode ajudar engenheiros a ponderar o uso de attention completa e linear em arquiteturas de modelos.

O resumo disponível não informa métricas, conjuntos de dados ou condições experimentais; portanto, não permite avaliar a abrangência do resultado. Para verificar a conclusão, consulte o estudo original e confira como foram definidos os testes e os critérios de comparação. Se usar IA para estudar ou aplicar o material, evite inserir dados pessoais ou documentos confidenciais sem autorização e observe as políticas da organização.

Fonte original: Estudo compara níveis de attention em 13 LLMs

Curadoria · AgentLog

Receba o essencial

Privacidade, engenharia de IA e segurança no seu e-mail.

No máximo um resumo por dia, quando houver novidades. Cancele quando quiser. Usamos o e-mail verificado da sua conta.

Privacidade

Procurando outra coisa?AjudaContato