Experimentos relatados com 13 LLMs apontaram o melhor resultado com 17% de attention, equivalente a duas de 12 camadas. A comparação pode informar escolhas de arquitetura, mas não estabelece uma regra universal.
Publicado em 12 de outubro de 2025, o relato descreve experimentos em que o autor treinou 13 LLMs com diferentes proporções de attention e linear attention DeltaNet. Entre as configurações testadas, 17% de attention — duas de 12 camadas — apresentou o melhor resultado, segundo o texto. O estudo pode ajudar engenheiros a ponderar o uso de attention completa e linear em arquiteturas de modelos.
O resumo disponível não informa métricas, conjuntos de dados ou condições experimentais; portanto, não permite avaliar a abrangência do resultado. Para verificar a conclusão, consulte o estudo original e confira como foram definidos os testes e os critérios de comparação. Se usar IA para estudar ou aplicar o material, evite inserir dados pessoais ou documentos confidenciais sem autorização e observe as políticas da organização.