Taper cossenoidal melhora perplexidade sem ampliar orçamento
Paper investiga a distribuição de parâmetros entre camadas e relata menor perplexidade com um taper cossenoidal em várias arquiteturas e escalas, sem aumento de parâmetros ou FLOPs.
Publicado em 5 de julho de 2026, o trabalho investiga se distribuir a capacidade de modo não uniforme entre as camadas pode melhorar a qualidade de modelos de linguagem sem elevar o orçamento de parâmetros ou de computação. A abordagem relatada usa um taper cossenoidal, com mais capacidade nas camadas iniciais.
Segundo o relato, o método melhorou a perplexidade em várias arquiteturas e escalas, sem aumentar o número de parâmetros ou os FLOPs. Para avaliar o resultado, consulte o paper original e verifique nele as condições experimentais, as comparações e as métricas; o resumo disponível não especifica esses detalhes. Se usar IA para estudar ou aplicar o método, evite enviar dados pessoais ou documentos internos sem necessidade e confira as conclusões nas fontes originais.