LayerRoPE: pesos de normalização com profundidade codificada para Transformers
Pesquisa propõe o LayerRoPE, que codifica a profundidade nos pesos de normalização para lidar com o crescimento da norma dos estados ocultos entre camadas em Transformers muito profundos.
O item descreve o LayerRoPE, método que codifica a profundidade nos pesos de normalização. O objetivo é lidar com o crescimento da norma dos estados ocultos entre as camadas, fenômeno que pode desestabilizar o treinamento de Transformers muito profundos. Segundo o autor, o modelo Pre-Norm de 1.3B alcançou a mesma loss com 3.4x menos compute, e a escala se manteve estável até 512 camadas.
A relevância está no tema de arquitetura e estabilidade de treinamento de modelos de linguagem. O material não traz detalhes de implementação nem código neste resumo, e a Rota Nacional não oferece treinamento de arquiteturas nem reproduz esse método. Para verificar os números, consulte o artigo original indicado na fonte do Radar e compare a loss, o compute e o intervalo de camadas com o texto completo antes de citá-los.