Pular para o conteúdo
Rota Nacional

Radar ·

NoRA muda a inicialização do LoRA

Post de 2 de setembro de 2026 descreve o NoRA, que normaliza as colunas da matriz A do LoRA na inicialização, e relata resultados médios superiores aos de vários métodos em SFT e RLVR.

Publicado em 2 de setembro de 2026, o post apresenta o Normalized Low-Rank Adaptation (NoRA), uma abordagem que normaliza as colunas da matriz A do LoRA durante a inicialização. Segundo o texto, o NoRA-init alcança a maior parte dos ganhos sem manter a normalização ao longo do treinamento.

O post relata médias superiores às de vários métodos de adaptação em SFT e RLVR, sem detalhar aqui valores ou condições experimentais. A proposta pode interessar a quem estuda treinamento com LoRA; consulte o post original para verificar métodos, métricas e limites dos resultados. Se usar IA para analisar o material, evite inserir dados internos ou pessoais da organização.

Receber novos artigos

Privacidade, engenharia de IA e segurança no seu e-mail.

Rota Nacional

Leve a privacidade para o seu processo.

30 dias, sem cartão, com quota inicial. Depois, crédito por Pix a partir de R$ 5,00.

Testar grátis