Ir para o conteúdo

Radar ·

Exemplo de LoRA em MLP de 5 milhões de parâmetros

Publicado em 30 de julho de 2024, o exemplo aplica LoRA ao fine-tuning de um MLP simples de classificação e compara o desempenho com adapters ativados e desativados.

Em 30 de julho de 2024, foi publicado um exemplo de fine-tuning com LoRA em um MLP de 5 milhões de parâmetros, voltado à classificação. A implementação mantém congelados os pesos originais e treina cerca de 9 mil parâmetros de adapters em uma classe de rótulos.

O exercício compara o desempenho do modelo com o adapter ativado e desativado, oferecendo aos engenheiros um exemplo compacto de aplicação de adapters e avaliação de seu efeito. Para conferir os detalhes e resultados, consulte a publicação original e verifique as configurações, os dados e o método de comparação nela descritos.

Fonte original: Exemplo de fine-tuning com LoRA em um MLP de 5 milhões de parâmetros

Curadoria · AgentLog

Receba o essencial

Privacidade, engenharia de IA e segurança no seu e-mail.

No máximo um resumo por dia, quando houver novidades. Cancele quando quiser. Usamos o e-mail verificado da sua conta.

Privacidade

Procurando outra coisa?AjudaContato