Publicado em 30 de julho de 2024, o exemplo aplica LoRA ao fine-tuning de um MLP simples de classificação e compara o desempenho com adapters ativados e desativados.
Em 30 de julho de 2024, foi publicado um exemplo de fine-tuning com LoRA em um MLP de 5 milhões de parâmetros, voltado à classificação. A implementação mantém congelados os pesos originais e treina cerca de 9 mil parâmetros de adapters em uma classe de rótulos.
O exercício compara o desempenho do modelo com o adapter ativado e desativado, oferecendo aos engenheiros um exemplo compacto de aplicação de adapters e avaliação de seu efeito. Para conferir os detalhes e resultados, consulte a publicação original e verifique as configurações, os dados e o método de comparação nela descritos.