Guias ·
Fine-tuning jurídico com LoRA e a lição do hold-out set
Um autor relata ter feito fine-tuning de um Llama para uma tarefa jurídica com LoRA e notebooks Unsloth. O modelo memorizou o treino, ficou pior que o base em exemplos novos e a lição é validar com hold-out set.
Fonte: publicação do Radar de 6 de novembro de 2026. O autor descreve como aprendeu a fazer fine-tuning de um Llama para uma tarefa jurídica com LoRA, usando notebooks do Unsloth. Segundo o relato, o modelo memorizou os dados de treino e ficou pior que o modelo base em exemplos novos.
Passo 1: antes de treinar, separe um conjunto de validação (hold-out) que nunca entra no treino nem na escolha de hiperparâmetros. Passo 2: escolha um conjunto de prompts jurídicos representativos e rode o modelo base e o ajustado com os mesmos prompts, usando a API compatível com OpenAI ou Anthropic. Passo 3: compare as respostas lado a lado, com critérios definidos antes da execução.
Como a loss baixa no treino não prova generalização, a comparação no hold-out é o critério decisivo. Se o ajustado perde para o base nesses exemplos, trate o resultado como overfitting e não como melhoria. Os metadados de uso ficam no painel, e você pode conferir ali o volume de chamadas de cada modelo.
Confirmação: o texto original não traz métricas numéricas, então consulte-o para os detalhes do treino. Dados jurídicos costumam conter nomes, CPF e outros identificadores; a detecção de dados pessoais do Rota ocorre antes de qualquer modelo rodar, mas revise as amostras do hold-out antes de enviá-las.
Fonte original: Fine-tuning de um LLM jurídico com LoRA e a lição de overfitting com hold-out set