Radar ·
Poda de camadas do Qwen3-8B-Base com LaCo reduz o modelo em 16,7%
Post relata a remoção de até 10 camadas do Qwen3-8B-Base com LaCo. Com 6 camadas removidas, o modelo fica 16,7% menor, com 78% a 94% das pontuações de raciocínio mantidas e razão de perplexidade de 1,68x, segundo o autor.
Segundo o post, o autor removeu até 10 camadas do Qwen3-8B-Base usando LaCo (Layer Collapse). Com 6 camadas removidas, o modelo fica 16,7% menor, e o autor afirma manter entre 78% e 94% das pontuações de raciocínio, com razão de perplexidade de 1,68x. O relato mostra um trade-off entre poda de camadas, tamanho do modelo e qualidade, útil para avaliar inferência mais barata.
Este relato não descreve um recurso da Rota Nacional. Para estudar o material com IA, não cole dados pessoais, CPF, CNPJ, e-mails ou credenciais em ferramentas externas. Para verificar métricas, benchmarks e condições do experimento, consulte o post original, pois o resumo do Radar não traz esses detalhes.
Fonte original: Poda de camadas do Qwen3-8B-Base com LaCo para reduzir o tamanho do modelo