Radar ·
vLLM reduz memória ao carregar linhas PLE do Qwen
Publicado em 1º de novembro de 2026, o relato informa que o vLLM passou a ler do safetensors original apenas as linhas necessárias da tabela PLE de 51B do Qwen. Em uma DGX Spark GB10, a memória carregada caiu de 99,09 para 72,09 GiB; o decode ficou dentro de cerca de 3,5% em c=1.
Um relato publicado em 1º de novembro de 2026 diz que o vLLM agora lê do arquivo safetensors original somente as linhas necessárias da tabela PLE de 51B do Qwen. Na máquina DGX Spark GB10 citada, a memória carregada caiu de 99,09 para 72,09 GiB, enquanto a diferença de velocidade no decode ficou dentro de aproximadamente 3,5% em c=1. A mudança pode facilitar servir modelos grandes com PLE em hardware de memória limitada, segundo o relato.
Para confirmar os números e entender as condições do teste, consulte a publicação original e verifique a configuração, a métrica de memória e o significado de c=1. Se usar IA para estudar ou aplicar esse resultado, evite incluir dados pessoais ou documentos internos; confira as conclusões em documentação e testes próprios.
Fonte original: vLLM lê linhas PLE do Qwen dos safetensors para reduzir memória