Radar ·
tiny-llm: curso open-source para construir um motor de inferência estilo vLLM
Curso open-source de quatro semanas que ensina a construir um pequeno motor de inferência estilo vLLM em torno do Qwen3, cobrindo attention, KV cache, pesos de 4 bits, kernels e batching, com execução em Apple Silicon usando MLX.
Segundo a fonte Radar de 4 de novembro de 2026, o tiny-llm é um curso open-source de quatro semanas em que o estudante constrói um pequeno motor de inferência estilo vLLM em torno do modelo Qwen3. O conteúdo cobre attention, KV cache, pesos quantizados de 4 bits, kernels em C++ e Metal e batching. Segundo a descrição, a prática é guiada e medida com KV cache, pesos quantizados e batching, e pode ser executada em um notebook sem GPU NVIDIA, em Apple Silicon com MLX.
O material é relevante para equipes que querem entender o que acontece dentro de um servidor de inferência, mas não descreve nenhum serviço ou capacidade da Rota Nacional. Para verificar o conteúdo, consulte a página original do projeto indicada na fonte Radar e confira o número de semanas, os tópicos e os requisitos de hardware antes de adotar o curso. Se você usar IA para estudar o material, não cole código interno, dados de clientes ou identificadores pessoais em nenhum modelo; substitua essas informações por marcadores antes da consulta.
Fonte original: tiny-llm: curso open-source para construir um motor de inferência estilo vLLM