Radar ·
Pithos: motor de inferência em C para modelos LFM com experts em GPU pequena
Radar registra o Pithos, motor de inferência em C para modelos LFM que mantém experts frequentes na VRAM e executa o restante na CPU. O desenvolvedor informa resultados em uma GTX 1650, acima de uma base com CUDA.
Segundo o texto arquivado no Radar, publicado em 2 de novembro de 2026, o Pithos é um motor de inferência escrito em C para os modelos LFM. Ele mantém na VRAM os experts usados com mais frequência, executa os demais na CPU e lê pesos do disco quando necessário. O desenvolvedor relata 17,5 a 21,9 tokens por segundo, contra 11,2 a 11,3 tps de uma base com CUDA, em uma GTX 1650. O trecho disponível é truncado, então as condições completas do teste não constam aqui.
O ponto técnico é o offloading híbrido de experts em GPU pequena, um trade-off relevante para inferência local com pouca memória. A Rota Nacional não oferece esse motor nem resolve esse problema de engenharia. Para verificar, consulte a publicação original do desenvolvedor, reproduza o benchmark com seu hardware e modelo, e confirme a versão testada. Se a equipe usar o material para estudo, não cole dados pessoais ou de clientes em ferramentas não controladas.
Fonte original: Pithos: motor de inferência em C para modelos LFM da Liquid AI