Radar ·
Kinetic: motor de inferência em Rust que processa o prompt antes do Enter
Radar: motor de inferência open-source em Rust (Apache 2.0) que, segundo o post, começa a processar um prompt colado antes do Enter. O teste relatado em laptop com RTX 3060 mostra 0,13 s contra 10,95 s de outro motor local. Os números são do autor.
Radar: o Kinetic é um motor de inferência open-source escrito em Rust, licenciado sob Apache 2.0. Segundo o post original, ele começa a processar um prompt colado antes de o usuário apertar Enter. As técnicas descritas são de prefill e reuso de prompt, aplicadas à latência de inferência local.
O resultado relatado vem de um teste em laptop com RTX 3060: espera de 0,13 s contra 10,95 s do llama.cpp. Os números são do autor e não foram verificados de forma independente nesta curadoria. Para consultar e verificar, abra o post original pelo título e compare metodologia, versão do software, configuração de hardware e modelo usado no teste. Esta entrada descreve um achado público e não é um guia de uso da Rota Nacional.
Fonte original: Kinetic: motor de inferência em Rust que processa o prompt antes do Enter