Radar ·
Fork do llama.cpp reporta modelo de 284B em CPU com 64GB de RAM
Um fork modificado do llama.cpp, chamado llama-modchip, é relatado como capaz de rodar um modelo de 284B parâmetros totais em 64GB de RAM DDR5, sem GPU, usando quantização de baixo bit e kernels AVX2 e AVX-512 personalizados.
O relato descreve o llama-modchip, um fork modificado do llama.cpp, que reportadamente executa um modelo de 284B parâmetros no total, com cerca de 13B ativos, em 64GB de RAM DDR5 e sem GPU. Os ganhos atribuídos vêm de quantização de baixo bit e de kernels AVX2 e AVX-512 personalizados. A fonte apresenta inferência apenas em CPU de um modelo grande como demonstração de desempenho.
Os números são reportados pelo próprio desenvolvedor e não foram verificados nesta nota. A fonte não traz metodologia completa, latência, qualidade das respostas ou configuração de hardware além da RAM citada. Para conferir, consulte o repositório e a documentação original do fork, procure benchmarks independentes e reproduza o teste em ambiente próprio antes de tirar conclusões. Esta nota não indica que a Rota Nacional execute esse modelo ou use esse fork.