Luce PFlash inclui cache de prefixo e ajustes de cold start
Atualização do servidor de inferência especulativa relata cache de prefixo, ajustes de cold start e correção de CUDA VMM. O autor informa ganhos de desempenho para Qwen3.6 27B.
Em 3 de maio de 2026, o registro do Luce PFlash anunciou cache de prefixo, ajustes de cold start e uma correção de CUDA VMM. O projeto é descrito como um servidor de inferência especulativa para modelos de linguagem em hardware heterogêneo e GPUs de consumo.
O autor relata desempenho cerca de 10 vezes mais rápido em warm e 2,5 vezes em cold, com autotuning de block sparse attention, para Qwen3.6 27B. Consulte o repositório original para examinar a implementação e verifique ali as condições e os métodos dos testes antes de comparar os números; o registro não fornece esses detalhes. Se usar IA para estudar ou aplicar o material, evite enviar código ou dados internos sem autorização e confira a política de dados da organização.