Ir para o conteúdo

Radar ·

Luce PFlash inclui cache de prefixo e ajustes de cold start

Atualização do servidor de inferência especulativa relata cache de prefixo, ajustes de cold start e correção de CUDA VMM. O autor informa ganhos de desempenho para Qwen3.6 27B.

Em 3 de maio de 2026, o registro do Luce PFlash anunciou cache de prefixo, ajustes de cold start e uma correção de CUDA VMM. O projeto é descrito como um servidor de inferência especulativa para modelos de linguagem em hardware heterogêneo e GPUs de consumo.

O autor relata desempenho cerca de 10 vezes mais rápido em warm e 2,5 vezes em cold, com autotuning de block sparse attention, para Qwen3.6 27B. Consulte o repositório original para examinar a implementação e verifique ali as condições e os métodos dos testes antes de comparar os números; o registro não fornece esses detalhes. Se usar IA para estudar ou aplicar o material, evite enviar código ou dados internos sem autorização e confira a política de dados da organização.

Fonte original: Luce PFlash adiciona prefix caching e tuning de cold start

Curadoria · AgentLog

Receba o essencial

Privacidade, engenharia de IA e segurança no seu e-mail.

No máximo um resumo por dia, quando houver novidades. Cancele quando quiser. Usamos o e-mail verificado da sua conta.

Privacidade

Procurando outra coisa?AjudaContato