Paper sobre um ano de tráfego de LLM em produção relata mudanças nos workloads, reutilização de prefixos de curta duração e tradeoffs entre localidade do KV cache e balanceamento de carga.
Publicado em 21 de agosto de 2026, o paper analisa um ano de tráfego de LLM em produção. O estudo relata mudanças nos workloads, reutilização de prefixos de curta duração e tradeoffs entre a localidade do KV cache e o balanceamento de carga. Segundo o resumo, políticas FIFO/LRU podem igualar ou superar políticas de cache mais complexas.
Os resultados podem orientar escolhas de cache e balanceamento em sistemas de serving, mas não determinam uma política ideal para todo ambiente. Consulte o paper original e verifique métodos, métricas e resultados antes de aplicar as conclusões. Se usar IA para estudar traces ou documentação interna, evite enviar dados identificáveis e aplique a política de privacidade da organização.