Artigo da ACL 2026 relata que usar 4 bits para keys e 2 para values pode funcionar bem na compressão de KV cache; inverter essas larguras de bits degrada bastante a precisão.
Publicado em 10 de julho de 2026, o resumo do artigo da ACL 2026 examina a compressão de KV cache. Segundo a publicação, a configuração de 4 bits para keys e 2 para values pode funcionar bem, enquanto inverter as larguras de bits degrada muito a precisão. O material destaca uma escolha que engenheiros podem avaliar ao ajustar o uso de memória, sem afirmar que esses resultados valem para todo modelo ou cenário.
Para verificar o achado, consulte o artigo original da ACL 2026 e confira como ele define a avaliação, os modelos e as condições de teste; esses detalhes não constam no resumo. Se usar IA para estudar ou aplicar o material, proteja dados da organização conforme sua política: evite inserir informações sensíveis ou aplique as regras de tratamento antes do envio.