LightRetriever acelera recuperação de texto com LLMs
Artigo publicado em 5 de março de 2026 relata que o LightRetriever codifica consultas 1.000 vezes mais rápido e alcança throughput 10 vezes maior, mantendo 95% do desempenho nos benchmarks.
Publicado em 5 de março de 2026, o artigo descreve o LightRetriever, que mantém offline o processamento de documentos com LLMs e usa um encoder de consulta mais simples durante a inferência. O texto relata codificação de consultas 1.000 vezes mais rápida e throughput 10 vezes maior, mantendo 95% do desempenho nos benchmarks.
O trabalho explora maneiras de reduzir custos de inferência online na recuperação baseada em LLMs. Para avaliar os números e entender as condições dos testes, consulte o artigo original e confira nele os métodos, benchmarks e resultados; se usar IA para estudar ou aplicar o material, evite inserir dados pessoais ou documentos confidenciais.