Paper publicado em 7 de março de 2026 apresenta um benchmark com 4.876 trechos de direito penal e 100 perguntas complexas elaboradas por especialistas jurídicos para avaliar retrieval em sistemas de legal RAG.
Publicado em 7 de março de 2026, o paper apresenta o Legal RAG Bench, um benchmark de domínio específico para avaliar retrieval em sistemas de geração aumentada por recuperação voltados ao direito penal. O conjunto reúne 4.876 trechos da área e 100 perguntas complexas elaboradas por especialistas jurídicos. Segundo os autores, falhas de retrieval podem contribuir para respostas inventadas.
O trabalho interessa a equipes que avaliam sistemas jurídicos: oferece um conjunto de referência para testar a recuperação de conteúdo, mas não demonstra por si só a qualidade de um sistema em uso. Consulte o paper original para conferir método e resultados completos; ao estudá-lo ou aplicar suas ideias com IA, evite inserir documentos jurídicos sigilosos sem autorização e política adequada.