NatureBench avalia agentes de código em 90 tarefas
Publicado em 24 de junho de 2026, o briefing descreve um benchmark baseado em 90 tarefas de artigos da família Nature. O melhor agente superou o resultado publicado de referência em 17,8% das tarefas, segundo o post.
O NatureBench avalia agentes de código em 90 tarefas baseadas em artigos da família Nature. A comparação é feita com resultados publicados, sem busca na web nem acesso ao método original. Segundo o post, o melhor agente superou o SOTA publicado em 17,8% das tarefas. O benchmark busca medir se os agentes conseguem escolher métodos e reproduzir resultados de pesquisa.
Para consultar e verificar o achado, procure o post original e confira como as tarefas, a comparação e a métrica foram definidas; o resumo não informa esses detalhes. Se usar IA para estudar ou aplicar os métodos descritos, evite inserir dados internos ou identificáveis da organização, ou aplique a política de dados da sua equipe antes do envio.