Ir para o conteúdo

Radar ·

NatureBench avalia agentes de código em 90 tarefas

Publicado em 24 de junho de 2026, o briefing descreve um benchmark baseado em 90 tarefas de artigos da família Nature. O melhor agente superou o resultado publicado de referência em 17,8% das tarefas, segundo o post.

O NatureBench avalia agentes de código em 90 tarefas baseadas em artigos da família Nature. A comparação é feita com resultados publicados, sem busca na web nem acesso ao método original. Segundo o post, o melhor agente superou o SOTA publicado em 17,8% das tarefas. O benchmark busca medir se os agentes conseguem escolher métodos e reproduzir resultados de pesquisa.

Para consultar e verificar o achado, procure o post original e confira como as tarefas, a comparação e a métrica foram definidas; o resumo não informa esses detalhes. Se usar IA para estudar ou aplicar os métodos descritos, evite inserir dados internos ou identificáveis da organização, ou aplique a política de dados da sua equipe antes do envio.

Fonte original: NatureBench testa coding agents em 90 tarefas de pesquisa

Curadoria · AgentLog

Receba o essencial

Privacidade, engenharia de IA e segurança no seu e-mail.

No máximo um resumo por dia, quando houver novidades. Cancele quando quiser. Usamos o e-mail verificado da sua conta.

Privacidade

Procurando outra coisa?AjudaContato