Google DeepMind publica Life-Bench, e o melhor método avaliado acerta só 56% no teste de personalização

"Um benchmark multimodal totalmente sintético, verificado por humanos, de 11.811 pares de pergunta e resposta em 10 tarefas": é assim que os autores descrevem o Life-Bench na ficha do conjunto de dados. O material é assinado por Xia Hu, Honglei Zhuang, Brian Potetz, Alireza Fathi, Bo Hu, Babak Samari e Howard Zhou, do Google DeepMind, e a ficha está na página do dataset no Hugging Face (abre em nova aba), repositório público onde empresas e pesquisadores costumam publicar coleções de dados para treinar e avaliar modelos de inteligência artificial.

Para quem nunca encontrou a palavra: um benchmark é um teste padronizado, como uma prova aplicada a várias IAs com as mesmas questões, para comparar o desempenho delas. "Multimodal" significa que o teste mistura tipos de conteúdo, aqui imagens e texto. A novidade do Life-Bench está no foco. Em vez de perguntar se o modelo reconhece um conceito isolado, ele mede algo mais difícil: se a IA consegue acompanhar a vida de uma pessoa, juntando o que ela fez, com quem, quando e do que gosta, e responder perguntas que exigem esse quadro completo. É o tipo de habilidade que um assistente pessoal precisaria ter, e que hoje costuma falhar.

Como o teste foi montado

Os autores criaram dez "contas virtuais", batizadas de Vaccounts na documentação: histórias de vida fictícias, cada uma construída sobre 33 conceitos e 2.479 imagens históricas, mais 375 imagens de consulta. Nada ali vem de pessoas reais. O texto do cartão deixa isso explícito: todas as contas são sintéticas e "não correspondem a nenhum indivíduo real". A geração partiu de legendas de um subconjunto com licença Creative Commons do acervo YFCC100M, e as imagens de origem nunca entraram nas contas virtuais.

A diferença para os números divulgados em versões anteriores do artigo chama atenção. A primeira versão do paper no arXiv (abre em nova aba), publicada em 22 de fevereiro de 2026, falava em 16.315 perguntas. A versão revisada, de 25 de agosto de 2026, e a documentação final do dataset convergem em outro número: 11.811 pares de pergunta e resposta no conjunto principal de avaliação, mais 1.647 perguntas "de salto único" (as de resposta direta, sem necessidade de juntar informações) que somam 13.458 itens liberados. O repositório de avaliação orienta que os resultados sejam reportados apenas sobre as 11.811 perguntas principais. As imagens históricas e as dez contas virtuais, essas sim, aparecem iguais nas duas versões.

Cada pergunta e cada imagem passaram por verificação humana com cobertura completa, segundo a ficha do dataset, o que reduz o risco de questões mal formuladas ou respostas ambíguas. O arquivo ocupa 14,1 GB e está no formato parquet, um empacotamento de dados tabular comum em projetos de IA.

As dez tarefas

As perguntas se organizam em três grandes categorias, pela quantidade de evidência exigida: identificação de conceitos, entendimento de eventos e raciocínio agregado, quando é preciso combinar pistas espalhadas pela história da conta. Dentro delas, o repositório oficial no GitHub lista dez tipos de tarefa com estas quantidades:

A maioria esmagadora das questões é aberta: 9.150 delas pedem resposta em texto livre, contra 1.048 de múltipla escolha e 1.613 de resposta binária (sim ou não). Isso importa porque avaliar resposta aberta é mais delicado. A documentação explica a fórmula: múltipla escolha e questões binárias valem acerto exato, e as abertas são julgadas pelo próprio Gemini 3.6 Flash, um modelo da Google usado como "juiz" automático, técnica conhecida como LLM-as-a-Judge. A métrica principal é a precisão, ou seja, a proporção de respostas certas.

Os resultados divulgados pelos próprios autores

O artigo propõe junto um método próprio, chamado LifeGraph, que organiza a vida da conta virtual em um grafo de conhecimento, uma estrutura que conecta eventos, pessoas e preferências como pontos ligados por linhas. Na tabela de resultados do repositório, com recuperação de informação limitada a cinco itens (k=5) e usando o modelo Gemma-3 12B como base, o LifeGraph com profundidade 3 chegou a 56,04% de precisão, o melhor resultado fora do cenário ideal, e ficou à frente de métodos tradicionais de busca como o BM25 (51,59%) e de variantes de RAG, a técnica que alimenta o modelo com trechos recuperados de uma base de dados.

Dois recortes merecem destaque. Primeiro, o contraste entre dar tudo de uma vez e dar aos poucos: quando o modelo recebe o contexto completo da conta, a precisão vai a 86,55%; nos métodos de recuperação, que precisam buscar as informações relevantes, o melhor fica nos 56%. Segundo, os autores afirmam que a precisão "cai drasticamente conforme o escopo de evidência aumenta" e que nenhum paradigma dominou em todas as categorias. Nas tarefas de raciocínio agregado com o LifeGraph, os números registrados no repositório caem mesmo: 65,24% em preferência e persona, 32,75% em raciocínio temporal relacional e 19,76% em frequência e contagem, pouco acima do chute aleatório. Vale a ressalva: esses números vêm da avaliação feita pela própria equipe no paper e no repositório, não de uma replicação independente. O teste está disponível; cabe à comunidade agora rodá-lo e confirmar.

Licença e condições de uso

A divisão de direitos tem duas camadas. Os dados do Life-Bench (imagens, registros de contexto pessoal e pares de pergunta e resposta) estão sob licença Creative Commons Attribution-ShareAlike 4.0 (CC BY-SA 4.0), que permite reutilizar e adaptar o material com atribuição à origem e mantendo a mesma licença no resultado. O código de avaliação, por sua vez, aparece na listagem da organização no GitHub como Apache License 2.0, uma licença de software permissiva; o conteúdo integral do arquivo de licença não foi recuperado na consulta. Duas frases do cartão delimitam as expectativas: o dataset é "liberado para fins de avaliação" e "isto não é um produto oficial do Google". Quem pretender usar o teste em produto, portanto, encontra um aviso dos próprios autores de que se trata de ferramenta de pesquisa.

Sobre idioma, a ficha do Hugging Face indica inglês como língua do conjunto, e não há menção a conteúdo em português ou tradução. O acesso é pela própria plataforma: o card mostra o carregamento direto com a biblioteca datasets, por meio de load_dataset("google/life-bench", ...), o caminho padrão para qualquer pessoa que já trabalhe com a ferramenta, e o repositório é público, sem registro de restrição de acesso na página.

Perguntas frequentes