Antes do banco vetorial, teste o grep

Dois papers tratam de agente de IA que faz buscas para encontrar informação num banco de dados ou numa base de conhecimento.

O primeiro discute a busca vetorial, aquela busca por sentido que virou a receita padrão e que serve para achar "carro" quando você digitou "automóvel". A equipe da InfiniFlow chegou a 85% de acerto numa prova de busca bem difícil, o BrowseComp-Plus, usando só busca por palavra (o grep) e um buscador clássico chamado BM25. Nada de vetor.

O êxito vem de como o agente trabalhou. O banco vetorial faz sentido quando a busca é de um tiro só: entra a pergunta, sai a resposta, acabou. No caso de agente de IA, ele busca, lê o que voltou, vê o que está faltando e tenta de novo com outras palavras. Se "automóvel" não achou nada, o próprio agente ajusta a próxima busca para "carro". O trabalho de entender o sentido, que era do vetor, agora pode ser feito pelo agente de IA. Quando a equipe da InfiniFlow colocou o vetor junto, a precisão caiu. Virou uma segunda opinião, que não trazia nada novo e ainda brigava com a busca em que o agente já confiava.

O segundo paper é de pesquisadores de Toronto, Waterloo e outras universidades e não discute propriamente a busca por vetor. Ele parte da busca por palavra quando a pergunta vem com várias pistas juntas, do tipo "quem é a pessoa que nasceu em tal década, trabalhou em tal lugar e escreveu sobre tal assunto". O agente costuma jogar todas as pistas numa busca só e o que os autores explicam é que, dessa forma, volta um resultado fraco, que o agente tem de perder tempo consertando depois, com o contexto cheio de lixo. A alternativa foi separar as diversas pistas. Em média, o próprio modelo separou quase 10 pistas por pergunta e cada pista virou uma busca separada. Depois juntaram tudo, ordenaram pelo que mais responde à pergunta inteira e entregaram isso ao agente como ponto de partida. O acerto subiu de 5 a 11 pontos, dependendo do modelo. Com o GPT-5.5 foi de 83 para 90% na mesma prova referida antes, o BrowseComp-Plus, embora não se possa contrastar o 85% da InfiniFlow com os 90% daqui, já que os modelos usados são diferentes.

No teste da InfiniFlow, o custo foi de cerca de 3 milhões de tokens por pergunta. Segundo eles, o agente que busca desse jeito resolveu em grande parte o problema do acerto, mas houve certo desperdício: o agente repete busca, relê documento e enche o contexto com coisa que não usa efetivamente para dar a resposta. O segundo também aumentou a precisão da resposta, mas também usou IA para quebrar a pergunta e ordenar o resultado. Os dois testes foram em acervo fixo de documentos e não na internet aberta.

A lição que se pode tirar desses estudos é que, antes de montar um banco vetorial, é preciso testar se o agente consegue resolver a demanda só com grep e BM25. Outra é que, em pergunta com muitas pistas, pode valer a pena quebrar a pergunta em várias pistas e fazer buscas separadas pista a pista, depois juntar o que voltou e escolher o que mais responde à pergunta inteira.