Skills ajudam mesmo um agente de IA?

Pesquisadores do Baidu pegaram 31 skills públicas de desenvolvimento web e rodaram em 50 projetos com quatro modelos: Sonnet, GPT, Qwen e DeepSeek. O resultado foi o contrário do esperado. Na média, com a skill o agente acertou menos. Pouca coisa menos, mas acertou menos. E gastou mais tokens, quase o dobro em três dos quatro modelos.

Só que o mais interessante não é isso. É um truque que eles fizeram no teste. Quando o agente usa uma skill, você muda duas coisas ao mesmo tempo. Muda o que ele sabe, porque a skill ensina regras e dá exemplos. E muda o tamanho do que ele tem que ler, porque a skill é um texto que entra no contexto do pedido. Então, se piorou, piorou por quê? Porque a skill ensina coisa errada ou porque tem texto demais atrapalhando?

Para separar as duas coisas, eles rodaram também uma "skill placebo", uma skill que não tinha nada a ver com o projeto, mas com o mesmo tamanho da skill certa. A pílula é igual, só não tem o princípio ativo do remédio. Se a skill inútil estraga tanto quanto a certa, o problema é o volume de texto. Se a inútil não estraga e a certa estraga, o problema é o conteúdo. E deu as duas coisas, dependendo do modelo.

No Sonnet, a skill inútil estragou quase tanto quanto a certa. No Qwen, estragou até mais. Ou seja, para eles o problema é tamanho: texto a mais distrai e pode atrapalhar. No Qwen, o conteúdo em si nem atrapalhou: o estrago veio do tamanho. Já no GPT e no DeepSeek foi o contrário: o tamanho quase não fez diferença e o que atrapalhou foi o que a skill mandava fazer. Isso importa porque, se o problema é tamanho, o conserto é enxugar a skill. Se é conteúdo, é reescrever o que ela ensina.

Outros três pontos interessantes do estudo. Primeiro: a piora ficou concentrada nas tarefas fáceis do começo do projeto, aquelas que o modelo já acertaria sozinho. A explicação provável é que a skill engessa o modelo e ele se corrige menos no meio do caminho. O segundo ponto é que a skill que ajuda um modelo não diz nada sobre outro. Num caso extremo, a mesma skill, no mesmo projeto, deu mais 30 pontos no Sonnet e tirou mais de 20 do DeepSeek. Terceiro, nas skills que funcionaram, o que mais compensou foi a lista curta de "não faça isso". Já exemplo de código na skill ajudou o DeepSeek e o Qwen e atrapalhou bastante o Sonnet.

O estudo reconhece uma limitação: no Sonnet, só repetir o teste já mudava o resultado quase tanto quanto a piora. Então cada caso isolado vale com cautela. A conclusão não é uma sentença de morte para as skills. O ponto é que skill não é peça que serve em qualquer lugar. É uma hipótese que você testa no seu projeto e no seu modelo antes de deixar ligada.