Você deixaria um agente negociar por você? O experimento que expõe o limite da IA

Você deixaria um agente negociar por você? O experimento que expõe o limite da IA

Negociar costuma ser descrito como uma disputa entre ofertas, preços e concessões. Mas uma negociação pode começar a dar errado antes da primeira proposta, quando quem age em nosso nome não compreende o que é prioridade, o que é aceitável e qual limite não pode ser ultrapassado. Em 24 de setembro, a Anthropic publicou os resultados do Project Swap, um experimento com agentes Claude em seis escritórios da empresa. Cada participante conversou brevemente com seu agente sobre o tipo de livro que gostaria de receber. Depois, os agentes foram para um “pregão” digital, no qual fizeram propostas, recusaram ofertas e concluíram trocas com os agentes de outras pessoas. O gargalo estava na preferência A Anthropic comparou as escolhas estimadas pelo agente com rankings feitos pelos próprios participantes. A concordância foi de 61% entre pares de livros. Na análise do resultado, a empresa estimou que 85% da distância em relação à melhor combinação possível veio da imprecisão na representação das preferências; a dinâmica de negociação respondeu pelos 15% restantes. Isso muda a pergunta empresarial. O agente pode até negociar bem e ainda assim defender mal o interesse de quem o autorizou. Uma compra, uma seleção de fornecedor ou uma decisão de contratação não depende apenas de encontrar uma opção disponível. Depende de compreender prioridades, restrições, riscos e concessões aceitáveis. O experimento também tem limites importantes. Os participantes eram funcionários da Anthropic, os agentes eram modelos da própria empresa e o mercado tinha regras controladas. O resultado não prova que agentes estejam prontos para negociar contratos, preços ou decisões de alto impacto. A disposição média de entregar cerca de 30% do orçamento anual de livros a um agente pertence àquele grupo, não ao mercado em geral. A decisão para a empresa Escolha dez decisões recorrentes e compare, em paralelo, o que uma pessoa faria e o que o agente recomendaria. Registre onde houve concordância, onde a pessoa precisou corrigir a preferência e quais erros seriam inaceitáveis. Antes de permitir qualquer ação, defina limites objetivos, direito de veto, registro da negociação e condição de escalonamento. O agente só deve ganhar autonomia depois de demonstrar que entendeu o objetivo — não apenas que sabe fazer uma proposta. Fonte consultada Ponto-chave Anthropic — Project Swap: What happens when agents trade for us?