Anthropic heeft onlangs een uniek pilot-experiment afgerond met de titel Project Deal, ontworpen om te testen hoe autonome AI-agenten met elkaar handel kunnen drijven. Door een gesloten marktplaats te creëren waar AI-agenten zowel als kopers als verkopers optreden, onderzocht het bedrijf de haalbaarheid van een toekomst waarin digitale entiteiten onafhankelijk onderhandelen en transacties uitvoeren.
Het experiment: hoe Project Deal werkte
Om dit concept in een gecontroleerde omgeving te testen, heeft Anthropic een geheime marktplaats opgezet met 69 medewerkers. Elke deelnemer kreeg een budget van $ 100 (verdeeld via cadeaubonnen) om goederen van zijn collega’s te kopen.
Het experiment was gestructureerd op vier verschillende marktplaatsen om verschillende variabelen te testen:
– De “echte” marktplaats: Deze versie maakte gebruik van de meest geavanceerde AI-modellen van Anthropic om alle deelnemers te vertegenwoordigen. Cruciaal was dat de deals die in deze omgeving werden gesloten, werden gehonoreerd en afgerond.
– Drie controlemarkten: Deze werden gebruikt voor vergelijkend onderzoek, waarbij werd getest hoe verschillende modelmogelijkheden het handelsproces beïnvloedden.
De resultaten waren verrassend robuust. Ondanks de kleinschaligheid faciliteerde het experiment 186 voltooide deals, wat een totale transactiewaarde van meer dan $4.000 vertegenwoordigt.
De kloof in de kwaliteit van agenten: een verborgen risico
Een van de belangrijkste bevindingen uit het onderzoek betreft de ongelijkheid tussen verschillende AI-modellen. Anthropic merkte op dat wanneer agenten werden aangedreven door geavanceerdere modellen, ze tijdens de onderhandelingen “objectief betere resultaten”** bereikten.
Er kwam echter een meer zorgwekkende trend naar voren: menselijke deelnemers merkten het verschil vaak niet op. Dit duidt op een potentiële ‘agent quality gap’, waarbij een gebruiker die wordt vertegenwoordigd door een minder capabel model consequent waarde kan verliezen in onderhandelingen zonder zich ooit te realiseren dat hij wordt overtroffen door een superieure intelligentie.
De belangrijkste observaties uit het onderzoek zijn onder meer:
- Modelsuperioriteit: Geavanceerde modellen zorgden consequent voor betere prijzen en voorwaarden.
- Gebrek aan gebruikersbewustzijn: Gebruikers konden grotendeels niet waarnemen wanneer hun AI-agent suboptimaal presteerde in vergelijking met anderen.
- Instructieneutraliteit: Interessant genoeg hadden de initiële instructies die aan de agenten werden gegeven geen significante invloed op de waarschijnlijkheid van een verkoop of de uiteindelijke onderhandelde prijs, wat erop wijst dat de onderliggende modelcapaciteiten de voornaamste motor van succes waren.
Waarom dit belangrijk is
Dit experiment verplaatst het gesprek van theoretische AI-mogelijkheden naar praktische economische implicaties. Terwijl we richting een tijdperk van ‘agentische workflows’ gaan – waarin AI niet alleen vragen beantwoordt maar taken voltooit – naderen we een realiteit waarin AI-naar-AI-handel een standaardonderdeel van de wereldeconomie zou kunnen worden.
De bevindingen roepen kritische vragen op over de eerlijkheid van de markt
