Recent verscheen een nieuwe publicatie van Michelle Vaccaro et al. in Nature Human Behaviour: “When combinations of humans and AI are useful: A systematic review and meta-analysis.” Dit onderzoek analyseerde 106 studies om te bepalen in welke situaties samenwerking tussen mensen en AI effectief is en wanneer dit juist nadelig kan zijn.

AI en mensen: niet altijd een succesvolle combinatie

Hoewel AI steeds vaker wordt ingezet om besluitvorming en creativiteit te ondersteunen, blijkt uit het onderzoek dat AI-mens teams niet altijd beter presteren. In de meeste gevallen presteerden deze teams slechter dan de beste individuele mens of AI, met een gemiddelde prestatiedaling van -0,23.

Wanneer helpt AI en wanneer niet?

• Creatieve taken: AI kan ondersteuning bieden bij creatieve processen zoals schrijven en ontwerpen. Hier zorgt samenwerking met AI vaak voor een betere output. De gemiddelde prestatieverbetering in creatieve taken was positief (gemiddelde effectgrootte: +0,19), wat suggereert dat AI menselijke creativiteit kan versterken.

• Besluitvorming: Bij taken waarbij keuzes moeten worden gemaakt, kan AI juist een negatieve invloed hebben. De combinatie van mens en AI leidde hier vaak tot slechtere beslissingen, met een gemiddelde prestatiedaling van -0,27.

• Detectietaken: In bepaalde detectietaken, zoals het identificeren van valse hotelbeoordelingen, presteerde AI alleen beter dan mens-AI teams. AI behaalde een nauwkeurigheid van 73%, terwijl mens-AI teams slechts 69% scoorden en mensen alleen 55%.

Wie is beter: de mens of de AI?

• Als mensen beter presteren dan AI, kan samenwerking de prestaties verbeteren (gemiddelde effectgrootte: +0,46).

• Als AI beter is dan mensen, leidt samenwerking vaak tot slechtere resultaten (gemiddelde effectgrootte: -0,54). Dit komt doordat mensen niet altijd optimaal gebruikmaken van AI-aanbevelingen.

AI verbetert individuele prestaties

Hoewel AI-mens teams niet altijd beter presteren dan het beste individu, kan AI individuen wel helpen hun prestaties te verbeteren. Dit bleek uit een gemiddelde prestatieverbetering van 0,64 wanneer AI werd gebruikt als ondersteunend hulpmiddel.

Vertrouwen in AI: een tweesnijdend zwaard

Een belangrijk knelpunt in de samenwerking tussen mens en AI is vertrouwen:

• Sommige mensen vertrouwen AI blindelings en nemen de antwoorden als vanzelfsprekend aan (overafhankelijkheid).

• Anderen negeren AI-aanbevelingen, zelfs wanneer deze correct zijn (onderafhankelijkheid).

• AI-verklaringen en vertrouwensscores (zoals “Ik ben 90% zeker”) hielpen niet significant bij het verbeteren van de samenwerking tussen mens en AI.

Hoe samenwerking met AI te optimaliseren

Om de samenwerking tussen mens en AI te verbeteren, zijn de volgende aanbevelingen belangrijk:

• Slimmere taakverdeling: AI moet worden ingezet voor taken waarin het excelleert, zoals patroonherkenning en data-analyse, terwijl mensen zich richten op taken waarvoor menselijke vaardigheden en interpretaties nodig zijn.

• Aangepaste AI-systemen: AI moet beter worden ontworpen om aan te sluiten bij menselijke besluitvormingsprocessen, bijvoorbeeld door te leren wanneer en hoe advies te geven.

• Training en bewustwording: Mensen moeten leren hoe ze AI beter kunnen inzetten en wanneer ze AI-resultaten kritisch moeten evalueren.

• Menselijke controlemechanismen: In high-stakes omgevingen (zoals gezondheidszorg en juridische besluitvorming) moet AI ondersteunend zijn, maar niet leidend, om menselijke controle en ethische overwegingen te waarborgen.

Voor werkgevers betekent dit dat AI een nuttig hulpmiddel kan zijn, maar dat kritische evaluatie noodzakelijk blijft. Door AI gericht in te zetten en te begrijpen waar de meerwaarde ligt, kan de efficiëntie en kwaliteit van het werk worden verbeterd.

Bron

Vaccaro, M., Almaatouq, A. & Malone, T. When combinations of humans and AI are useful: A systematic review and meta-analysis. Nat Hum Behav 8, 2293–2303 (2024). https://doi.org/10.1038/s41562-024-02024-1