Uit een recent onderzoek van Salesforce blijkt dat AI-agenten op basis van grote taalmodellen (LLM’s) nog niet voldoen aan de eisen van klantrelatiebeheer (CRM) en bovendien onvoldoende bewust zijn van vertrouwelijkheidsnormen.
Onder leiding van Salesforce-onderzoeker Kung-Hsiang Huang ontwikkelde een academisch team een nieuwe benchmark genaamd CRMArena-Pro, waarmee de prestaties van AI-agenten in een realistische CRM-omgeving werden getest. De resultaten zijn zorgwekkend: AI-agenten behaalden slechts een succesratio van 58 procent bij eenvoudige, enkelvoudige taken. Wanneer een taak meerdere stappen vereiste, daalde de prestatie zelfs naar 35 procent.
Schenden vertrouwelijke klantgegevens
Een ander belangrijk aandachtspunt is hoe agenten omgaan met vertrouwelijke klantgegevens. Volgens het onderzoeksrapport dat eind vorige maand verscheen tonen zij weinig besef van vertrouwelijkheid wat weliswaar te verbeteren is met gerichte prompts maar vaak ten koste gaat van de taakuitvoering.
CRM-vaardigheden
Het Salesforce AI Research-team bekritiseert bestaande benchmarks, die volgens hen tekortschieten in het beoordelen van AI-agenten op praktische CRM-vaardigheden en de omgang met gevoelige data. Met behulp van gesimuleerde data in een Salesforce-sandboxomgeving onderzoekt CRMArena-Pro hoe een AI-agent taken uitvoert op basis van gebruikersvragen, waarbij hij kan kiezen tussen het doen van een API-oproep of het stellen van vervolgvragen.
De conclusie van het rapport is duidelijk: “Deze bevindingen wijzen op een aanzienlijke kloof tussen de huidige capaciteiten van LLM’s en de complexe vereisten van bedrijfsomgevingen.”
Risico’s
Voor ontwikkelaars én gebruikers van AI-oplossingen zijn deze uitkomsten een wake-upcall. Hoewel AI-agenten door sommigen, zoals Salesforce-CEO Marc Benioff, worden gezien als een winstgevende kans om efficiëntie te vergroten, tonen deze resultaten aan dat implementatie risico’s met zich meebrengt. Benioff benadrukte vorig jaar nog dat AI-agenten een ‘zeer winstgevende mogelijkheid’ boden, doordat ze bedrijven helpen meer werk te verrichten met minder personeel.
Toch is voorzichtigheid geboden. Zo rekent ook de Britse overheid op miljardenbesparingen dankzij AI tegen 2029, maar dit onderzoek onderstreept dat dergelijke technologie eerst verder moet rijpen voordat organisaties er volledig op kunnen vertrouwen.