Zoom AI Companion zou het AI-vak beter beheersen dan Microsoft Teams en Copilot. De resultaten van het onderzoek geven tegelijk aan dat er altijd een menselijke controle op de output nodig is, geen enkele geteste AI-tool assisteert namelijk even goed als een werknemer.
Het grootste onderlinge verschil is op te merken in de transcriptiekwaliteit. De AI-assistent van Zoom heeft een lagere Word Error Rate van vier procent in vergelijking met Teams (7,4 procent tegenover 11,54 procent).
‘Objectieve en relevante samenvatting’
Vergaderingen vatten de verschillende tools bijna allemaal even goed samen. Zoom AI Companion scoort net met 81,35 procent net iets hoger dan Copilot. Deze tool van Microsoft heeft eigenlijk geen specialisatie in online vergaderingen. Daarvoor maakt het rapport de vergelijking met Microsoft Teams. De Intelligent Recap-functie van deze AI-tool scoorde 78,63 procent.
De testers waarderen aan Zoom AI Companion dat de samenvatting in het algemeen niets noteert over besproken zaken die niet hebben bijgedragen aan de vergadering. “Sterktes zijn de objectiviteit en een duidelijke opsomming van de actiepunten”, wordt er verder aangehaald. Voor Teams en Copilot halen de testers in beide gevallen aan dat het verslag te weinig samenhangend is en dat niet alle zaken die in de vergadering zijn besproken ook op papier terugkomen.
‘Snelle terugkoppeling in de vergadering’
De assistenten kunnen niet alleen na afloop van een vergadering, maar ook tijdens een vergadering hulp bieden. Deelnemers kunnen namelijk privé met de chatbot spreken om bijvoorbeeld een vraag te stellen over het onderwerp waar de vergadering over gaat. Zoom AI Companion antwoordde het snelste en het antwoord was het meest gelijkend aan de verschillende testers.
De resultaten schetsen alleen een goed beeld van de prestaties van de verschillende AI-tools in het Engels. Softwaretestprovider TestDevLab heeft de tests uitgevoerd. Hiervoor werden drie online meetings door de tools opgevolgd: een gesprek tussen twee, vier en zestien personen. De transcripten en samenvattingen werden steeds vergeleken met een samenvatting geschreven door een persoon.
Meer achtergrond over Zoom AI Companion geven we in dit verslag over Zoomtopia 2024: Hoe kort AI onze werkweek in naar vier dagen volgens Zoom?