Google heeft een van zijn Super Bowl-reclames op YouTube aangepast nadat zijn AI-assistent Gemini een blunder beging. Gemini – de ster van de commercial – gaf ten onrechte aan dat Goudse kaas – uit Nederland dus – goed is voor 50 tot 60 procent van de wereldwijde kaasconsumptie.

Dat klopt niet: Goudse kaas is bekend maar veel minder dominant op de wereldwijde kaasmarkt. Toen Google dat ook doorhad, is de commercial aangepast. Gemini zegt nu dat Goudse kaas “één van de populairste kazen ter wereld” is.

De originele video is vijf dagen geleden online gezet om Google’s Gemini-functionaliteiten voor zakelijke gebruikers uit te lichten. Om die reden werd een kleine kaasboer in Wisconsin (Verenigde Staten) opgevoerd in de commercial.

Die kaasboer is door Google gevraagd wat hij zou doen, nadat duidelijk werd dat Gemini weinig kaas gegeten heeft van kaasstatistieken. De kaasboer stelde voor om Gemini de productomschrijving van Goudse kaas mee te geven, maar dan zonder harde statistieken over het marktaandeel van de kaassoort, vertelt een woordvoerder van Google aan Business Insider.

Google heeft die suggestie opgevolgd, naar eigen zeggen om Gemini te laten doen wat de kaasboer dus zou doen.

Een rapport over de wereldwijde kaasmarkt, afkomstig van consultancyfirma IMARC Group, stelt dat cheddarkaas de populairste kaassoort is. Cheddarkaas heeft 32,4 procent marktaandeel. Goudse kaas stat niet in de top vijf van kazen met het grootste marktaandeel. Nogal een verschil met Gemini's hallucinatie dat Goudse kaas 50 tot 60 procent marktaandeel heeft.

Ook een Amerikaanse landbouweconoom zegt tegen The Verge dat Goudse kaas "vrijwel zeker niet de meest gegeten kaas ter wereld" is.

Google-topman: Gemini hallucineerde niet

Topmanagers Jerry Dischler van Google Cloud vindt overigens niet dat Gemini hallucineerde. Hij reageerde op een bericht van een socialmediagebruiker, die aangaf dat de statistiek van Gemini "volledig 'ondubbelzinnig fout" is. Dischler zegt dat Gemini's antwoord "geen hallucinatie" is maar "van het web af komt". Volgens de topman gebruiken verschillende websites de statistiek die Gemini gebruikt heeft.

Hallucinatie of niet: dit incident laat weer zien wat de risico's zijn van AI-diensten die getraind zijn op informatie van het internet, zonder dat duidelijk is of die informatie feitelijk juist is. Zo staat de statistiek over Goudse kaas bijvoorbeeld op een website genaamd Cheese.com.

Google ging vaker de mist in

Het is niet de eerste keer dat Google verkeerde informatie laat zien in een AI-promotievideo. In de lente bracht Google bijvoorbeeld een promovideo uit waarin Gemini een lijst van oplossingen aandroeg om een fotograaf met cameraproblemen te helpen. Eén van die voorgestelde oplossingen zou in werkelijkheid de foto's op de camera vernietigen.

En in 2023 liet Google een demonstratie zien van de voorganger van Gemini, die Bard heette. Bard claimde ten onrechte dat de James Webb Space Telescope de primeur pakte met het fotograferen van een exoplanet. Dat klopte niet, want volgens NASA deed een Europese telescoop dat al eerder.

LEES OOK: AI-maker Anthropic vraagt sollicitanten geen AI te gebruiken