Binnen de AI-sector vertrouwt men er al jaren op dat het opschalen van AI-modellen leidt tot betere prestaties. Eind vorig jaar leek deze aanname ter discussie te komen staan, met de opkomst van het Chinese AI-Model DeepSeek, dat kleiner was en zich kon meten met de grote jongens.

Ook lieten diverse prominente spelers weten dat het simpelweg meer data en rekenkracht tegen een AI-model aangooien, niet meer leidde tot de prestatiewinsten die ze hadden verwacht.

Een uitzondering hierop lijkt OpenAI, de maker van ChatGPT. Dit bedrijf blijft tot nu vasthouden aan de klassieke principes van opschalen, onder meer in een artikel getiteld ‘Scaling Laws for Neural Language Models‘. Hierin staat beschreven dat de prestaties van een AI-model afhankelijk zijn van drie factoren: het aantal parameters waarmee het kan werken, de omvang van de dataset waarop het getraind is en als laatste de hoeveelheid rekenkracht die is ingezet bij de training.

Het principe van verbetering door opschalen betekent dat AI-bedrijven fors moeten investeren in datacenters die ingezet worden voor AI-modellen, wat tientallen miljarden dollars kost.

Opchalen AI-modellen leidt niet per se tot verbetering

Tijdens een presentatie bij de Universiteit van Singapore van afgelopen zondag zei hoofdwetenschapper voor AI Yann LeCun van Meta dat "de meeste interessante problemen zich niet goed lenen voor opschalen. Je kunt er niet zomaar vanuit gaan dat meer data en meer rekenkracht slimmere AI betekent."

LeCun verwijst met zijn uitspraken naar het idee dat zelfs grote hoeveelheden basale data, zoals het internet die levert, niet leden tot superintelligentie. Echt intelligente AI is van een ander kaliber.

"De fout die wordt gemaakt is dat erg simpele systemen die goed presteren om simpele problemen op te lossen, door mensen gezien worden als systemen die net zo goed werken voor complexe problemen", zei LeCun. "Ze doen geweldige dingen, maar dat leidt tot het geloof dat je moet opschalen en dat AI-systemen daardoor vanzelf intelligenter worden."

Op dit moment lijken de effecten van schalen vele malen groter, omdat de recente doorbraken in AI eigenlijk "erg makkelijk" zijn, stelde LeCun. Het grootste large language model (LLM) dat op dit moment bestaat werkt op ruwweg evenveel informatie als de visuele cortex van een vierjarig kind, legde hij uit.

"Als je te maken hebt met echte problemen waarin een bepaalde mate van dubbelzinnigheid en onzekerheid zit, draait het niet meer om alleen maar schalen", aldus LeCun.

LeCun is niet de enige grote naam in AI die vraagtekens bij de kracht van het schalen zet. CEO Alexandr Wang van Scale AI zei vorig jaar dat de effectiviteit van opschalen "het grootste vraagstuk in de sector" is. CEO Aidan Gomez van Cohere noemde schalen de "domste" manier om AI-modellen te verbeteren.

Een andere manier van trainen

Volgens LeCun zou AI-bedrijven een andere manier van trainen moeten omarmen. "We moeten ervoor zorgen dat AI-systemen heel snel nieuwe taken kunnen leren. Ze moeten de fysieke wereld begrijpen - niet alleen tekst en taal, maar de echte wereld -, ze moeten wat gezond verstand bezitten, kunnen beredeneren en plannen en een blijvend geheugen hebben. Allemaal dingen die we verwachten van intelligente wezens."

Het idee van LeCun is niet nieuw. Vorig jaar weidde hij er ook al over uit tijdens een interview met Lex Fridman in de Lex Fridman Podcast. Destijds legde hij uit dat AI-modellen hun volgende stappen alleen kunnen voorspellen op basis van aangeleerde patronen.

Modellen die gebaseerd zijn op kennis van de wereld hebben een hoger niveau van begrip. LeCun: "De extra component van een wereldmodel is iets dat kan voorspellen hoe de wereld gaat evolueren als gevolg van een actie die je misschien neemt." Dat is niet per se verbonden aan een vooraf ingesteld patroon.

LEES OOK: Hoe raakt AI de werkvloer? Onderzoek laat zien welke werknemers voordeel hebben en wie niet