- AI-bedrijven zijn naarstig op zoek naar een nieuwe manier om AI-modellen te trainen.
- Verbetering van de prestaties van artificial intelligence is nu vooral gebaseerd op het vergroten van de hoeveelheid data en computerrekenkracht.
- Maar die aanpak levert steeds minder spectaculaire resultaten op. De vraag is daarom: hoe wordt de innovatie op gang gehouden?
- Lees ook: Ineens lijken deze voorspellingen voor nog slimmere versie van AI onhaalbaar
De afgelopen twee jaar verzamelden AI-bedrijven als OpenAI, Meta en Google gigantische hoeveelheden data en vergrootten ze de rekenkracht van computers om hun generatieve AI-modellen te verbeteren. Die aanpak werkte tot kort geleden prima, maar daar lijkt nu een eind aan te komen. Dit dwingt AI-bedrijven om op zoek te gaan naar naar alternatieve manieren om AI-modellen te verbeteren.
De nadruk op data en rekenkracht komt voort uit onderzoek dat aantoonde dat transformers, de neurale netwerken achter generatieve AI-modellen, lineair schalen met de hoeveelheid data en rekenkracht er beschikbaar is.
Maar recent kwamen meerdere berichten naar buiten dat deze methode niet meer zo effectief is als men had gehoopt. Bij onder andere OpenAI en Google zouden meer data en rekenkracht niet geleid hebben tot een evenredig verbeterde ChatGPT en Gemini.
Intussen zijn er meerdere topmensen in de AI-wereld die zeggen dat de huidige aanpak ietwat “hersenloos” is.
Kleiner en efficiënter, maar geen 'algemene intelligentie'
"Het is zeker waar dat als je meer data en rekenkracht in een model steekt, je het model groter en dus beter maakt", zei CEO Aidan Gomez van AI-startup Cohere in een aflevering van de 20VC podcast. "Het is de betrouwbaarste manier om modellen te verbeteren, maar het is ook de domste."
Gomez zet ziet ook een oplossing. Hij denkt dat kleinere en efficiëntere modellen meer toekomst hebben. Deze zijn gericht inzetbaar voor specifieke taken en presteren daarin doorgaans beter dan de grotere modellen zoals ChatGPT en Gemini. Ze zijn daarnaast ook sneller en vereisen minder rekenkracht, waardoor ze ook goedkoper zijn.
Tegelijk maken anderen zich zorgen dat er met deze kleinere modellen geen artificial general intelligence (AGI) behaald kan worden. AGI is een theoretische vorm van AI die even intelligent zou zijn als een mens en daardoor ook menselijke taken kan vervullen. Het is iets wat de grotere AI-bouwers zien als het ultieme doel.
Langer nadenken lijkt ook een oplossing
Bedrijven als OpenAI zijn actief aan het zoeken naar manieren om bestaande AI-modellen te verbeteren. Een voorbeeld hiervan is OpenAI o1 dat in september uitkam. Dit taalmodel werkt in essentie nog steeds hetzelfde als alle voorgaande, maar presteert beter bij het beantwoorden van kwantitatieve vragen, waaronder bijvoorbeeld vragen over programmeertaal en wiskunde.
Deze verbetering wordt mogelijk gemaakt doordat o1 langer de tijd krijgt na te denken (in vakjargon 'inference' genoemd), voordat het model antwoord geeft. Het nadeel van deze manier van werken is wel dat dit vele malen meer rekenkracht vereist en trager is. Het model heeft immers meer tijd en dus meer rekenkracht nodig om tot een antwoord te komen.
De vraag over hoe de ontwikkeling van generatieve AI nu verder moet, is een belangrijke. De investeringen die in de ontwikkeling van kunstmatige intelligentie zijn gedaan zijn, zijn grotendeels gebaseerd op het idee dat deze 'wet' voor het schalen stand hield. Nu blijkt dat dit niet geval is, moet er op korte termijn een andere manier gevonden worden om de ontwikkeling op tempo te houden. Al is het alleen al om de waarderingen van AI-bedrijven die de investeringen ontvingen op peil te houden.
Mocht het niet lukken, dan zal het uiterst lastig worden voor AI-bedrijven om de hype gaande te houden. Welke gevolgen dat kan hebben voor onze toekomst met kunstmatige intelligentie, is lastig te voorspellen, maar het lijkt er niet op dat ChatGPT, CoPilot, Claude en Gemini voorlopig uit onze levens zullen verdwijnen.