- Amerikaanse onderzoekers hebben een manier gevonden om een AI-model te bouwen voor minder dan 50 dollar.
- In grote lijnen deden ze hetzelfde als het Chinese DeepSeek al eerder deed en kwamen hiermee op nagenoeg dezelfde resultaten tegen nog lagere kosten.
- Het model, S1 genaamd, werd getraind op illegaal verkregen data van Google’s Gemini.
- Lees ook: Mark Zuckerberg vindt het nog te vroeg om de impact van DeepSeek op investeringen in AI te kunnen inschatten
Als je dacht dat het Chinese DeepSeek goedkoop een AI-model in elkaar kon draaien, dan heb je het mis. Waar de Chinezen nog minimaal 6 miljoen dollar nodig hadden, claimen Amerikaanse onderzoekers van Stanford en de Universiteit van Washington nu dat ze nagenoeg hetzelfde trucje uit kunnen halen voor een paar tientjes.
Het team van onderzoekers noemt het experimentele AI-model S1 en zegt dat het zich kan meten met bestaande ‘reasoning’ modellen als DeepSeek’s R1 en OpenAI’s o1. Waar het in opvalt is dat S1 minder dan 50 dollar koste om te trainen, tegenover miljoenen of zelfs miljarden die nodig zijn voor het trainen van de AI-modellen van de grote namen.
Om het kostenplaatje zo extreem laag te houden, kozen de makers van S1 ervoor om te starten met een gratis AI-model van het Chinese Alibaba genaamd Qwen. Daaropvolgend nam het team een dataset van duizend zorgvuldig uitgekozen vragen en de antwoorden die daarbij hoorden, die de onderzoekers uit Google’s Gemini 2.0 Flash Thinking Experimental hadden gehaald.
Met dit startpunt, huurde het team voor korte tijd de rekenkracht van 16 Nvidia H100 processoren voor minder dan 50 dollar. Uiteindelijk was S1 binnen een half uurtje getraind en klaar voor gebruik.
De onderzoekers gebruikten in essentie hetzelfde trucje dat de Chinese startup DeepSeek gebruikte om zijn AI-model te trainen. In de AI-wereld wordt dit 'destillation' genoemd, waarbij je een AI-model traint door de vragen en de daarbij behorende antwoorden vooraf te geven. Vervolgens train je het AI-model om het verband tussen beide te leggen, om zo een manier van werken te ontwikkelen. DeepSeek zou hiervoor naar verluidt data van OpenAI gebruikt hebben, en de onderzoekers van S1 gebruikten hiervoor dus Google Gemini.
Net als OpenAI, verbiedt ook Google het gebruik van haar AI-modellen voor deze doeleinden.
Hoewel destillation tot efficiënte en goedkopere AI-modellen kan leiden, presteren ze nog niet op hetzelfde niveau als de modellen waarvan ze als het ware gekopieerd worden. Deze aanpak leidt er vaak toe dat er vooral op de minder generieke prompts slechtere antwoorden gegenereerd worden.
Ondanks dit nadeel, onderstreept het onderzoek wederom de vragen die zijn ontstaan over de toekomst van de AI-modellen en hoe hiermee geld verdiend kan worden. De open-source modellen en lagere gebruikskosten zorgen ervoor dat AI-modellen makkelijker gemeengoed zullen worden, waardoor de concurrentie groot zal worden en de winstmarges laag blijven. Het onderscheidend vermogen op punten buiten de modellen, lijkt daarmee belangrijker te worden.
