• De website ImageNet Roulette is onlangs viral gegaan op Twitter. Mensen kunnen er hun selfie uploaden om artificial intelligence (AI) te laten raden wat voor persoon ze zijn.
  • De AI is getraind op een enorme dataset van afbeeldingen, genaamd ImageNet. Het algoritme kan een breed scala aan kwalificaties meegeven, waaronder ‘computergebruiker’, ‘oma’ en ‘dader’.
  • Sommigen, waaronder een journalist van het Britse tijdschrift New Statesman, ondervonden dat ImageNet Roulette ook racistische termen gebruikt.
  • ImageNet Roulette gebruikt deze termen met opzet, omdat het onder meer is ontworpen om de gevaren van vooroordelen bij AI te laten zien.

Een nieuwe tool die viral is gegaan en kunstmatige intelligentie gebruikt om selfies een persoonlijkheidskenmerk te geven, laat zien hoe raar en bevooroordeeld artificial intelligence (AI) kan zijn.

ImageNet Roulette werd afgelopen maandag veel gedeeld op Twitter. De website is gemaakt door AI Now Institute-oprichter Kate Crawford en kunstenaar Trevor Paglen. Het duo onderzoekt de gevaren van het gebruik van datasets waarin vooroordelen besloten liggen voor het trainen van AI.

De AI van ImageNet roulette is getraind met ImageNet, een database die in 2009 werd samengesteld uit 14 miljoen afbeeldingen voorzien van kenmerken. ImageNet is een van de belangrijkste en meest complete training-datasets binnen artificial intelligence, deels omdat het gratis is en beschikbaar voor iedereen.

De ontwerpers van ImageNet Roulette hebben hun algoritme getraind op de 2.833 subcategorieën die onder het kopje ‘persoon’ te vinden zijn binnen ImageNet. Gebruikers kunnen een foto van zichzelf uploaden en het algoritme gebruikt de dataset om deze personen in een subcategorie te plaatsen.

Deze Business Insider-verslaggever heeft ook een selfie geüpload en werd aangeduid als ‘bijziend’, een oogafwijking waarbij je moeite hebt om dingen op afstand scherp te zien. Ik draag een bril, wat de meest logische verklaring hiervoor lijkt.

Sommige kenmerken waarmee de machine op de proppen kwam, waren meer carrière-georiënteerd of onrealistisch. ‘Computergebruiker’, ’tovenares’, ‘engerd’ en ‘pessimist’ zijn enkele termen die het algoritme eruit gooide. Nog een paar geüploade foto’s van mezelf oogstten pareltjes als ‘speurder’, ‘zweter’, ’trui’ en ‘duiker’.

Andere gebruikers waren afwisselend geamuseerd of verbijsterd om de kwalificaties die ImageNet Roulette voor hen in petto had.

ImageNet Roulette heeft echter ook een minder lollige kant. De AI heeft aan gekleurde mensen storende en verontrustende kwalificaties gegeven. Stephan Bush, politiek redacteur bij het Britse tijdschrift New Statesman, zag zijn foto gekenmerkt worden met racistische termen als ‘negroïde’.

Een van Bush’ andere foto’s kreeg het kenmerk ‘dader’.

En een foto van hem in een Napoleon-kostuum werd gelabeld als 'Igbo', een etnische groep uit Nigeria.

Echter, ImageNet Roulette is geen geval van een ontspoord algoritme, zoals Microsofts media-chatbot Tay die binnen 24 uur na lancering op Twitter met succes werd gemanipuleerd tot holocaust-ontkenner en moest worden uitgeschakeld.

De ontwerpers Crawford en Paglen willen onderstrepen wat er gebeurt als algoritmen worden getraind met fundamentele data die slecht is. Op dit moment wordt ImageNet Roulette tentoongesteld als onderdeel van een expositie in Milaan.

"ImageNet bevat een aantal problematische, beledigende en bizarre categorieën, allemaal ontleend uit het Engelstalige woordenboek WordNet. Sommige termen zijn vrouwenhatend of racistisch", schreef het duo op de site.

"De resultaten van ImageNet Roulette zullen dus ook op deze categorieën gebaseerd zijn. Dat is de bedoeling van het ontwerp: we willen inzichtelijk maken wat er gebeurt als technische systemen worden getraind op basis van problematische data. WordNet is een database van woorden en hun betekenis die zijn geformuleerd op Princeton in de jaren tachtig. ImageNet gebruikt WordNet om afbeeldingen te kenmerken."

Hoewel ImageNet "een enorme vooruitgang" betekende voor AI, aangezien het zo'n grote database is, vertoont het fundamentele problemen. "Of het nu gaat om ras, geslacht, emoties en karakteristieken, het systeem is tot op het bot politiek en er is geen simpele manier om het te ontdoen van vooroordelen", twitterde Crawford.

Algoritmen met vooroordelen zijn verre van een theoretisch probleem. In 2016 bleek uit onderzoek van de journalistieke website ProPublica dat een computerprogramma genaamd COMPAS, dat probeert te voorspellen hoe waarschijnlijk het is dat criminelen recidiveren, racistische vooroordelen vertoonde bij zwarte mensen.

Vergelijkbaar is de recruitment-tool die Amazon vorig jaar heeft moeten schrappen, omdat deze vrouwelijke sollicitanten consequent lager rangschikte. "Als je AI vult met troep, spuugt het troep uit", zei een AI-onderzoeker van Oxford University destijds.