- De bekende AI-bot ChatGPT kan mensen makkelijk laten denken dat hij slim is.
- Onderzoekers kwamen erachter dat programmeurs antwoorden van ChatGPT makkelijker accepteren dan die van collega’s.
- Dit komt omdat ChatGPT ‘welbespraakt’ overkomt, zeggen ze.
- Lees ook: OpenAI geeft toe dat GPT-4 soms slechter is, nadat gebruikers klaagden dat het model ‘luier’ en ‘dommer’ is geworden
Het lijkt erop dat de bekende AI-bot ChatGPT erg goed de indruk kan wekken dat hij slim is. De overtuigingskracht van de chatbot is echter niet noodzakelijk gestoeld op betere prestaties.
In een nieuw onderzoek, dat nog geen officiële beoordeling heeft gehad van vakgenoten, suggereren vijf IT-specialisten dat ChatGPT mensen door de vorm van de antwoorden opvallend makkelijk overtuigt dat de inhoud ook wel zal kloppen.
Onderzoekers aan de Purdue University analyseerden de antwoorden van ChatGPT op 517 vragen die op Stack Overflow gepost waren, een website die softwareprogrammeurs veel gebruiken om antwoorden op hun vragen te krijgen.
Nadat ze de antwoorden van de chatbot hadden gecontroleerd op “correctheid, consistentie, volledigheid en beknoptheid” kwamen de onderzoekers tot de conclusie dat 52 procent van de antwoorden simpelweg fout was. Meer dan drie kwart was ook nog eens langdradig.
Uit een ander deel van het onderzoek blijkt dat gebruikers van ChatGPT in 40 procent van de gevallen de antwoorden van de chatbot prefereren boven die van antwoorden van collega's op Stack Overflow, ongeacht de fouten die de chatbot maakt.
"Toen er werd gevraagd waarom gebruikers de voorkeur gaven aan de antwoorden van ChatGPT, zelfs als ze fout waren, gaven ze aan dat de volledigheid en het taalgebruik een rol speelden", aldus het onderzoeksrapport.
Er moet wel een kanttekening bij de uitkomst van het onderzoek worden geplaatst, want er werkten slechts 12 programmeurs aan mee. Hen werd gevraagd om naar de antwoorden op 2.000 willekeurige vragen te kijken en aan te geven of ze het antwoord van iemand op Stack Overflow of dat van ChatGPT beter vonden.
Daarnaast heeft OpenAI ook duidelijk aangegeven dat ChatGPT "plausibel klinkende, maar foute en onlogische antwoorden" kan geven.
De invloed van AI-chatbots is overigens al merkbaar op het forum Stack Overflow. Een maand nadat softwarebedrijf OpenAI GPT4 lanceerde, daalde het verkeer op de website met 13 procent in vergelijking met een jaar ervoor. Iets wat suggereert dat meer softwareprogrammeurs hun antwoorden bij de chatbot zoeken. Die is gedeeltelijk getraind op data van Stack Overflow.
Een groeiend aantal AI-ethici en programmeurs vindt de ontwikkelingen rond ChatGPT zorgelijk. Ze hekelen de razendsnelle acceptatie van de AI-chatbots zonder dat er kritisch naar gekeken lijkt te worden.