Signal-baas Meredith Whittaker is sceptisch over AI-agents. Dat zijn bots die taken kunnen uitvoeren en beslissingen nemen zonder menselijke input.

Terwijl sommige techbestuurders vol lof zijn over alle mogelijkheden van ‘agentic AI’ en gebruikers laten experimenteren met AI-agents, waarschuwde Whittaker vorige week op een conferentie in de VS voor de risico’s die autonome bots met zich meebrengen. “Ik denk dat we met een reëel gevaar geconfronteerd worden”, gaf Whittaker aan. “Deels omdat we dit soort systemen heel veel controle geven en toegang tot data.”

Whittaker is voorzitter van de Signal Technology Foundation, de stichting achter de berichtenapp Signal, die geldt als een privacy-vriendelijke variant van Whatsapp.

Een AI-agent wordt in de markt gezet als “magische bot” die vele stappen vooruit kan denken en taken uit kan voeren voor gebruikers, “zodat je hersenen uitgeschakeld kunnen worden en je zelf niks hoeft te doen”, zegt Whittaker.

Agentic AI-bot heeft toegang nodig tot veel privacy-gevoelige gegevens

Zo kan 'agentic AI' bijvoorbeeld concerten zoeken, kaartjes kopen en een app als Signal openen om vrienden een bericht te sturen over het concert. Maar de vraag is volgens Whittaker bij welke stappen in dat proces de AI-agent data nodig heeft die de gebruiker misschien wel privé wil houden.

"De agent moet toegang krijgen tot onze browser en daar handelingen uitvoeren. Hij heeft gegevens van onze creditcard nodig om de tickets te betalen. Hij moet toegang krijgen tot onze agenda, tot alles wat we doen en tot iedereen die we ontmoeten. Hij moet Signal kunnen openen om onze vrienden een bericht te sturen", legt ze uit. "Hij moet overal in het systeem kunnen met een soort van root-machtiging en toegang hebben tot alle databases. Waarschijnlijk openlijk, omdat er geen model is dat dat versleuteld kan doen."

Volgens Whittaker zal een AI-agent die krachtig genoeg is om dat allemaal te doen "vrijwel zeker" ook data moet verwerken buiten het apparaat om, met het op en neer sturen van gegevens naar een cloudserver. "Dus er is echt een veiligheids- en privacyprobleem, dat een bedreiging vormt voor de grens tussen de applicatielaag en de OS-laag. Als je al die afzonderlijke elementen samenvoegt en toegang geeft tot gegevens om acties uit te voeren, ondermijn je de privacy van Signal-berichten".

Whittaker is niet de enige die zich zorgen maakt over de risico's die 'agentic AI' met zich meebrengt. De Canadese onderzoeker Yoshua Bengio, die bekend staat als een van de godfathers van AI, gaf in januari in een gesprek met Business Insider bij het World Economic Forum in Davos een vergelijkbare waarschuwing af. "Al die catastrofale scenario's met AGI of superintelligentie kunnen uitkomen als we agents hebben", zegt Bengio refererend aan artificial general intelligence, de drempel waarbij machines net zo goed kunnen redeneren als mensen.

"We kunnen vooruitgang boeken in het onderzoek naar veilige AI, maar moeten de risico's erkennen en begrijpen waar die vandaan komen", zegt Bengio. "En dan moeten we investeren in technologie om te voorkomen dat we dingen ontwikkelen die ons kunnen vernietigen."

LEES OOK: Topman van de Amerikaanse AI-startup Anthropic wijst voor de gevaren van AI vooral naar China en Rusland