Vertrouwen in AI

De hoeveelheid werk dat met de hulp van AI uitgevoerd wordt neemt snel toe. Kunnen we wel vertrouwen op die inzet van AI? AI kan eentonig werk met veel informatieverwerking automatiseren. In informatiebeveiliging is er bij uitstek één functie waarop dit van toepassing is: SOC-analisten, zij moeten bijzonderheden zoeken in een stroom van informatie. Je ziet steeds meer hulpmiddelen die het saaie uitpluiswerk doen voor de analisten, zodat zij zich meer kunnen focussen op de anomalieën die gevonden worden.

Klassieke automatisering met SIEM-tools beperkt zich tot het vinden van use-cases, combinaties van logregels uit verschillende bronnen. De nieuwe generatie EDR- en NDR-tools kunnen nu al met AI realtime zoeken naar bijzonderheden en dat snel combineren met aanvullende informatie vanuit andere hoeken, zonder use-cases.

De volgende stappen in automatisering van securitywerk zijn waarschijnlijk het forensisch onderzoek en CERTactiviteiten. Daar is het belangrijk om volgens strakke protocollen te werken. Een AI zal dat vlekkeloos kunnen doen, onderzoekers rest het alleen nog simpele aanwijzingen te geven. Nog even een verificatie van een expert om de kwaliteit te controleren en klaar is Kees.

Ander security werk dat wel eens zou kunnen veranderen door AI is het inrichten en uitvoeren van een ISMS. De securitybeleidstukken hierin lijken toch steeds meer op elkaar. Over een paar jaar geef je ChatGPT 12 de karakteristieken van je bedrijf en rolt de hele set aan beleidstukken eruit. Natuurlijk moet je ook die nog controleren op gehallucineerde passages. Tot zover hebben we het zelf in de hand. Vertrouwen in een AI kan op verschillende momenten beschaamd worden. Bij het trainen kan het fout gaan, bijvoorbeeld door een denkfout in het algoritme. Het algoritme is het recept waarmee de ingevoerde dataingrediënten door het model gecombineerd worden om een doel te bereiken.

Het gebeurt ook vaak dat de data waarmee het algoritme getraind wordt geen neutraal overzicht geeft. Historische of empirische data kunnen eenzijdig zijn. Studenten met een donkere huidtint worden minder goed herkend door een surveillance-AI bij universiteitsexamens, omdat er veel minder trainingsdata was over mensen van kleur.

En dan kan input mogelijk ook nog gemanipuleerd worden, wanneer bijvoorbeeld helpdeskchats worden gebruikt om het algoritme te trainen. Door bewust een bepaald soort vragen veel te stellen krijg je in het model een onbalans in die richting. Als je bewust verkeerd antwoordt, train je het model fout te antwoorden. 

Bij het gebruiken van het model is manipulatie ook mogelijk. Door zaken te veranderen in de gebruikscontext kan het model verzuimen een beslissing te nemen of zelfs een verkeerde beslissing nemen. Bijvoorbeeld door een sticker op een verkeersbord te plakken wordt deze door de AI niet meer herkend of door rijstrepen op de weg bij te schilderen kan het model die ‘fake’ markering gaan volgen, mogelijk met ernstige gevolgen. Een model dat getraind is met persoonsgegevens kan wellicht gemanipuleerd worden om die gegevens prijs te geven.

Maar ook gewoon gebruik van de AI kan resultaten produceren die voor criminele doeleinden gebruikt kunnen worden. Een AI kan gebruikt worden om beter gerichte phishing e-mails te schrijven met gemanipuleerde video’s of een kiezer via social media te manipuleren om voor een ander te kiezen of niet te gaan stemmen. Al met al genoeg reden om zeer kritisch te zijn op de resultaten die met AI behaald worden.

SIEM = Security Information and Event Management
EDR = Endpoint Detection and Response
NDR = Network Detection and Response
CERT = Computer Emergency Response Team
ISMS = Information Security Management System
 

Lex Borger
Security consultant bij Tesorion en oud-hoofdredacteur van iB-Magazine.
Lex is bereikbaar via lex.borger@tesorion.nl

Deze column verscheen in IB2-2024.