Als je ‘black box’ hoort, denk je misschien aan de onverwoestbare vluchtrecorders die vliegtuigcrashes overleven. Of misschien denk je aan kleine, onafhankelijke theaters. Bij kunstmatige intelligentie beschrijft de term echter iets dat veel ondoorzichtiger is. Een AI black box is een systeem waarbij de interne logica volledig onzichtbaar is. Je kunt er gegevens aan toevoegen en een resultaat krijgen, maar je kunt de code of de redenering achter die uitvoer niet onderzoeken.
Machine learning is de motor achter moderne AI, inclusief generatieve tools als ChatGPT en DALL-E 2. Het berust op drie pijlers: algoritmen, trainingsgegevens en het resulterende model. Een algoritme is een reeks procedures die patronen leert uit een grote dataset. Eenmaal getraind, wordt het een model. Zie het zo: een algoritme dat is ontworpen om honden te spotten, getraind op duizenden hondenfoto’s, wordt een ‘hondenspotter’-model. Geef hem een afbeelding en hij geeft aan of er een hond aanwezig is en waar.
Het probleem is dat elk van deze drie componenten verborgen kan zijn. Vaak is het algoritme zelf algemeen bekend, dus het verbergen ervan helpt niet veel. In plaats daarvan behandelen ontwikkelaars het model of de trainingsgegevens als een zwarte doos om intellectueel eigendom te beschermen. Het tegenovergestelde is een ‘glazen doos’, waarin algoritmen, gegevens en modellen volledig zichtbaar zijn. Toch hebben zelfs glazen dozen schaduwen. Onderzoekers begrijpen nog steeds niet volledig hoe deep-learning-algoritmen werken. Deze kloof heeft het veld van verklaarbare AI aangewakkerd, dat tot doel heeft deze systemen minder op magie en meer op begrijpelijke machines te laten lijken.
Waarom ondoorzichtige algoritmen rode vlaggen opwerpen
Er is een goede reden om op uw hoede te zijn voor machine learning in de zwarte doos. Stel je een model voor dat je gezondheid diagnosticeert. Zou u een behandelplan accepteren als u niet wist hoe het systeem tot zijn conclusie kwam? Uw arts waarschijnlijk ook niet. Ze moeten de logica begrijpen om de diagnose te verifiëren.
Denk aan financiële beslissingen. Als een AI-model u een zakelijke lening ontzegt, laat een zwarte doos u in het ongewisse. Zonder te weten waarom u bent afgewezen, kunt u niet effectief in beroep gaan. U kunt uw financiën niet aanpassen om uw kansen de volgende keer te vergroten. Transparantie is niet alleen leuk om te hebben; het is essentieel voor verhaal.
Veiligheid is een andere cruciale factor. Jarenlang ging de technologie-industrie uit van een onjuiste veronderstelling: als je software verborgen houdt, kunnen hackers geen kwetsbaarheden vinden. Wat ze niet kunnen zien, kunnen ze niet omkeren. Deze logica heeft grotendeels gefaald. Hackers kunnen software reverse-engineeren door het gedrag ervan te observeren en een facsimile te bouwen om zwakke punten te ontdekken. Ze hebben de broncode niet nodig.
Als software transparant is – een glazen doos – kunnen testers en ethische hackers deze onderzoeken. Ze kunnen zwakheden melden voordat kwaadwillende actoren deze misbruiken. Dingen verborgen houden maakt ze niet veilig; het maakt ze alleen maar kwetsbaar voor mensen die het geduld hebben om ze van buitenaf te onderzoeken.
Het menselijke element in verklaarbare AI
De drang naar verklaarbare AI gaat niet alleen over nieuwsgierigheid. Het gaat om vertrouwen en verantwoordelijkheid. Wanneer een algoritme een beslissing neemt waarbij veel op het spel staat, is de inzet te hoog om op intuïtie te vertrouwen. We moeten weten hoe de machine denkt.
Saurabh Bagchi, hoogleraar elektrotechniek en computertechniek aan de Purdue University, heeft deze kwesties uitgebreid onder de aandacht gebracht. Zijn onderzoek, gefinancierd door verschillende overheids- en particuliere bronnen, onderstreept de behoefte aan systemen die mensen daadwerkelijk kunnen begrijpen.
De spanning tussen het beschermen van intellectuele eigendom en het waarborgen van de veiligheid is reëel. Ontwikkelaars willen hun modellen bewaken. Gebruikers moeten ze vertrouwen. Kunnen we beide hebben? Het antwoord lijkt te neigen naar transparantie. Want als we de beslissing niet kunnen uitleggen, kunnen we deze ook niet betwisten. En als we het niet kunnen uitdagen, kunnen we het ook niet verbeteren.
De toekomst van AI gaat misschien niet over perfect heldere glazen dozen. Het kan gaan om systemen die, ook al zijn ze niet volledig open, toch voldoende inzicht bieden om betrouwbaar te zijn. Hoeveel details zijn genoeg? Dat is een vraag die de sector nog steeds probeert te beantwoorden.
