Když uslyšíte výraz „černá skříňka“, možná si vybavíte nezničitelné letové zapisovače, které přežijí letecké havárie. Nebo možná uvažujete o malých nezávislých divadlech. V kontextu umělé inteligence však tento termín popisuje něco mnohem neprůhlednějšího. Černá skříňka AI je systém, jehož vnitřní logika je zcela skrytá. Můžete do něj vložit data a získat výsledek, ale nemůžete zkoumat kód nebo logiku za tímto výstupem.
Strojové učení je motorem, který pohání moderní umělou inteligenci, včetně generativních nástrojů jako ChatGPT a DALL-E 2. Spoléhá na tři pilíře: algoritmy, trénovací data a výsledný model. Algoritmus je sada procedur, které identifikují vzory ve velké sadě dat. Po tréninku se stává modelem. Představte si to takto: algoritmus navržený k detekci psů, trénovaný na tisících psích fotografií, se stává modelem „detektoru psů“. Dejte tomu obrázek a ono vám dá výsledek: je v něm pes a kde se nachází?
Problém je v tom, že kteroukoli z těchto tří složek lze skrýt. Samotný algoritmus je často veřejně známý, takže jeho skrytí nepřináší mnoho výhod. Místo toho vývojáři považují model nebo trénovací data za „černou skříňku“ na ochranu duševního vlastnictví. Opakem je „skleněná krabice“, ve které jsou algoritmy, data a modely zcela viditelné. Nicméně i skleněné krabice mají stíny. Výzkumníci stále plně nerozumí tomu, jak fungují algoritmy hlubokého učení. Tato mezera dala vzniknout oblasti Explainable AI, jejímž cílem je učinit tyto systémy méně podobnými magii a srozumitelnějšími mechanismy.
Proč jsou neprůhledné algoritmy alarmující
Existuje dobrý důvod mít se na pozoru před strojovým učením černé skříňky. Představte si modelku, která diagnostikuje váš zdravotní stav. Přijmete léčebný plán, když nevíte, jak systém k tomuto závěru dospěl? Váš lékař pravděpodobně také ne. K potvrzení diagnózy potřebuje pochopit logiku.
Zvažme finanční rozhodnutí. Pokud vám model AI odmítne podnikatelskou půjčku, černá skříňka vás nechá ve tmě. Bez znalosti důvodů zamítnutí se nebudete moci proti rozhodnutí účinně odvolat. Nebudete moci upravit své finance tak, abyste příště zlepšili své šance. Transparentnost není jen příjemný doplněk; je to nutné pro možnost odvolání.
Bezpečnost je dalším kritickým faktorem. Po celá léta byl technologický průmysl poháněn chybným předpokladem, že pokud skryjete software, hackeři nebudou schopni najít zranitelná místa. Nemohou zpětně analyzovat něco, co nevidí. Tato logika do značné míry selhala. Hackeři mohou zpětně analyzovat software tak, že pozorují jeho chování a vytvářejí jeho kopii, aby identifikovali slabiny. Nepotřebují zdrojový kód.
Pokud je software transparentní – tedy skleněná krabice – mohou jej prozkoumat testeři a etičtí hackeři. Mohou nahlásit zranitelnosti dříve, než je útočníci zneužijí. Skrytí informací nečiní systém bezpečným; činí ji zranitelnou pouze pro ty, kteří mají trpělivost ji zkoumat zvenčí.
Lidské faktory ve vysvětlitelné umělé inteligenci
Pátrání po vysvětlitelné umělé inteligenci není řízeno pouze zvědavostí. Je to o důvěře a zodpovědnosti. Když algoritmus dělá zásadní rozhodnutí, spoléhat se na intuici je příliš riskantní. Potřebujeme vědět, jak stroj myslí.
Saurabh Bagchi, profesor elektrotechniky a počítačového inženýrství na Purdue University, se těmito otázkami podrobně zabýval. Jeho výzkum, financovaný z různých veřejných i soukromých zdrojů, zdůrazňuje potřebu systémů, kterým lidé skutečně porozumí.
Napětí mezi ochranou duševního vlastnictví a zajištěním bezpečnosti je skutečné. Vývojáři chtějí chránit své modely. Uživatelé jim musí důvěřovat. Je možné mít obojí? Zdá se, že odpověď se přiklání k transparentnosti. Protože pokud nedokážeme vysvětlit rozhodnutí, nemůžeme ho napadnout. A pokud to nemůžeme napadnout, nemůžeme to zlepšit.
Budoucnost umělé inteligence nemusí spočívat v dokonale průhledných skleněných krabicích. Může se jednat o systémy, které, i když nejsou zcela otevřené, poskytují dostatek informací k zajištění spolehlivosti. Kolik dílů stačí? To je otázka, na kterou se průmysl stále snaží odpovědět.
