Kiedy słyszysz termin „czarna skrzynka”, możesz pomyśleć o niezniszczalnych rejestratorach lotu, które przetrwają katastrofy lotnicze. A może myślisz o małych, niezależnych teatrach. Jednak w kontekście sztucznej inteligencji termin ten opisuje coś znacznie bardziej nieprzejrzystego. Sztuczna inteligencja czarnej skrzynki to system, którego wewnętrzna logika jest całkowicie ukryta. Możesz podać mu dane i uzyskać wynik, ale nie możesz sprawdzić kodu ani logiki stojącej za tymi wynikami.
Uczenie maszynowe to silnik napędzający współczesną sztuczną inteligencję, w tym narzędzia generatywne, takie jak ChatGPT i DALL-E 2. Opiera się na trzech filarach: algorytmach, danych szkoleniowych i wynikowym modelu. Algorytm to zestaw procedur identyfikujących wzorce w dużym zestawie danych. Po szkoleniu zostaje modelem. Pomyśl o tym w ten sposób: algorytm przeznaczony do wykrywania psów, wytrenowany na tysiącach zdjęć psów, staje się modelem „wykrywacza psów”. Daj mu obraz, a otrzymasz wynik: czy jest w nim pies i gdzie się znajduje?
Problem w tym, że każdy z tych trzech elementów można ukryć. Często sam algorytm jest powszechnie znany, więc ukrywanie go nie przynosi zbyt wielu korzyści. Zamiast tego programiści traktują model lub dane szkoleniowe jako „czarną skrzynkę” mającą na celu ochronę własności intelektualnej. Przeciwieństwem jest „szklane pudełko”, w którym algorytmy, dane i modele są całkowicie widoczne. Jednak nawet szklane pudełka mają cienie. Naukowcy wciąż nie do końca rozumieją, jak działają algorytmy głębokiego uczenia się. Ta luka dała początek dziedzinie wyjaśnialnej sztucznej inteligencji, której celem jest uczynienie tych systemów mniej przypominającymi magię i bardziej zrozumiałymi mechanizmami.
Dlaczego nieprzejrzyste algorytmy są alarmujące
Istnieje dobry powód, aby zachować ostrożność w przypadku uczenia maszynowego typu „czarna skrzynka”. Wyobraź sobie model diagnozujący Twój stan zdrowia. Czy zaakceptujesz plan leczenia, jeśli nie wiesz, w jaki sposób system doszedł do takiego wniosku? Twój lekarz prawdopodobnie też tego nie zrobi. Aby potwierdzić diagnozę, musi zrozumieć logikę.
Weźmy pod uwagę decyzje finansowe. Jeśli model AI odmówi Ci pożyczki biznesowej, czarna skrzynka pozostawi Cię w ciemności. Nie znając przyczyn odmowy, nie będziesz mógł skutecznie odwołać się od decyzji. Nie będziesz w stanie dostosować swoich finansów, aby następnym razem zwiększyć swoje szanse. Przejrzystość to nie tylko miły dodatek; jest to konieczne dla możliwości złożenia odwołania.
Bezpieczeństwo to kolejny krytyczny czynnik. Przez lata branża technologiczna kierowała się błędnym założeniem, że jeśli ukryjesz oprogramowanie, hakerzy nie będą w stanie znaleźć luk w zabezpieczeniach. Nie mogą dokonać inżynierii wstecznej czegoś, czego nie widzą. Ta logika w dużej mierze zawiodła. Hakerzy mogą dokonać inżynierii wstecznej oprogramowania, obserwując jego zachowanie i tworząc jego kopię w celu zidentyfikowania słabych punktów. Nie potrzebują kodu źródłowego.
Jeśli oprogramowanie jest przezroczyste – czyli szklane pudełko – mogą je sprawdzić testerzy i hakerzy zajmujący się etyką. Mogą zgłaszać luki, zanim atakujący je wykorzystają. Ukrywanie informacji nie zapewnia bezpieczeństwa systemu; czyni go jedynie podatnym na ataki tych, którzy mają cierpliwość, aby zbadać go z zewnątrz.
Czynniki ludzkie w wyjaśnialnej sztucznej inteligencji
Poszukiwania zrozumiałej sztucznej inteligencji nie wynikają wyłącznie z ciekawości. Chodzi o zaufanie i odpowiedzialność. Kiedy algorytm podejmuje decyzję o dużej stawce, poleganie na intuicji jest zbyt ryzykowne. Musimy wiedzieć jak myśli maszyna.
Saurabh Bagchi, profesor inżynierii elektrycznej i komputerowej na Uniwersytecie Purdue, szczegółowo opisał te kwestie. Jego badania, finansowane z różnych źródeł publicznych i prywatnych, podkreślają potrzebę opracowania systemów, które ludzie mogliby faktycznie zrozumieć.
Napięcie pomiędzy ochroną własności intelektualnej a zapewnieniem bezpieczeństwa jest realne. Deweloperzy chcą chronić swoje modele. Użytkownicy muszą im ufać. Czy można mieć jedno i drugie? Odpowiedź wydaje się skłaniać ku przejrzystości. Ponieważ jeśli nie potrafimy wyjaśnić decyzji, nie możemy jej zaskarżyć. A jeśli nie możemy temu podważyć, nie możemy tego ulepszyć.
Przyszłość sztucznej inteligencji może nie leżeć w idealnie przezroczystych szklanych pudełkach. Może to składać się z systemów, które choć nie są całkowicie otwarte, dostarczają wystarczających informacji, aby zapewnić niezawodność. Ile części wystarczy? To pytanie, na które branża wciąż szuka odpowiedzi.
