Коли ви чуєте термін “чорна скринька”, ви, можливо, уявляєте собі неруйнівні бортові самописці, що виживають після авіакатастроф. Або, можливо, ви думаєте про крихітні незалежні театри. Однак у контексті штучного інтелекту цей термін описує щось набагато непрозоріше. “Чорна скринька” ІІ – це система, внутрішня логіка якої повністю прихована. Ви можете подати дані і отримати результат, але не можете вивчити код або логіку, що стоїть за цим висновком.
Машинне навчання є двигуном, що приводить у дію сучасний ІІ, включаючи генеративні інструменти, такі як ChatGPT та DALL-E 2. Воно спирається на три стовпи: алгоритми, що навчають дані та результуючу модель. Алгоритм – це набір процедур, який виявляє закономірності у великому наборі даних. Після навчання він стає моделлю. Уявіть собі так: алгоритм, призначений для виявлення собак та навчений на тисячах фотографій собак, перетворюється на модель «детектора собак». Подайте їй зображення, і вона дасть результат: чи є на ньому собака і де він знаходиться.
Проблема полягає в тому, що будь-який з цих трьох компонентів може бути прихований. Часто сам алгоритм є загальнодоступним знанням, тому його приховування не дає особливої користі. Натомість розробники розглядають модель або навчальні дані як «чорну скриньку», щоб захистити інтелектуальну власність. Протилежністю є «скляна скринька», в якій алгоритми, дані та моделі повністю видно. Проте навіть у «скляних ящиків» є тіні. Дослідники досі не остаточно розуміють, як працюють алгоритми глибокого навчання. Ця прогалина породила область зрозумілого ІІ (Explainable AI), мета якої — зробити ці системи менш схожими на магію і більш зрозумілими механізмами.
Чому непрозорі алгоритми викликають тривогу
Існує вагома причина остерігатися машинного навчання типу «чорна скринька». Уявіть собі модель, що діагностує ваш стан здоров’я. Чи приймете ви план лікування, якщо не знатимете, як система дійшла такого висновку? Ваш лікар, певно, теж не прийме. Йому потрібно зрозуміти логіку, щоб підтвердити діагноз.
Розглянемо фінансові рішення. Якщо модель ІІ відмовляє вам у бізнес-кредиті, «чорна скринька» залишає вас у незнанні. Не знаючи причин відмови, ви не зможете ефективно оскаржити рішення. Ви не зможете скоригувати свої фінанси, щоб підвищити шанси наступного разу. Прозорість – це не просто приємне доповнення; вона необхідна можливості оскарження.
Безпека – ще один критичний фактор. Упродовж багатьох років технологічна галузь керувалася хибним припущенням: якщо приховати програмне забезпечення, хакери не зможуть знайти вразливості. Вони не зможуть здійснити зворотну розробку того, чого не бачать. Ця логіка значною мірою виявилася неспроможною. Хакери можуть провести зворотну розробку програмного забезпечення, спостерігаючи його поведінкою, створюючи його копію виявлення слабких місць. Їм не потрібний вихідний код.
Якщо програмне забезпечення прозоре — тобто є «скляною скринькою» — тестувальники та етичні хакери можуть його вивчити. Вони можуть повідомити про вразливість до того, як зловмисники скористаються ними. Приховування інформації робить систему безпечної; воно лише робить її вразливою для тих, хто має терпіння досліджувати її ззовні.
Людський фактор у зрозумілому ІІ
Прагнення до зрозумілого ІІ зумовлене як цікавістю. Йдеться про довіру та підзвітність. Коли алгоритм приймає рішення із високими ставками, покладатися на інтуїцію надто ризиковано. Нам треба знати, як мислить машина.
Саурabh Баччі (Saurabh Bagchi), професор електротехніки та комп’ютерних інженерних наук в Університеті Пердью, докладно висвітлював ці проблеми. Його дослідження, що фінансуються різними державними та приватними джерелами, наголошують на необхідності систем, які люди справді можуть зрозуміти.
Напруга між захистом інтелектуальної власності та забезпеченням безпеки є реальною. Розробники хочуть оберігати свої моделі. Користувачі потребують довіри до них. Чи можливо мати і те, й інше? Відповідь, схоже, схиляється у бік прозорості. Тому що, якщо ми не можемо пояснити рішення, ми не можемо його оскаржити. А якщо ми не можемо його оскаржити, ми не можемо його покращити.
Майбутнє ІІ може бути пов’язане не з ідеально прозорими «скляними ящиками». Воно може полягати в системах, які, хоч і не є повністю відкритими, надають достатньо інформації для забезпечення надійності. Скільки деталей вистачає? Це питання, на яке галузь все ще намагається відповісти.
