Когда вы слышите термин «черный ящик», вы, возможно, представляете себе неразрушимые бортовые самописцы, выживающие после авиакатастроф. Или, может быть, вы думаете о крошечных независимых театрах. Однако в контексте искусственного интеллекта этот термин описывает нечто гораздо более непрозрачное. «Черный ящик» ИИ — это система, внутренняя логика которой полностью скрыта. Вы можете подать в нее данные и получить результат, но не можете изучить код или логику, стоящую за этим выводом.
Машинное обучение является двигателем, приводящим в действие современный ИИ, включая генеративные инструменты, такие как ChatGPT и DALL-E 2. Оно опирается на три столпа: алгоритмы, обучающие данные и результирующую модель. Алгоритм — это набор процедур, который выявляет закономерности в большом наборе данных. После обучения он становится моделью. Представьте себе так: алгоритм, предназначенный для обнаружения собак и обученный на тысячах фотографий собак, превращается в модель «детектора собак». Подайте ей изображение, и она выдаст результат: есть ли на нем собака и где она находится.
Проблема заключается в том, что любой из этих трех компонентов может быть скрыт. Часто сам алгоритм является общедоступным знанием, поэтому его сокрытие не приносит особой пользы. Вместо этого разработчики рассматривают модель или обучающие данные как «черный ящик», чтобы защитить интеллектуальную собственность. Противоположностью является «стеклянный ящик», в котором алгоритмы, данные и модели полностью видны. Тем не менее, даже у «стеклянных ящиков» есть тени. Исследователи до сих пор не до конца понимают, как работают алгоритмы глубокого обучения. Этот пробел породил область объяснимого ИИ (Explainable AI), цель которой — сделать эти системы менее похожими на магию и более понятными механизмами.
Почему непрозрачные алгоритмы вызывают тревогу
Существует веская причина остерегаться машинного обучения типа «черный ящик». Представьте себе модель, диагностирующую ваше состояние здоровья. Примете ли вы план лечения, если не будете знать, как система пришла к такому выводу? Ваш врач, вероятно, тоже не примет. Ему необходимо понять логику, чтобы подтвердить диагноз.
Рассмотрим финансовые решения. Если модель ИИ отказывает вам в бизнес-кредите, «черный ящик» оставляет вас в неведении. Не зная причин отказа, вы не сможете эффективно обжаловать решение. Вы не сможете скорректировать свои финансы, чтобы повысить шансы в следующий раз. Прозрачность — это не просто приятное дополнение; она необходима для возможности обжалования.
Безопасность — еще один критический фактор. На протяжении многих лет технологическая отрасль руководствовалась ошибочным предположением: если скрыть программное обеспечение, хакеры не смогут найти уязвимости. Они не смогут провести обратную разработку того, чего не видят. Эта логика в значительной степени оказалась несостоятельной. Хакеры могут провести обратную разработку программного обеспечения, наблюдая за его поведением, создавая его копию для выявления слабых мест. Им не нужен исходный код.
Если программное обеспечение прозрачно — то есть представляет собой «стеклянный ящик» — тестировщики и этичные хакеры могут его изучить. Они могут сообщить об уязвимостях до того, как злоумышленники воспользуются ими. Сокрытие информации не делает систему безопасной; оно лишь делает ее уязвимой для тех, кто обладает терпением исследовать ее извне.
Человеческий фактор в объяснимом ИИ
Стремление к объяснимому ИИ обусловлено не только любопытством. Речь идет о доверии и подотчетности. Когда алгоритм принимает решение с высокими ставками, полагаться на интуицию слишком рискованно. Нам нужно знать, как мыслит машина.
Саурabh Баччи (Saurabh Bagchi), профессор электротехники и компьютерных инженерных наук в Университете Пердью, подробно освещал эти проблемы. Его исследования, финансируемые различными государственными и частными источниками, подчеркивают необходимость систем, которые люди действительно могут понять.
Напряжение между защитой интеллектуальной собственности и обеспечением безопасности реально. Разработчики хотят оберегать свои модели. Пользователи нуждаются в доверии к ним. Возможно ли иметь и то, и другое? Ответ, похоже, склоняется в сторону прозрачности. Потому что если мы не можем объяснить решение, мы не можем его оспорить. А если мы не можем его оспорить, мы не можем его улучшить.
Будущее ИИ может быть связано не с идеально прозрачными «стеклянными ящиками». Оно может заключаться в системах, которые, хотя и не являются полностью открытыми, предоставляют достаточно информации для обеспечения надежности. Сколько деталей достаточно? Это вопрос, на который отрасль все еще пытается ответить.
