Saat Anda mendengar “kotak hitam”, Anda mungkin membayangkan perekam penerbangan yang tidak bisa dihancurkan dan mampu bertahan dari kecelakaan pesawat. Atau mungkin Anda berpikir tentang teater kecil yang independen. Namun dalam kecerdasan buatan, istilah ini menggambarkan sesuatu yang jauh lebih buram. Kotak hitam AI adalah sistem di mana logika internal sama sekali tidak terlihat. Anda dapat memberikan data dan mendapatkan hasilnya, tetapi Anda tidak dapat memeriksa kode atau alasan di balik keluaran tersebut.
Pembelajaran mesin adalah mesin yang menggerakkan AI modern, termasuk alat generatif seperti ChatGPT dan DALL-E 2. Pembelajaran mesin bergantung pada tiga pilar: algoritme, data pelatihan, dan model yang dihasilkan. Algoritme adalah sekumpulan prosedur yang mempelajari pola dari kumpulan data yang besar. Setelah dilatih, ia menjadi model. Anggap saja seperti ini: algoritme yang dirancang untuk mengenali anjing, dilatih pada ribuan foto anjing, menjadi model “pengintai anjing”. Beri ia gambar, dan ia akan menampilkan apakah ada seekor anjing dan di mana.
Masalahnya adalah salah satu dari ketiga komponen ini bisa disembunyikan. Seringkali, algoritme itu sendiri sudah diketahui publik, jadi menyembunyikannya tidak akan banyak membantu. Sebaliknya, pengembang memperlakukan model atau data pelatihan sebagai kotak hitam untuk melindungi kekayaan intelektual. Kebalikannya adalah “kotak kaca”, tempat algoritme, data, dan model terlihat sepenuhnya. Namun, bahkan kotak kaca pun memiliki bayangan. Para peneliti masih belum sepenuhnya memahami cara kerja algoritma pembelajaran mendalam. Kesenjangan ini telah memicu bidang AI yang dapat dijelaskan, yang bertujuan untuk menjadikan sistem ini tidak seperti sihir dan lebih seperti mesin yang dapat dimengerti.
Mengapa Algoritma Buram Mengibarkan Bendera Merah
Ada alasan kuat untuk mewaspadai pembelajaran mesin kotak hitam. Bayangkan seorang model mendiagnosis kesehatan Anda. Apakah Anda akan menerima rencana perawatan jika Anda tidak mengetahui bagaimana sistem mencapai kesimpulannya? Dokter Anda mungkin juga tidak akan melakukannya. Mereka perlu memahami logika untuk memverifikasi diagnosis.
Pertimbangkan keputusan keuangan. Jika model AI menolak pinjaman bisnis Anda, kotak hitam akan membuat Anda tidak tahu apa-apa. Tanpa mengetahui alasan Anda ditolak, Anda tidak dapat mengajukan banding secara efektif. Anda tidak dapat menyesuaikan keuangan Anda untuk meningkatkan peluang Anda di lain waktu. Transparansi tidak hanya menyenangkan untuk dimiliki; ini penting untuk bantuan.
Keamanan adalah faktor penting lainnya. Selama bertahun-tahun, industri teknologi beroperasi dengan asumsi yang salah: jika Anda menyembunyikan perangkat lunak, peretas tidak akan dapat menemukan kerentanannya. Mereka tidak dapat merekayasa balik apa yang tidak dapat mereka lihat. Logika ini sebagian besar telah gagal. Peretas dapat merekayasa balik perangkat lunak dengan mengamati perilakunya, membangun faksimili untuk menemukan kelemahannya. Mereka tidak memerlukan kode sumber.
Jika perangkat lunak bersifat transparan—kotak kaca—penguji dan peretas etis dapat memeriksanya. Mereka dapat melaporkan kelemahan sebelum pihak jahat mengeksploitasinya. Menyembunyikan sesuatu tidak membuatnya aman; hal ini hanya membuat mereka rentan terhadap pihak-pihak yang memiliki kesabaran untuk menyelidikinya dari luar.
Elemen Manusia dalam AI yang Dapat Dijelaskan
Dorongan menuju AI yang dapat dijelaskan bukan hanya tentang rasa ingin tahu. Ini tentang kepercayaan dan akuntabilitas. Ketika suatu algoritma membuat keputusan berisiko tinggi, taruhannya terlalu tinggi untuk bergantung pada intuisi. Kita perlu mengetahui bagaimana mesin berpikir.
Saurabh Bagchi, seorang profesor teknik elektro dan komputer di Universitas Purdue, telah menyoroti masalah ini secara ekstensif. Penelitiannya, yang didanai oleh berbagai sumber pemerintah dan swasta, menggarisbawahi perlunya sistem yang benar-benar dapat dipahami manusia.
Ketegangan antara melindungi kekayaan intelektual dan memastikan keamanan adalah hal yang nyata. Pengembang ingin menjaga model mereka. Pengguna harus mempercayai mereka. Bisakah kita memiliki keduanya? Jawabannya tampaknya condong ke arah transparansi. Karena jika kami tidak dapat menjelaskan keputusan tersebut, kami tidak dapat menentangnya. Dan jika kita tidak bisa menantangnya, kita tidak bisa memperbaikinya.
Masa depan AI mungkin bukan tentang kotak kaca bening sempurna. Mungkin mengenai sistem yang, meski tidak sepenuhnya terbuka, memberikan wawasan yang cukup agar dapat diandalkan. Berapa banyak detail yang cukup? Ini adalah pertanyaan yang masih coba dijawab oleh industri ini.
