"Karena pembelajaran mesin menjadi ada di mana-mana dan digunakan untuk aplikasi dengan konsekuensi yang lebih serius, ada kebutuhan bagi orang untuk memahami bagaimana membuat prediksi sehingga mereka akan mempercayainya ketika melakukan lebih dari melayani iklan," kata Jonathan Su, seorang anggota dari staf teknis di MIT Lincoln Laboratory's Informatics and Decision Support Group.
Saat ini, peneliti menggunakan teknik post hoc atau model yang dapat diinterpretasi seperti pohon keputusan untuk menjelaskan bagaimana model black-box mencapai kesimpulannya. Dengan teknik post hoc, peneliti mengamati input dan output dari algoritma dan kemudian mencoba untuk membangun penjelasan perkiraan untuk apa yang terjadi di dalam kotak hitam. Masalah dengan metode ini adalah bahwa peneliti hanya dapat menebak pekerjaan di bagian dalam, dan penjelasannya seringkali bisa salah. Pohon keputusan, yang memetakan pilihan dan potensi konsekuensinya dalam konstruksi seperti pohon, bekerja dengan baik untuk data kategori yang fiturnya bermakna, tetapi pohon-pohon ini tidak dapat diinterpretasikan di domain penting, seperti visi komputer dan masalah data kompleks lainnya.
Jaringan saraf adalah sistem komputasi yang terdiri dari banyak elemen pemrosesan yang saling berhubungan. Jaringan ini biasanya digunakan untuk analisis gambar dan pengenalan objek. Sebagai contoh, suatu algoritma dapat diajarkan untuk mengenali apakah suatu foto termasuk seekor anjing dengan terlebih dahulu ditunjukkan foto-foto anjing. Para peneliti mengatakan masalah dengan jaringan saraf ini adalah bahwa fungsi mereka nonlinier dan rekursif, serta rumit dan membingungkan bagi manusia, dan hasil akhirnya adalah sulit untuk menentukan apa sebenarnya yang didefinisikan oleh jaringan sebagai "dogness" di dalam foto-foto. dan apa yang membawanya ke kesimpulan itu.
Untuk mengatasi masalah ini, tim mengembangkan apa yang mereka sebut "jaringan saraf prototipe." Ini berbeda dari jaringan saraf tradisional karena mereka secara alami mengkodekan penjelasan untuk masing-masing prediksi mereka dengan membuat prototipe, yang merupakan bagian representatif dari gambar input. Jaringan-jaringan ini membuat prediksi mereka berdasarkan kesamaan bagian-bagian dari gambar input untuk setiap prototipe.
Area lain yang diteliti oleh tim peneliti adalah BRL, yang merupakan pohon keputusan satu sisi yang kurang rumit yang cocok untuk data tabular dan seringkali sama akuratnya dengan model lainnya. BRL terbuat dari rangkaian pernyataan kondisional yang secara alami membentuk model yang dapat diinterpretasi. Misalnya, jika tekanan darah tinggi, maka risiko penyakit jantung tinggi. Su dan rekannya menggunakan properti BRL untuk memungkinkan pengguna untuk menunjukkan fitur mana yang penting untuk sebuah prediksi. Mereka juga mengembangkan BRL interaktif, yang dapat diadaptasi segera ketika data baru tiba daripada dikalibrasi ulang dari awal pada dataset yang terus berkembang.
Su menjelaskan: "Kami berharap dapat membangun kemampuan strategis baru untuk laboratorium — algoritma pembelajaran mesin yang dipercaya orang karena mereka memahaminya."
