Yapay zeka sistemlerinde 'kara kutu' problemi, bir modelin girdi ile çıktı arasındaki ilişkiyi insanların anlayamayacağı kadar karmaşık hale getirmesi ve kararlarının nasıl alındığının açıklanamaması durumudur. Özellikle derin öğrenme modellerinde yaygındır.

Bu problem, etik kullanım açısından ciddi riskler taşır: hatalı kararların kaynağı tespit edilemez, önyargılar fark edilemez ve hesap verebilirlik sağlanamaz. Güvenilirlik açısından ise, kullanıcıların sisteme güvenmesi zorlaşır ve özellikle sağlık, hukuk, finans gibi kritik alanlarda kullanımı tehlikeli hale gelir.

Açıklanabilir yapay zeka (XAI) yaklaşımlarından ilki LIME'dir (Local Interpretable Model-agnostic Explanations). LIME, bir tahminin etrafında küçük değişiklikler yaparak basit bir model oluşturur ve bu model üzerinden hangi özelliklerin kararı etkilediğini gösterir.

İkinci yaklaşım SHAP'tir (SHapley Additive exPlanations). SHAP, oyun teorisindeki Shapley değerlerini kullanarak her bir özelliğin tahmine katkısını hesaplar ve bu katkıları görselleştirir. Her iki yöntem de modelin kararını daha anlaşılır kılarak kara kutu problemini azaltmayı hedefler.