Kara kutu problemi, bir yapay zeka modelinin girdi verilerinden nasıl bir çıktıya ulaştığının insanlar tarafından anlaşılamaması veya açıklanamaması durumudur. Derin öğrenme modellerinde bu problem, çok katmanlı sinir ağlarının karmaşık yapısı nedeniyle ortaya çıkar. Her katman, veriyi soyut temsillere dönüştürür ve bu sürecin izlenmesi zordur.

Etik sonuçlar: Sağlık alanında bir yapay zeka, bir hastalığı teşhis edebilir ancak neden bu sonuca vardığını açıklayamazsa doktorlar kararları sorgulayamaz ve hatalar fark edilemez. Hukukta ise bir mahkeme kararında yapay zeka kullanılıyorsa, kararın gerekçesi bilinemezse adil yargılama hakkı ihlal edilebilir. Bu nedenle şeffaflık ve açıklanabilirlik (XAI) önemlidir.