Yapay Zekâ (YZ) ve "Kara Kutu" Problemi

Yapay zekâdaki kara kutu problemi, özellikle derin öğrenme gibi karmaşık yapay zekâ (YZ) modellerinin karar alma süreçlerindeki şeffaflık eksikliğini ifade eder. Bu fenomen, bir YZ sisteminin girdileri alıp belirli çıktıları veya tahminleri üretme şeklinin, yani içsel işleyişinin veya karar verme mekanizmalarının, insanlar tarafından tam olarak anlaşılamamasını veya yorumlanamamasını durumudur. Dahası anlaşılmazlık durumu, sadece son kullanıcılar için değil, çoğu zaman modeli geliştiren veri bilimciler ve mühendisler için bile geçerli olabilir. Kural tabanlı olmayan YZ modelleri, insanların programladığı algoritmalar gibi "eğer şöyle olursa, böyle yap" şeklinde belirli koşullara bağlı olarak çalışmazlar; onlara sadece devasa veri setlerinden oluşan eğitimler verilir ve neticesinde özelleştirildikleri alanda cevaplar bulmaları, bir fonksiyonu yerine getirmeleri ya da problemleri çözmeleri istenir. Bu yönüyle kural tabanlı algoritmalardan ve deterministik modellemelerden ayrılırlar. Eğitim sürecinin ardından oluşan çıktılarda bir tahmini veya kararı neden yaptıklarını bilmek ya da anlayabilmek mümkün olmayabilir. Basit bir analoji kurmak gerekirse, tıpkı bir çocuğun bir şeyi tanımayı ya da kullanmayı öğrenmesi ancak bu süreci adım adım açıklayamaması gibi bir “implicit” öğrenme sürecini çağrıştırabilir. Neticesinde çocuk bisiklet kullanmayı aerodinamik prensiplerinden ya da fizik kurallarından yola çıkarak öğrenmez, bu nedenle adım adım nasıl bisiklet kullanabildiğini de açıklayamaz. Deneme yanılmalar içeren çok sayıda tecrübenin ardından belirli bir deneyim elde edilir ve amaç odaklı bir bakış açsıyla değerlendirildiğinde öğrenme işlemi başarılı görünür. Bir başka ifadeyle YZ'nin "öğrenme" biçiminin doğasında var olan kara kutu sorunu, insan benzeri bir "sezgisel" anlayış geliştirmesi ancak bu anlayışın adımlarını açıklamakta zorlanmasıyla karakterize edilebilir. Derin öğrenme sistemleri de büyük veri kümelerinden karmaşık örüntüleri öğrenirler, ancak bu öğrenme sürecinin tersine mühendislik (reverse engineering) yapılarak geriye doğru izlenmesi son derece zordur.

"Kara kutu" fenomenine yol açan temel nedenler genellikle modern YZ modellerinin doğasından kaynaklanır:

• Model Karmaşıklığı (Complexity): Derin sinir ağları (DNN'ler) gibi güçlü YZ modelleri, çok sayıda katman ve nörondan oluşur. Bu mimariler, milyonlarca, hatta milyarlarca parametre ihtiva edebilir. Bu parametrelerin ve aralarındaki sayısız etkileşimin nihai karara nasıl katkıda bulunduğunu izlemek ve anlamak neredeyse imkansızdır. Zira sadece bahsi geçen veri setlerini bir araya getirebilmek bile devasa bir işlem gücü gerektirir.

• Doğrusal Olmama (Non-linearity): Derin öğrenme algoritmaları gibi YZ modelleri, karmaşık ve doğrusal olmayan ilişkileri modellemek için tasarlanmıştır. Doğrusal olmayan kompleks yapı, modelin yüksek performans göstermesini sağlarken, her bir adımın veya bileşenin karar üzerindeki net etkisini izole etmeyi ve yorumlamayı zorlaştırır.

• Yüksek Boyutsallık (High Dimensionality): Modern YZ sistemleri, binlerce hatta milyonlarca özellik içeren yüksek boyutlu verilerle çalışır. Yüksek boyutlu örneklem uzaylarında özellikler arasındaki etkileşimler son derece karmaşıktır ve hangi özellik kombinasyonunun kararı ne ölçüde etkilediğini anlamak güçleşir.

• Veriye Bağımlılık ve Eğitim Süreçlerinin Opaklığı: YZ modellerinin performansı ve öğrendiği örüntüler, büyük ölçüde eğitildikleri veriye bağlıdır. Eğitim verisindeki önyargılar farkında olmadan öğrenilebilir. Verilerin gürültülü (noise) olması da benzer şekilde çıktıları etkileyebilir. Eğitim algoritmaları (geri yayılım gibi) parametreleri optimize ederken, optimizasyonun belirli bir karara nasıl yol açtığına dair doğrudan basit bir şekilde açıklayabilmekte güçlüklere sebep olur. Zira model istatistiksel korelasyonları öğrenir, ancak nedensellik ilişkisi kurabilmek çok daha zor ve muğlaktır. Veri setinde korelasyon sergileyen bazı parametreler, yanlış negatifler ya da yanlış pozitiflere yol açarak, anlaşılabilirliğe ket vurabilir.

• Öngörülemezlik ve Belirsizlik: Geleneksel kural tabanlı algoritmalardan farklı olarak, YZ modelleri cevaplarında ve sonuçlarında belirsizlik içerebilir. Genellikle doğru cevap verseler de arada yanlış cevaplar vermelerinin sebebi tam olarak anlaşılamayan bu iç işleyiştir. Anthropic şirketinin kurucu ortağı ve CEO'su Dario Amodei, YZ modellerini bitkilere veya bakterilere benzeterek, nereye büyüyeceğini kabaca belirleyebildiğimizi ancak tam şeklini ve büyüme modelini tahmin etmenin imkânsız olduğunu belirtir.

Kara kutu probleminin yarattığı başlıca problemler ve riskler ise şu başlıklarda ele alınabilir:

• Şeffaflık ve Güven Eksikliği: YZ sistemlerinin bir karara nasıl ulaştığının anlaşılamaması, kullanıcılarda ve etkilenen paydaşlarda genel bir güvensizlik ve şüphecilik hali oluşturabilir. Özellikle insan hayatını doğrudan etkileyen sağlık, finans veya adli süreçler gibi alanlarda kararın gerekçesinin bilinmemesi, o karara ve dolayısıyla sisteme olan güveni temelinden sarsabilir. Bir sistemin neden belirli bir çıktı ürettiği bilinmiyorsa, bu çıktının doğruluğuna, adilliğine ve sağlamlığına inanmak zorlaşır.

• Algoritmik Önyargılar: YZ modelleri, eğitildikleri verilerdeki mevcut toplumsal önyargıları (cinsiyet, ırk, yaş vb. temelli) farkında olmadan öğrenebilir ve kararlarına yansıtarak pekiştirebilir. “Kara kutu” yapısı, bu tür önyargıların model içinde nasıl oluştuğunu ve kararları nasıl etkilediğini tespit etmeyi ve düzeltmeyi son derece zorlaştırır.

• Hesap Verebilirlik: Bir YZ sistemi hatalı veya zararlı bir karar verdiğinde, kara kutu yapısı nedeniyle hatanın kaynağını belirlemek ve sorumluyu tespit edebilmek büyük bir zorluğa dönüşebilir. Karar alma sürecinin hangi aşamasında, hangi faktörler nedeniyle hata oluştuğu anlaşılamadığında, hesap verebilirlik mekanizmaları işlemez hale gelebilir.

• Hata Ayıklama ve Doğrulama Zorlukları: Modelin iç işleyişi anlaşılamadığında, beklenmedik veya yanlış çıktılar ürettiğinde hatanın kaynağını bulmak (debugging) çok daha zor ve zaman alıcıdır. Geliştiriciler, hatayı düzeltmek için neyi değiştirmeleri gerektiğini tespit edemeyebilirler. Modelin farklı senaryolar altında doğrulanması ve güvenilirliğinin test edilmesi de tabiatıyla güçleşir. Modelin yeni ve daha önce karşılaşılmamış durumlarda nasıl davranacağını öngörmek zorlaşır.

• Etik Kaygılar: YZ'nin şeffaf olmayan karar süreçleri, temel etik ilkeleriyle ve toplumsal normlarla çelişebilir. Bir bireyin hayatını etkileyecek bir YZ kararının gerekçesinin sunulamaması, bireyin bu karara itiraz etme ve anlama hakkını zedeleyebilir.

• Yanıltıcı veya Sahte Açıklamalar Üretme Potansiyeli: Özellikle Büyük Dil Modelleri (LLM'ler) gibi karmaşık sistemler, bir kararın veya cevabın ardındaki "düşünce sürecini" (muhakeme zinciri gibi) gösterebilse de bu süreç her zaman modelin gerçekte nasıl çalıştığını yansıtmayabilir. Keza YZ söz konusu olduğundan halüsinasyon problemi de önemini sürdürmektedir. Model, bilinen sonuca ulaşmak için makul ama sahte akıl yürütmeler üretebilir. Bu durum filozof Harry G. Frankfurt'un "saçmalık" (bullshit) kavramına benzetilebilir ve kullanıcıların sorgusuz sualsiz bu "saçmalıklara" maruz kalmasına ve kabul etmesine yol açabilir.

• Sertifikasyon ve Düzenleyici Uyumluluk Zorlukları: Havacılık gibi yüksek düzeyde güvenlik gerektiren sektörlerde, düzenleyici otoriteler (FAA, EASA, ICAO) kullanılacak YZ sistemlerinin açıklanabilir ve doğrulanabilir olmasını talep etmektedir. Zira regülasyonlar, güvenlik düzenlemeleri ve sertifikasyon süreçleri kesinlik ve şeffaflık gerektirmektedir.

“Kara kutu” probleminin varlığı, YZ sistemlerine duyulan güveni sarsmakta, güvenilirlik, hesap verebilirlik ve etik kaygılar açısından çok sayıda kullanım senaryosunda temel bir engel teşkil etmektedir. Kararların gerekçelerinin bilinmemesi; özellikle sağlık, finans ve havacılık gibi hayati önem taşıyan alanlarda YZ'nin benimsenmesine ket vurabilir veya yavaşlatabilir. Kullanıcılar ve kararlardan etkilenen bireyler, tabiatıyla kendilerini etkileyen süreçlerin nasıl işlediğini bilmek isterler. Peki kara kutu problemi aşılabilir mi?

Yapay zekâ sistemlerinin karar verme süreçlerini insanlar için anlaşılır, yorumlanabilir ve şeffaf hale getirmeyi amaçlayan Açıklanabilir Yapay Zekâ (XAI-eXplainable Artificial Intelligence) kavramı geliştirilmiştir. Bir sonraki yazıda YZ’nin açıklanabilirliği ve yorumlanabilirliği gibi başlıklarına göz attıktan sonra XAI’ın avantajları ve havacılık sektöründe kullanım alanlarına odaklanılacaktır. (alert-passed)

Kaynaklar:
* The Urgency of Interpretability, Dario Amodei, https://www.darioamodei.com/post/the-urgency-of-interpretability
* What is black box AI?, Matthew Kosinski, https://www.ibm.com/think/topics/black-box-ai (alert-success)

Favatc