XAI (Explainable AI) Kavramı ve Kullanım Senaryoları

XAI (Explainable AI) Kavramı ve Kullanım Senaryoları

Yapay Zekâ (YZ) sistemlerinde, özellikle de derin öğrenme gibi karmaşık modellerde karşılaşılan "Kara Kutu" problemine ve sebeplerine, "Yapay Zekâ (YZ) ve 'Kara Kutu' Problemi" başlıklı yazıda değinmiştik. Kısaca özetlemek gerekirse, YZ modelinin girdileri alıp belirli çıktılar üretme şeklinin -yani içsel karar verme mekanizmalarının- milyarlarca parametreden oluşan karmaşık etkileşimler ve öğrenme süreçleri içermesi, YZ’nin insanlar tarafından anlaşılabilirliğinde ya da yorumlanabilmesinde güçlükler doğurabilmektedir.

"Kara Kutu" sorununu çözmek amacıyla Açıklanabilir Yapay Zekâ (XAI) kavramı geliştirilmiştir. XAI'nin temel hedefi, bir YZ modelinin belirli bir girdiye karşılık neden belirli bir çıktıyı veya tahmini ürettiği ve bu karara ulaşırken hangi faktörleri (girdi özellikleri) nasıl kullandığı hususunda insanlara anlaşılabilir açıklamalar sunmaktır. Basitleştirirsek XAI kavrayışının temelinde neden ve nasıl sorularına verilen cevaplar ve akıl yürütmeler bulunmaktadır. DARPA (The Defense Advanced Research Projects Agency), XAI araştırma programı da bahsi geçen ihtiyaçlara yönelik çözümler üretebilmek maksadıyla başlatılmıştır.

“Açıklanabilirlik” (explainability) ve “Yorumlanabilirlik” (interpretability) kavramları aralarında ince farklar bulunsa da XAI literatüründe her ikisi de sıkça birbirinin yerine kullanılmaktadır.

1.Açıklanabilirlik (Explainability): YZ modelin belirli bir kararı veya tahmini özelinde insan tarafından anlaşılabilir bir gerekçe veya mantık sunabilme yeteneğini olarak ifade edilir. Keza YZ tarafından alınan belirli bir karar için sonradan (post-hoc) bir açıklama üretilmesi şeklinde de ele alınabilir. Yani, modelin kendisi karmaşık ve içsel olarak anlaşılması zor olsa bile, alınan bir kararın neden o doğrultuda alındığına yönelik dışarıdan bir açıklama sunulabilir. LIME (Local Interpretable Model-agnostic Explanations) veya SHAP (SHapley Additive exPlanations) gibi teknikler bu tür sonradan oluşturulan açıklamalara örnek teşkil edebilir. Ontoloji Tabanlı XAI gibi modeller de, daha derin bir bağlam sunarak, neden-sonuç ilişkilerinin daha iyi anlaşılmasını sağlayabilir.

2.Yorumlanabilirlik (Interpretability): Genellikle bir modelin içsel mekanizmalarının bir insan tarafından ne ölçüde anlaşılabileceği ile ilgilidir. Tabiatıyla modelin yapısının ne kadar basit ve şeffaf olduğuyla yakından bağlantılıdır. Örneğin, katsayıları her bir özelliğin çıktı üzerindeki etkisini doğrudan gösteren basit bir doğrusal regresyon modeli yorumlanabilir kabul edilir. Bu tür modellerin çalışma prensipleri doğrudan anlaşılabilir yapıdadır. Keza “lineer” modeller ve “karar ağaçları” da benzer bir mantıkla çalışır.

Yorumlanabilirlik daha çok modelin kendi iç yapısının ne kadar şeffaf ve anlaşılır olduğuyla ilgiliyken, açıklanabilirlik ise bir kararın neden alındığına dair insan tarafından anlaşılır bir gerekçe veya mantık sunma yeteneğiyle ilintilidir.

XAI modeller açıklanabilirlik ve yorumlanabilirlik açısından tipik YZ modellerine göre avantajlara sahip olsa da lineer olmayan ilişkileri hesaplamada ve karmaşık sistem dinamiklerini öğrenmede önemli darboğazlara sebep olabilirler. Bir diğer problem ise nedensellik ilişkisinin kurulmasında “overfitting” gibi fenomenlerin ortaya çıkabilmesidir.

XAI'nin başlıca avantajları.

Açıklanabilir Yapay Zekâ (XAI)'nın sağladığı temel faydalara göz atarsak:

1.Güven Artışı: XAI'nin en önemli faydalarından biri, YZ sistemlerinin kararlarının nasıl ve neden alındığının anlaşılmasını sağlayarak kullanıcıların, uzmanların ve etkilenen paydaşların bu sistemlere olan güvenini önemli ölçüde artırmasıdır. Kararların gerekçesi bilindiğinde, özellikle sağlık, finans veya havacılık gibi kritik alanlarda, sistemin çıktılarına olan güven artar ve insan-makine etkileşimi de daha verimli çalışabilir.

2.Önyargı Tespiti: XAI, YZ modellerinin eğitim verisindeki önyargıları (bias) öğrenip öğrenmediğini ve adil kararlar verip vermediğini anlamak için kritik bir araçtır. Hangi özelliklerin kararları ne ölçüde etkilediği şeffaf hale geldiğinde, potansiyel önyargılara sebep veren ayrımcı faktörler (cinsiyet, ırk, yaş vb.) daha rahat tespit edilebilir.

3.Hesap Verebilirlik ve Sorumluluk Paylaşma: Açıklanabilir YZ sistemleri, verilen kararlardan dolayı hesap verebilirliği artırır. Bir karar sorgulandığında, bahsi geçen kararın nasıl alındığına dair mantıksal bir gerekçe sunulabilir. Dahası hatalı veya beklenmedik kararların kaynağının belirlenmesinde işlevsel olabildiği gibi sorumluluğun tespit edilebilmesine ve senaryoya göre paylaştırılmasına da yardımcı olabilir.

4.Hata Ayıklama (Debugging): Modelin iç işleyişi anlaşıldığında, beklenmedik veya yanlış çıktılar ürettiği durumlarda hatanın kaynağını bularak modeli optimize edebilmek pratikleşir. Sistemin zayıf noktalarını belirlemek kolaylaşırken, hataları ayıklamayı ve güvenilirliğini artırmayı sağlar.

5.Nedensellik Anlayışının Geliştirilmesi: Bazı XAI teknikleri (özellikle nedensel çıkarıma dayalı olanlar), sadece girdiler ve çıktılar arasındaki korelasyonları değil, aynı zamanda kararların arkasındaki daha derin neden-sonuç ilişkilerini de ortaya çıkarmaya yardımcı olabilir. Nedensellik ilişkilerinin kurulabilmesi bilimsel hipotezler oluşturulmasına ve yeni kavrayışlar geliştirilmesine fayda sağlayabilir. "Root cause" a yaklaşabilmede de etkilidir.

6.Öğrenme: XAI, YZ modelinin büyük veri kümelerinden öğrendiği güncel, beklenmedik veya insan uzmanların daha önce fark edemediği örüntüleri ve ilişkileri ortaya çıkarabilir. Bu sayede alan uzmanlarının kendi bilgilerini derinleştirmelerine ve daha iyi kararlar alabilmelerine katkı sunabilir.

7.Düzenleyicilerle Uyumluluk: Açıklanabilir YZ sistemleri, safety-critical olarak konumlandırılan, yüksek emniyet standartlarına sahip endüstrilerde, kural koyucular ve regüle edici otoritelerin YZ kavrayışını geliştirebilir. Regülasyon periyotları daha iş birlikçi hale gelirken, sertifikasyon süreçleri de kısalır.

8.İnsan-YZ İş birliği: XAI, HMI (Human-machine interface) çalışma ortamlarında anlayış ve karşılıklı güven arasıdaki dengeyi kurarak, iş birliği kolaylaştırır. YZ'nin teknik olarak karmaşık düşünce süreçlerini insanlar için anlaşılır bir dile tercüme eder. Böylece insanlar YZ sistemlerini daha iyi kavrayabilir, onlarla daha etkili bir şekilde iş birliği yapabilir ve onları daha iyi denetleyebilir.

Havacılık sektöründe YZ'nin kullanımı ve XAI’ye olan ihtiyaç:

Havacılık sektörü gibi safety-critical bir endüstride, tipik YZ modellerinin “kara kutu” probleminden mustarip olmaları, açıklanabilirlik ve yorumlanabilirlik açısından emniyet riskleri oluşturabilmektedir. Zira hatalı ya da basitleştirilmiş nedensellik ilişkilerinin kurulması, kompleks etkileşimler içeren HMI bir çalışma ortamında, acil durumlar ve belirsizlik senaryoları da hesaba katıldığında yıkıcı sonuçlar doğurabilir. Bir diğer önemli sorun ise YZ’yi eğitmek için kullanılacak, havacılık emniyetiyle ilişkilendirilen raporların, incident-accident verilerinin vs. kısıtlı, seyrek ve gürültülü oluşudur. YZ modelleri büyük miktarda, önyargıdan ve gürültüden arındırılmış veriyle daha iyi sonuçlar verebilmekte, veri kalitesindeki kısıtlamalardan olumsuz etkilenebilmektedir. Tüm bunlar da hesaba katıldıktan sonra Ontoloji tabanlı XAI modellerinin havacılık sektöründe daha iyi sonuçlar verebileceği düşünülmektedir.

YZ ile Ontoloji Tabanlı XAI kıyaslaması.

Havacılık sektöründe başlıca XAI kullanım alanlarını:

1.Hava Trafik Yönetimi (ATM): YZ, hava trafik yönetiminde pek çok veçhede (uçuş planlama, akış düzenleme, hava durumu tahminlere göre rota ayarlamaları vs. gibi) etkin olarak kullanılmaktadır. Aynı zamanda hava sahası tasarımından operasyonel emniyet çıtasının belirlenmesine kadar çok sayıda asiste edici görevi de yerine getirir. Bu alanlarda alınan YZ kararlarının şeffaflığı ve açıklanabilirliği, emniyetli bir hava sahası için hayati önem taşır. Hava sahası kullanıcılarının tamamı için daha verimli bir ölçeklendirme ve paylaşımda da XAI araçları ile işlevsel olabilir. Örneğin, şehirler üzerinde artması beklenen alçak irtifa trafiğini yönetmek için Kentsel Hava Hareketliliği (Urban Air Mobility - UAM) çözümleri özelinde yer/hava faaliyetlerini izleyen akıllı asistanlar (IA) gereklidir. XAI ve blok zinciri teknolojilerinin bir arada kullanılmasıyla talep kapasite denklemi de optimize edilebilir.

2.Otonom Uçuş Sistemleri: YZ, otonom uçuş sistemlerinde de yer almaktadır. Bu sistemlerin beklenmedik durumlar karşısında aldığı kararların nedenlerini anlamak emniyet açısından kritiktir ve geleneksel veri kayıt cihazlarıyla bile bu "düşünce sürecini" irdelemek epeyce zordur. Zira “hindsight bias” gibi fenomenler neden-sonuç ilişkilerinin kurulmasını güçleştirir. XAI kavrayışı geliştirmek işlevsel olduğu kadar emniyet açısından da önemlidir.

3.Tahmine Dayalı Bakım (Predictive Maintenance - PdM): YZ, uçaklardan gelen sensör verilerini, operasyonel kayıtları ve bakım geçmişlerini analiz ederek potansiyel bileşen arızalarını veya performans düşüşlerini önceden tahmin etmek için kullanılır. Ancak, bakım mühendislerinin ve teknisyenlerinin bir YZ tahminine (örneğin, "bu parçanın ömrü yaklaşık 200 uçuş saatidir") güvenebilmesi için, YZ'nin bu sonuca nasıl ulaştığının (hangi sensör verilerinin, hangi anormalliklerin bu tahmini tetiklediği gibi) mantıklı bir şekilde izah edilmesi gerekir. XAI, tam olarak bu "neden" sorusunu yanıtlamaya yardımcı olmayı hedefler. Bu sayede plansız yerde kalma süreleri azaltılabilir ve bakım maliyetleri optimize edilebilir.

4.Arıza Tespiti: YZ, uçak sistemlerindeki ya da “ground-base” sistemlerdeki arızaların tespitinde diagnostik amaçlı olarak kullanılabilir. Arıza tespitinin yanı sıra hata ayıklama modlarıyla da işlevsel olabilir. XAI sayesinde potansiyel hataların ayırdına varma ve kök nedenlere ulaşıp nedensellik ilişkileri kurabilmekte kolaylaşır.

Kaynaklar:

AI and its limitations with aviation safety data, Kateřina GRÖTSCHELOVÁ, 2025.

Strategies for XAI in aviation, Narek, Minaskan (DFKI), https://haikuproject.eu/

Bernard, D., Perello-March, J., Solis-Marcos, I. and Cooper, M. A User-Centered Ontology for Explainable Artificial Intelligence in Aviation.

CORDIS Results Pack on AI in air traffic management, October 2022. (alert-success)