Otomasyon ve Yapay Zeka İronileri: Bainbridge Paradoksu

Otomasyon ve Yapay Zeka İronileri: Bainbridge Paradoksu

Lisanne Bainbridge’in 1983’te ortaya attığı “Otomasyon İronileri” otomasyonun insan operatör üzerindeki paradoksal etkilerini irdelerken, tasarımsal bir yapısal başarısızlık fenomeninden söz eder. Bir otomasyon sistemi ne kadar kusursuz çalışırsa, sistem hata verdiğinde o hatayı çözecek insana duyulan ihtiyaç o ölçüde kritik hale gelir. Ancak sistem çok başarılı olduğu için, insan o işi yapma yeteneğini zamanla kaybeder ve kriz anında doğru müdahaleyi yapamaz. Dahası insan operatörlere sadece sıkıcı ancak öngörülemez görevler kaldığından ötürü ani sistem çökmelerinde hızla devreye girip, manuel kontrol sağlamak giderek güçleşir. Başka bir ifadeyle ana görevi monitör etmeye indirgenen operatör, çok sıkıcı ancak yüksek sorumluluk gerektiren bir rolü benimsemek zorunda kalır.

Temel Otomasyon İronileri:

İzleme pradoksu (Monitoring Dilemma) ve Out-of-the-loop sendromu: İnsan bilişi, uzun süreli pasif izleme görevlerinde "Mod Karmaşası" (Mode Confusion) ve dikkat dağınıklığına meyillidir. Sistem hatasız çalıştıkça operatör döngü dışına (out-of-the-loop) itilir; bu da en çok ihtiyaç duyulan anda müdahale kabiliyetine ket vurur. Anlık olarak gelişen durumun zihinsel simülasyonunu yapabilme ve olayın bağlamını anlayabilme süresi uzar. Durumsal farkındalık seviyesi dramatik bir şekilde düşer. Sistemi sadece pasif olarak izleyen bir operatör, sistem çöktüğünde sorunun kaynağını tespit edebilmede “startle etkisi” de yaşayabileceği için zaman baskısı da düşünüldüğünde doğru reaksiyonları vermede gecikebilir.

Becerilerin Körelmesi (Skill Decay): Otomasyon, pilotun manuel uçuş veya kontrolörün trafik yönetme becerilerini pasifleştirir. Görevlerin çoğu otomasyon ya da AI tarafından delege edildiğinde, operatörün manuel problem çözebilme ve karar alma yeteneği körelir. Otomasyona aşırı güven gibi rehaveti de beraberinde getirir. Bu bağlamda "Siyah kuğu" (black swan) senaryolarıyla karşılaşıldığında ve otomasyon tamamen çöktüğünde, insanın artık güvenilir bir yedekleme mekanizması olma özelliğini tamamen yitirmesi demektir. Dahası bu durum Reason’ın “İsviçre peyniri” kaza modellemesinde emniyet bariyerlerinden birinin daha gedik vermesi anlamına gelir.

Artık Görevler (Residual Tasks): Tasarımcılar genellikle otomasyonun "yapamadığı" en zor ve öngörülemez görevleri insana bırakır. Hancke, otomasyonun başarısını sistemin öngörülebilirliğiyle açıklar. Yüksek sıklık ve düşük çeşitlilik içeren durumlar kolayca otomatize edilebilir. Ancak düşük sıklık ve yüksek çeşitlilik içeren durumlar (daha önce hiç yaşanmamış karmaşık hadiseler) insan müdahalesini zorunlu kılar. Bu durum, operatöre parçalanmış ve bilişsel olarak tutarsız bir iş yükü yükleyerek operasyonel hatalara zemin hazırlar. Ayrıca otomasyonun iş yükünü hafifletmesi beklenirken, yeni nesil araçlarda operatörler sisteme tam güvenmedikleri için hem fiziksel süreci hem de otomasyon yazılımının kendisini izlemek zorunda kalırlar. Bu durum izleme yükünü azaltmak yerine iki katına çıkarır.

Eğitim İhtiyacı (The Training Paradox): Otomasyonun teorik amacı, operatörün işini kolaylaştırıp eğitim maliyetini ve insan hata payını azaltmaktır. Ancak ironik olarak, otomasyonun çalışmadığı nadir fakat katastrofik durumlarda sistemi manuel olarak kurtarabilmesi için, operatörün eskisinden çok daha derin bir sistem bilgisine, deneyime ve eğitime sahip olması gerekir. Yani otomasyon arttıkça, operatörün ihtiyaç duyduğu yetkinlik düzeyi azalmaz; aksine kritik anlarda katlanarak artar.

Havacılık tarihinde karşılaşılan otomasyon ironisi örnekleri;

- Air France Uçuş 447 (2009): Atlantik Okyanusu üzerinde yaşandı. Hız sensörleri (pitot tüpleri) buzlandı. Otopilot devreden çıktı ve uçağı manuel kontrol için pilotlara bıraktı. Pilotlar "out-of-the-loop" (döngü dışı) durumundaydı. Uçağın mevcut durumunu kavramakta geç kaldılar ve uçak stall (perdövites) oldu. Bu kaza, uçuş ekibinde manuel uçuş reflekslerinin körelmesinin ve durumsal farkındalık kaybının yol açabileceği problemlerin bulgulandığı tipik  bir örnek olarak havacılık literatürüne girdi.

- Boeing 737 MAX (2018/2019): MCAS adı verilen otomasyon, hatalı bir hücum açısı (AoA) sensöründen veri aldı ve uçağın burnunu sürekli aşağı itti (nose down). Pilotlar arka planda çalışan bu gizli otomasyonu tam olarak anlayamadı. Sistem arıza verdiğinde pilotların sorunu teşhis edip manuel trime geçmesi için gereken süre çoktan aşılmıştı.

- Überlingen Çarpışması (2002 - ATC Bağlamı): Zürih hava sahasında iki uçak havada çarpıştı. O gece radar sisteminin kısa süreli çatışma ikazı (STCA) bakım modundaydı ve tek bir kontrolör aynı anda iki farklı frekansı yönetmek zorunda kalmıştı. Nöbetteki hava trafik kontrolörü, sistemin normalde sağladığı “conflict ikaz edici“ otomasyon desteğine alışmıştı. Radar uyarı vermeyince, kontrolör trafiklerin problem olma ihtimallerini zihninde canlandırmakta geç kaldı. Fark ettiğinde verdiği alçalma talimatı, uçağın TCAS II tavsiyesiyle çelişti. Tu-154 kaptanı TCAS yerine kontrolörü dinledi, DHL uçağı ise TCAS talimatına uyarak alçaldı ve çarpışma kaçınılmaz oldu. Bu kazanın ardından ICAO, TCAS RA (Resolution Advisory) ikazlarının her zaman ATC talimatlarına üstün geleceği kuralını kesin ve net bir dille standartlaştırdı (ICAO Doc 8168).

Konvansiyonel Otomasyon ve YZ karşılaştırması.

Yapay Zeka Çağında İronilerin Evrimi: Yapay Zekanın Çıkmazları

Modern Makine Öğrenmesi (ML) sistemleri, klasik otomasyonun "mantıksal" hata payından farklı olarak "istatistiksel" hatalar üretir. Endsley’nin perspektifiyle, AI çağında bu ironiler bilişsel tuzaklara dönüşmektedir.

Otomasyon Yanlılığı (Complacency & Bias): Sistemin hatasız görünümü "Bilişsel Tünellenme"ye yol açar. Operatörün "bakmak ama görmemek" (looking but not seeing) olgusu, AI'nın sunduğu makul görünen ancak hatalı verilere aşırı güvenmesiyle sonuçlanır. Operatör, yapay zekanın kararlarını çapraz kontrol etmeyi (cross-checking) bırakır. Parasuraman'ın tanımladığı otomasyonun suistimali (misuse/over-reliance) durumu baş gösterir.

Kara Kutu (Black Box) AI, neden-sonuç ilişkisinin kurulamadığı "kara kutu" doğası gereği istatistiksel olasılık hesaplamaları yapar ve “edge/corner cases” durumlarında sessizce başarısız olabilir. Deterministik kural tabanlı sistemlerin aksine AI, hatalı bir kararı mutlak bir doğruymuş gibi sunabilir (hallucinations).

Bilişsel İş Yükü Patlaması: Rutin anlarda azalan iş yükü monotonluğa yol açabilir ve kriz anında AI'nın kararını anlamlandırma (sense-making) çabasıyla birleşerek operatörü yönetilemez bir stres seviyesine taşır.

Otomasyon ve AI İronilerine karşı nasıl önlemler alınabilir?

İnsan Denetimi ve Rolü: İnsanın sistem üzerindeki veto ve müdahale hakkı hem yasal hem de teknik olarak taviz verilemez olmalıdır. Billings'in "İnsan merkezli otomasyon" ilkelerinde belirttiği gibi; insan sistemin dışında sadece pasif bir gözlemci değil, sürecin aktif bir parçası olmalı, hedefleri ve yapay zekanın sınırlarını dinamik olarak yönetebilmelidir.

Explainable AI (XAI): AI, kendi eğitim verisi dışındaki durumlarda veya belirsizlik anlarında bunu "anlaşılır bir dille" operatöre beyan etmek zorundadır. XAI kavrayışına uygun olarak AI’dan faydalanılmalıdır.

Kaotik Alana Geçiş Pratiği: Simülatör çalışmalarında sadece rutin prosedürleri tekrar etmek için kullanmak yerine karar verme mekanizmanı Cynefin çerçevesindeki "karmaşık" (rutin ve kurallı) alandan "kaotik" (beklenmedik kriz) alana aniden taşıyan senaryoları pratik etmek yararlı olabilir. Bu sayede acil durumlar ve belirsizlik durumları özelinde ortaya çıkabilecek “startle etkisi” minimize edilebilir.

Eğitim süreci; Eğitim sürecinde kontrolörler için SOP’lere bağlı kalmanın önemi aşılanır ve yazılı prosedürleri izlemeleri gerektiği öğretilir. Ancak prosedürlerin kapsamadığı bir boşluk ya da belirsizlik durumu oluştuğunda, kontrolörlerin adil kültür anlayışını gözeterek, yetkinlik seviyelerine göre makul bir çözümü uygulamaları beklenir. Bu bağlamda acil durumlar ve beklenmedik durumlar eğitimlerinin belirli aralıklarla tekrarlanması ve başa çıkma stratejileri geliştirilmesi önem arz eder.

Kademeli ve Uyarlanabilir Otomasyon (Sliding Autonomy): İnsan operatörün durumuna (stres, startle/irkilme, aşırı iş yükü) göre görev paylaşımının dinamik olarak değiştiği bir insan-makine arayüzünü refere eder. Bu yaklaşımın temel amacı, hem operatörün kriz anlarında aşırı iş yükü (overload) altında ezilmemesini güvence altına almak hem de rutin operasyonlarda düşük iş yükü (underload) nedeniyle monotonluğa düşerek "döngü dışına" (out-of-the-loop) itilmesini engellemektir.

Kaynaklar:

Bainbridge, L. (1983). "Ironies of Automation." Automatica, 19.
Endsley, M. R. (1995). "Toward a Theory of Situation Awareness in Dynamic Systems." Human Factors.
Billings CE (1996). Human-Centered Aviation Automation: Principles and Guidelines. NASA Technical Memorandum 110381.
Parasuraman, R. & Manzey, D. H. (2010). "Complacency and Bias in Human Use of Automation: An Attentional Integration." Human Factors, 52.
Parasuraman, R., Sheridan, T. B., & Wickens, C. D. (2000). "A Model for Types and Levels of Human Interaction with Automation." IEEE Transactions on Systems, Man, and Cybernetics, 30(3), 286-297
Tania Hancke, Ironies of Automation 4.0, DLR, 2021. (alert-passed)