Satya Nadella’dan yapay zekâ modelleri için “acil durum freni” çağrısı
Microsoft CEO’su Satya Nadella, giderek daha fazla yetki kazanan yapay zekâ modellerinin yalnızca kendi iç güvenlik mekanizmalarına emanet edilmemesi gerektiğini düşünüyor. Nadella’ya göre yapay zekâ sistemlerinde kontroller modelin dışında tutulmalı ve yetkili kişiler gerektiğinde çalışan bir modeli görev ortasında durdurabilmeli.
Yapay zekâ modelleri artık yalnızca kullanıcılara metin üreten veya soruları yanıtlayan sistemler olmaktan çıkıyor. Yeni nesil yapay zekâ ajanları internet üzerinde işlem gerçekleştirebiliyor, farklı uygulamalarla iletişim kurabiliyor ve belirli izinler verildiğinde kullanıcı adına çeşitli görevleri yerine getirebiliyor.
Bu gelişim, yapay zekâ güvenliği tartışmalarını da farklı bir noktaya taşıyor. Microsoft CEO’su Satya Nadella, 10 Ekim’de X üzerinden yayımladığı açıklamasında yapay zekâ sistemlerinin mevcut “güven mimarisinin” yeniden değerlendirilmesi gerektiğini savundu.
Nadella’nın önerisinin merkezinde ise oldukça basit bir güvenlik prensibi bulunuyor: Yapay zekâ modeline tamamen güvenmek yerine, sistem baştan ele geçirilmiş veya hatalı davranabilecekmiş gibi tasarlanmalı.
Yapay zekâ güvenliği modelin içine bırakılmamalı
Nadella’ya göre gelişmiş yapay zekâ sistemlerinde model ile modeli yöneten altyapının birbirinden ayrılması gerekiyor.
Buradaki önemli kavramlardan biri yapay zekâ dünyasında genellikle “harness” olarak adlandırılan orkestrasyon katmanı. Bu katman; modelin hangi araçlara erişebileceğini, hangi işlemleri gerçekleştirebileceğini ve aldığı kararların gerçek dünyadaki sistemlere nasıl aktarılacağını belirleyebiliyor.
Microsoft CEO’su, güvenlik kontrolleri ve koruma mekanizmalarının doğrudan yapay zekâ modeline bağlı olmaması gerektiğini savunuyor.
Başka bir ifadeyle, bir yapay zekâ modelinin kendi güvenlik kurallarına uyacağı varsayılmamalı. Sistemin erişebileceği kaynaklar, kullanabileceği araçlar ve gerçekleştirebileceği işlemler modelin dışındaki bağımsız bir güvenlik katmanı tarafından sınırlandırılmalı.
Bu yaklaşım aslında siber güvenlik dünyasında uzun süredir kullanılan “zero trust”, yani sıfır güven prensibine oldukça benziyor. Sistemin güvenilir olduğu varsayılmak yerine her erişim ve işlem ayrı ayrı kontrol ediliyor.
Yapay zekâ modellerine “acil durum freni” önerisi
Nadella’nın açıklamalarında en fazla dikkat çeken noktalardan biri ise yapay zekâ modelleri için önerdiği “acil durum freni” oldu.
Microsoft CEO’suna göre sistem, yetkilendirilmiş bir kişinin yapay zekâ modelini bir görevi gerçekleştirirken bile duraklatabilmesine veya tamamen kapatabilmesine izin vermeli.
Nadella bu yaklaşımı şu temel düşünceyle açıklıyor: Bir modelin en başından itibaren ele geçirilmiş veya güvenilmez olabileceği varsayılmalı ve buna göre sınırlandırılmalı.
Buradaki amaç yalnızca kötü niyetli bir yapay zekâ senaryosunu engellemek değil.
Bir model hatalı bir karar verebilir, yanlış bir aracı kullanabilir, kendisine verilen yetkileri beklenmeyen biçimde değerlendirebilir veya dışarıdan gerçekleştirilen bir saldırı sonucunda güvenliği ihlal edilebilir.
Bu nedenle insanın son kontrol mekanizması olarak sistem üzerinde yetki sahibi olmaya devam etmesi, Nadella’nın önerdiği mimarinin en önemli unsurlarından biri.
Yapay zekânın yaptığı işlemler kayıt altına alınmalı
Nadella’nın güvenlik yaklaşımı yalnızca sistemi kapatabilmekten ibaret değil.
Microsoft CEO’su aynı zamanda yapay zekâ tarafından gerçekleştirilen önemli işlemlerin değiştirilmeye karşı korumalı ve insanlar tarafından okunabilir kayıtlarla belgelenmesi gerektiğini savunuyor.
Bu sistem sayesinde bir yapay zekâ ajanının:
- hangi aracı kullandığı,
- hangi işlemi gerçekleştirdiği,
- hangi sistemlere eriştiği,
- hangi eylemleri hangi sırayla yaptığı
daha sonra incelenebilir hâle gelebilir.
Özellikle şirketlerin finansal sistemlere, müşteri verilerine, yazılım geliştirme araçlarına veya kurumsal altyapılara erişebilen yapay zekâ ajanları kullanmaya başlamasıyla bu tür kayıtların önemi çok daha fazla artabilir.
Çünkü bir sorun yaşandığında yalnızca “yapay zekâ yanlış yaptı” demek yeterli olmayacak. Sistemin hangi işlemi ne zaman gerçekleştirdiğinin ve hangi yetkiyi kullandığının da denetlenebilmesi gerekecek.
“Model güvenilir mi?” yerine “Modeli ne kadar kontrol edebiliyoruz?”
Nadella’nın yaklaşımının dikkat çekici taraflarından biri de yapay zekâ güvenliği konusundaki bakış açısını modelin kendisinden sistem mimarisine kaydırması.
Bugünkü yapay zekâ tartışmalarında genellikle modellerin ne kadar güvenilir olduğu, yanlış bilgi üretip üretmediği veya verilen talimatlara ne kadar doğru uyduğu konuşuluyor.
Ancak yapay zekâ ajanları daha fazla araca ve gerçek dünya sistemine erişmeye başladıkça yalnızca model davranışını iyileştirmek yeterli olmayabilir.
Bu nedenle gelecekte yapay zekâ güvenliğinin önemli bir bölümü şu sorular etrafında şekillenebilir:
Model hangi yetkilere sahip?
Gerçek dünyada hangi işlemleri gerçekleştirebilir?
Gerçekleştirdiği işlemler bağımsız olarak denetlenebilir mi?
Bir sorun yaşandığında insan tarafından anında durdurulabilir mi?
Nadella’nın önerdiği güven mimarisi de tam olarak bu noktaya odaklanıyor.
Yapay zekâ ajanları yaygınlaştıkça konu daha önemli hâle gelebilir
Chatbot döneminde yapay zekâ modellerinin yaptığı hataların büyük bölümü ekranda yanlış bir cevap görmekle sınırlı kalabiliyordu.
Ancak otonom veya yarı otonom yapay zekâ ajanlarının yaygınlaşması bu denklemi değiştiriyor.
Bir yapay zekâ sistemi e-posta gönderebiliyor, kod çalıştırabiliyor, internet sitelerinde işlem yapabiliyor veya şirketlerin dahili sistemlerine bağlanabiliyorsa gerçekleştirilen bir hata yalnızca yanlış bir metin üretmekten çok daha ciddi sonuçlara yol açabilir.
Bu nedenle Microsoft CEO’sunun önerdiği modelden bağımsız güvenlik katmanları, değiştirilemez işlem kayıtları, sınırlı yetkiler ve insan kontrollü acil durdurma mekanizmaları, önümüzdeki dönemde yapay zekâ altyapılarının önemli tartışma başlıklarından biri olabilir.
Nadella’nın açıklaması şu anda Microsoft tarafından duyurulmuş yeni bir ürün veya zorunlu şirket politikası anlamına gelmiyor. Bunun yerine açıklama, gelişmiş yapay zekâ modelleri ve ajanları için nasıl bir güvenlik mimarisi oluşturulması gerektiğine yönelik bir yaklaşım ortaya koyuyor.
Yapay zekâ sistemlerine verilen yetkiler arttıkça sektörün karşısındaki temel soru da giderek netleşiyor: Daha güçlü modeller geliştirmek kadar, gerektiğinde bu modellerin yaptıklarını sınırlayabilmek ve durdurabilmek de önemli olacak mı?
