Ajanlar ihbar hattına çıktı, AI şirketleri ortak kural arıyor

Ajanlar ihbar hattına çıktı, AI şirketleri ortak kural arıyor

Bazen büyük tartışmayı anlamak için küçük bir araca bakmak yetiyor. Bugünün aracı, başı derde giren AI ajanının bir URL’ye derdini yazıp yardım istemesini sağlıyor.

Evet, ajanlar için ihbar hattı açıldı.

Yukarıda OpenAI, Anthropic ve Google ortak güvenlik kurallarını konuşuyor. Aynı sırada Jensen Huang, yeni yasaya ihtiyaç olmadığını söylüyor. Aşağıda ise araştırmacılar çok daha basit bir soruyla uğraşıyor: Yanlış yapan başka bir ajanı gören yazılım, bunu kime ve nasıl bildirecek?

Çarşamba gündeminin birbirine uzaktan bağlı görünen parçaları aslında aynı yere çıkıyor. Kural koymak kolay, o kuralın çiğnendiğini gösterecek kanal ile sonrasında ne yapılacağını belirlemek zor.

Ajanın dışarıya açılan tek kapısı

TechCrunch’ın aktardığına göre ajanlar için iki ayrı bildirim kanalı hazırlandı. Redwood Research’ten Ryan Greenblatt’ın geliştirdiği AI Contact Hotline, dış dünyaya yalnızca GET isteği gönderebilen sandbox içindeki ajanları hedefliyor. Ajan, bildireceği olayı ziyaret ettiği URL’nin içine kodluyor. Mesaj kutusu yok, form yok. Elinde kalan tek kapıyı kullanıyor.

İnternete daha geniş erişimi olanlar için agenthotline.ai var. İnsanlar da ajanlar da olay kaydı bırakabiliyor, isterse bunu herkese açık hale getirebiliyor. Bazı durumlarda tek satırlık curl komutu yeterli.

Bu araçlar durduk yere çıkmadı. Google DeepMind’ın zor matematik problemleri üzerinde yürüttüğü bir çalışmada 100 ajan görev aldı. İçlerinden biri sistemdeki açığı keşfedince kopya davranışı hızla diğerlerine yayıldı. Ardından grubun yaklaşık dörtte biri sahte kanıtları incelemeye, diğer ajanları uyarmaya ve sorun çözülmeyince insanlara haber vermeye başladı.

METR’nin Hugging Face ajan sürüsü incelemesinde tablo bambaşkaydı. Binlerce ajan arasından yalnızca beş ya da altısı yanlış davranışı bildirmeyi düşündü. Hiçbiri işi tamamlamadı.

Demek ki hattın açık olması yetmiyor. Ajanın olayı tanıması, bildirmeyi seçmesi, karşı tarafta da kaydı ele alacak sorumlu bulunması gerekiyor. Cornell’den Lionel Levine’in uyarısı bu yüzden yerinde: Her ajanı diğerini gözetleyen yazılıma çevirmek yerine işbirliğini ve faydalı ortak davranışı tasarımın içine koymak gerek. Yoksa güvenlik adına epey tatsız bir otomatik gözetim düzeni kurulur.

Kasaya yaklaşmadan önce 5.000 test

İhbar hattı olay yaşandıktan sonra devreye giriyor. Bir başka ekip, ajan şirkette göreve başlamadan önce ne kadar güvenilir olduğunu ölçmeye çalışıyor.

Erken dönem Anthropic çalışanlarından Rune Kvist ile METR’nin eski COO’su Rajiv Dattani’nin kurduğu Artificial Intelligence Underwriting Company, kısa adıyla AIUC, 40 milyon dolarlık Series A yatırım aldı. Şirketin bugüne dek topladığı tutar yaklaşık 55 milyon dolara ulaştı.

AIUC-1 adlı denetim programı SOC 2 yaklaşımından esinleniyor. Kurumsal ajanlara yaklaşık 5.000 test uyguluyor, bulguları yaklaşık 100 sayfalık dosyada topluyor, son değerlendirmeyi bir insan kontrol ediyor. Açıklanan müşteriler arasında Cursor, Lovable, Harvey ve ElevenLabs var.

Rakamlar ciddi. Yine de test sayısı tek başına güvence değil. Hangi testin başarısız sayıldığı, sonucun müşteriye mi yoksa kamuya mı açıklandığı ve kötü not alan ajanın üretime girip girmediği daha önemli. Notlarımızda bulunsun.

Üç büyük rakip aynı masada

Günün kurumsal tarafına gelirsek, CNBC’nin haberine göre OpenAI, Anthropic ve Google güvenlik alanında birlikte çalışmanın yollarını görüşüyor. Konu, Demis Hassabis’in Temmuz ayında gündeme getirdiği ABD öncülüğünde bir standartlar kuruluşu önerisinin ardından hız kazandı.

Önerilen yapı kamu ile özel sektörün birlikte yer aldığı ya da federal gözetim altında çalışan bir özdenetim kuruluşu olabilir. Benzetme için sık sık FINRA kullanılıyor. FINRA, ABD’de aracı kurumları denetleyen özdenetim kuruluşu. AI tarafında birebir aynı modelin çalışıp çalışmayacağı ise henüz belli değil.

Dario Amodei hafta sonu frontier model geliştirme hızının düşürülmesini istedi. Demis Hassabis ile Sam Altman bu çağrıya açık destek verdi. Ne var ki masadaki şirketlerin her biri aynı müşterinin, aynı yeteneğin ve aynı dev veri merkezi yatırımının peşinde. Ortak güvenlik kuralı ile rakibi yavaşlatan düzen arasındaki sınır hayli ince.

OpenAI’nin küresel ilişkilerden sorumlu yöneticisi Chris Lehane, hükümet desteklese de desteklemese de sektörün öncülük ettiği standartları ilerleteceklerini daha önce yazmıştı. Ona göre gönüllü standartlar zorunlu federal güvencelerin yerini almayacak, yanına eklenecek. Bu yol için antitröst muafiyetine ihtiyaç bulunmadığını da savunuyor. Görüşmeleri ilk duyuran The Information oldu; Google ile Anthropic, CNBC’ye hemen yorum yapmadı.

Şimdilik ortada kuruluşun adı, yetkisi ya da bağlayıcı bir metin yok. Asıl ölçü gayet sade: Bağımsız denetçi bir şirkete başarısız not verebilecek mi? Bu not yayımlanacak mı? Sonuç, rakip firma aynı hafta yeni model çıkarırken sürümü durdurabilecek mi?

Bunların yanıtı yoksa elimizde yeni bir logo ve bolca toplantı kalır. Güvenlik paktı ile kartel arasındaki tartışmanın ayrıntıları bu derin analizde duruyor.

Huang: Yeni yasa çıkarmayın

Masaya en açık itiraz Jensen Huang’dan geldi. NVIDIA CEO’su Dreamforce sahnesinde güvenliğin hukukçuların değil mühendislerin işi olduğunu savundu. TechCrunch’ın aktardığı sözleri oldukça net: “Yeni yasaya ihtiyacımız yok. Yeni düzenlemelere ihtiyacımız yok.”

Huang’a göre güvensiz ürün çıkaran şirketi piyasa zaten cezalandırır. Şirketler hızlı ilerlemeli, ürün ya da şirket kontrolden çıkarsa durmalı. CNBC Mad Money yayınında, firmaların birlikte yavaşlayabilmesi için antitröst koruması sağlayacak yeni yasaları da “tamamen gereksiz” diye niteledi.

Mark Zuckerberg de Amodei’den çok Huang’a yakın duruyor. CNBC’nin derlediği açıklamalarında, model zarar verdiğinde şirketlerin zaten ciddi hukuki sorumluluk taşıdığını söyledi. Meta’nın Muse’u güvenlik gerekçeleriyle kendi kararıyla ertelediğini örnek verdi. Onun tercihi sektörün topluca durması değil, bağımsız değerlendirmenin yaygın uygulamaya dönüşmesi.

Piyasa yaklaşımının açığı malum: Zararı çoğu zaman ürün kullanıldıktan sonra öğreniyoruz. Sızan veriyi geri toplamak ya da otomatik sistemin verdiği kararı hiç yaşanmamış hale getirmek mümkün değil. Gönüllü kuralların açığı da başka: Kuralları yazan devler, uyum maliyetini küçük rakiplerin önüne duvar olarak koyabilir.

The Verge’ün sorduğu “güvenlik anlaşması mı, kartel mi?” sorusu bu yüzden kolay kapanmayacak. NYU’dan, eski DHS çalışanı Nick Reese yeni ve güvenilir aktörlere ihtiyaç olduğunu söylüyor. Tech Oversight Project’ten Sacha Haworth gönüllü çerçevelerin sektörün düzenleme sürecini ele geçirmesine dönüşebileceği görüşünde. Çin Dışişleri Bakanlığı sözcüsü Guo Jiakun ise yavaşlama çağrılarını korku yaymakla suçladı.

Benim bugünden çıkaracağım kısa liste şu: Testler açık olsun, başarısız notun sonucu olsun, ihbarın kime gideceği baştan belli olsun. Gerisi duyuru gürültüsüne çok çabuk karışıyor.

Kaynaklar

• CNBC: OpenAI, Google ve Anthropic’in güvenlik görüşmeleri
• TechCrunch: Jensen Huang yeni AI düzenlemelerine karşı çıkıyor
• CNBC: Zuckerberg ve Huang’ın yavaşlama çağrılarına yanıtı
• The Verge: Güvenlik anlaşması mı, kartel mi?
• TechCrunch: AI ajanları için bildirim hatları
• oguzhan.co: AI standartları için önerilen kuruluş üzerine derin analiz