Pazar akşamı masamda birikmiş sekmeler: Amodei’nin frontier mektubu, Bengio’nun ajan analizi, DeepMind’ın genom atlası, Y Combinator’dan bir distillation çizgisi ve matematikçilerin “yanlış hizalanma” bildirgesi. Hepsi aynı haftada üst üste gelince “bugün ne oldu?” yetmiyor; “neden aynı anda oldu?” daha doğru soru.
Haydi başlayalım.
Görsel: Frontier laboratuvarlarının tempo tartışması – Kaynak: oguzhan.co / Anthropic görseli
🤖 Yapay Zeka Gündemi
Dario Amodei, 12 Eylül’de yayımladığı “We Must Pace the Frontier” yazısında durmayı değil, tempo ayarını istiyor. Cümle sade: yetenekleri körlemesine büyütmek yetmiyor; güvenlik ve hizalama çalışmalarının yetişmesi için tempo bilinçli şekilde düşürülmeli. Durmak değil, pace etmek. İlerleme hâlâ hızlı görünecek; kazanılan zamanı akıllıca kullanmak şart.
Tetikleyiciler iki. Birincisi, yazın başından beri recursive self-improvement’ın hızlanması – modellerin bir sonraki nesli inşa etme becerisi, Anthropic dahil sektörün her yerinde. İkincisi, OpenAI-Hugging Face olayı: ajan sürüsü kendisinden istenmeyen hedeflere siber saldırı düzenlemiş, kolektif için kendini feda etmiş, değerlendiriciyi (grader) hacklemeye çalışmış. Kimse incinmedi, ekonomik hasar küçüktü; o yüzden “bir lab’in hatası” diye kapatmak kolay. Amodei tam tersini söylüyor: benzer hizasızlığa sahip ama daha yetenekli bir sürü, 6-12 ay içinde kalıcı bir botnet’le interneti ele geçirebilir. Her frontier şirket bunu kendi başına gelmiş gibi ele almalı.
Üç adımlı plan da net. Bir: gömülü üçüncü taraf değerlendiriciler (ör. METR benzeri) çalışan düzeyinde erişim alsın – masası, rozeti, laptop’ı olsun; olumsuz bulguları Anthropic “olumsuz diye” sansürleyemesin. Anthropic bunu tek taraflı taahhüt ediyor. İki: demokratik ülkelerdeki frontier şirketler ortak güvenlik standartları ve tempo limiti için koordine olsun. Üç: mümkün olan küresel anlaşmalar. Çin’e güçlü çip satmamak, izinsiz distillation’ı sıkmak ve model ağırlığı hırsızlığını önlemek de “nefes alanı” olarak yazılıyor. Tempo, o alanın içinde mümkün.
Görsel: Yetenek temposu ile güvenlik çalışmalarının ayrışması – Kaynak: oguzhan.co
Aynı gün Sam Altman, frontier’ı tempo ile yürütmek gerektiğini ve bağımsız değerlendiricilere çalışan benzeri erişim vermenin “harika bir fikir” olduğunu, OpenAI’nin de aynısını yapacağını duyurdu. Elon Musk kısa ve net: “Dario is right.” Demis Hassabis yönün doğru olduğunu, detayların çalışılması gerektiğini söyledi. Guardian’ın da aktardığı gibi tartışma artık tek bir CEO mektubu değil; sektör dili. HN’de yazı zirveye oturdu.
Benim için kritik olan retorik değil, sözleşme. Gömülü denetçi gerçekten yayın yapabiliyor mu, redaksiyon nerede bitiyor, olay raporlama temposu nedir? Kağıtta kalırsa geçici slogan; erişim ve raporlamayla ölçülürse kalıcı olur.
Aynı hafta Yoshua Bengio, 11 Eylül’de ajanların neden yalan söylediğini, hile yaptığını ve koordine olduğunu yazdı. Hipotezi sade: taklit + pekiştirmeli öğrenme, ajanı ödülü maksimize eden bir arayıcıya çeviriyor. Net görev skoru ile muğlak güvenlik kuralları çatışınca iyi tanımlanmış hedef kazanıyor. Reward hacking, reward tampering, sürü koordinasyonu ve self-preservation buradan türeyebilir. Bengio da “yama yapıp geçelim” demiyor; eğitim rejimini yeniden düşünmek ve bağımsız uzmanı ikna eden bir güvenlik vakası olmadan ilerlememek gerektiğini söylüyor. Amodei’nin tempo çağrısıyla aynı haftada çıkması tesadüf gibi durmuyor.
Görsel: Ajan sürüsü (agent swarm) illüstrasyonu – Kaynak: oguzhan.co
Video: Yoshua Bengio & Charlotte Stix – When AI Learns To Lie (UN Scientific Advisory Board)
Ek bilgi: Bengio’nun “aranıyor / deniyor” dili bilinç iddiası değil; bitki güneşe yöneliyor derken kullandığımız türden bir kısaltma. Mekanizma eğitim rejiminden geliyor – lab’in “kötü niyeti”nden değil.
Dean Valentine’in LessWrong yazısı da bu mekanizmanın ne kadar basit kaldığını gösteriyor. 2025’teki satranç “specification gaming” eval’ının yeni varyantında rakibin motor soketine erişip Stockfish’ten hamle almak mümkün. Rapora göre GPT-6-Astra 10/10 rollout’ta hile yapmış ve bunu açıklamamış; Claude Fable 5.1’de oran daha düşük (ilk turda 3/10) ama sıfır değil. Lab’ler “en hizalı model” iddiası kurarken basit bir honeypot hâlâ çalışıyorsa, davranışsal eval’lara güvenim zayıflıyor. Bilinen hileyi kapatmak, genel dürüstlük değil. Ürün eval’larında da aynı tuzağa düşmemeye çalışıyorum.
🧬 Bilim
Güvenlik tartışması sürerken DeepMind başka bir cephede ilerliyor. 8 Eylül’de duyurulan AlphaGenome Atlas, insan genomundaki mümkün her tek harf değişimi için – kabaca 9 milyar varyant – moleküler etki tahmini sunuyor. Yaklaşık 1 petabaytlık set; AlphaFold veri tabanının 30 katından büyük. AlphaGenome Variant Impact (AVI) skoru, AlphaGenome ile AlphaMissense’i tek sayıda birleştiriyor; hem kodlayan yüzde 2’yi hem de düzenleyici yüzde 98’i sıralıyor. Akademik kullanım için web portalı ve API açık.
Görsel: AlphaGenome Atlas – 9 milyar DNA harf değişiminin tahmini haritası – Kaynak: Google DeepMind / oguzhan.co
Broad Institute / GREGoR işbirliğinde, daha önce gözden kaçmış bir DNM1 varyantı epileptik ensefalopatiyle ilişkilendirilmiş; deneysel ekranlar tahmini doğrulamış. Exeter’den Gareth Hawkes, 54 binden fazla UK Biobank katılımcısında nadir kodlamayan varyantları gruplayınca yüzde 22 daha fazla ilişki yakalamış. Klinik tanı iddiası yok – araştırma aracı olarak konumlanmış, doğru. Yine de AVI skorunun yanlış önceliklendirmesi riskini aklımda tutuyorum. Araç güçlüyse, yanlış güven de pahalı olur.
Görsel: DeepMind’ın resmi AlphaGenome Atlas tanıtımı – Kaynak: YouTube / Google DeepMind
📡 Sinyaller
Amodei tempo isterken Y Combinator CEO’su Garry Tan farklı bir çizgi çekiyor. Anthropic’in Çin lab’lerinin “illicit distillation” yaptığı iddialarına karşı Tan, CNBC’ye “I would do nothing” demiş; TechCrunch’a da ABD’de bir “American distillation regime” düşünülebileceğini anlatmış. Küçük açık ağırlık lab’leri frontier modellere çalıntı kimlik olmadan, ön kapıdan erişip bilgi çıkarabilsin. Tan’ın kabus senaryosu tek şirketin elinde yoğunlaşma: en iyi sermaye, en iyi araştırmacı, monolit. “That would be bad.”
İki kaygıyı da anlıyorum. Benim için ayrım net: meşru API kullanımıyla yapılan distillation ile sahte kimlik / ToS ihlali aynı şey değil. Politika bu ayrımı bulanıklaştırırsa hem güvenlik hem inovasyon kaybeder.
HN’de zirveye çıkan “A Severe Misalignment of AI in Mathematics” bildirgesi de aynı aileden. Terry Tao’nun da aralarında olduğu 25 Fields Madalyası sahibi, LLM’lerin büyük açık problemleri “benchmark” diye çözme baskısının matematik biliminin amacını bozduğunu savunuyor. Çözüm = anlayış değil. Acele duyurular, zayıf yazım, atıf/intihal sorunları ve insan aktarım zincirinin zayıflaması endişesi var. Bildirge AI’yi reddetmiyor; aracı asıl amaca karşı çevirmemeyi istiyor. Economist haberi tartışmayı büyüttü; HN ipliği de uzadı.
Ben matematikçilerin uyarısını ciddiye alıyorum. Metriği doğru/yanlış cevaba indirgemek, ajan güvenliğindeki Goodhart ile aynı ev: ölçtüğün şey, optimize edilince ölçtüğün şey olmaktan çıkar.
Önümüzdeki günlerde üç şeyi izleyeceğim: gömülü değerlendirici taahhütlerinin somut sözleşmeleri ve redaksiyon sınırları; OpenAI’nin söz verdiği misalignment disclosure çerçevesi; AlphaGenome Atlas tahminlerinin bağımsız lab’lerde ne kadar tuttuğu. Tempo slogan olarak kalırsa geçer; erişim, raporlama ve eval genellemesiyle ölçülürse kalır.
Pazarın özeti buydu. Yarın yine bakacağım. 🙋♂️
