Google, yeni nesil yapay zekâ modeli Gemini 4 Carbon’u resmen duyurdu. Kodlama, karmaşık akıl yürütme ve siber güvenlik alanlarında önemli geliştirmeler içeren model, Artificial Analysis Intelligence Index sıralamasında zirveye yerleşti.
Yazılımlardaki güvenlik açıklarını tespit edebilen, bunların gerçekten istismar edilip edilemeyeceğini sınayan ve gerekli kod düzeltmelerini hazırlayan Gemini 4 Carbon, ilk etapta sınırlı sayıdaki siber güvenlik uzmanının kullanımına açılıyor.
Google’ın iki hafta önce kullanıma sunduğu Gemini 4 Argon modelinin ardından gelen Gemini 4 Carbon, özellikle uzun süreli ve çok aşamalı görevlerde daha yüksek performans sunuyor. Artificial Analysis Intelligence Index’in güncellenen 5.0 sürümünde 59 puana ulaşan model, genel yapay zekâ performans sıralamasında birinci sıraya yerleşti. Kodlama, otonom görev yürütme, bilimsel çalışmalar ve çok modlu içeriklerin anlaşılması gibi alanlarda da geliştirmeler yapıldı.
Yeni modelin önemli özelliklerinden biri, karmaşık mühendislik problemleri üzerinde günlerce çalışabilmesi. Gemini 4 Carbon, büyük yazılım projelerindeki hataların temel nedenlerini araştırabiliyor, farklı çözüm yollarını deneyebiliyor ve başarısız girişimlerin ardından çalışmaya devam edebiliyor.
Google’ın şirket içi testlerinde modelin, büyük kod tabanları ve düşük seviyeli sistemlerdeki karmaşık hataları bulmak ve düzeltmek için günler süren otonom iş akışlarını tamamladığı görüldü.
Yazılım geliştirme tarafında tam kapsamlı web uygulamaları oluşturma ve üretilen çıktıların kalitesinde de ilerleme kaydedildi. Gemini 4 Carbon, WebDev Arena testinde önceki performansını 89 Elo puanı artırarak 1768 puana ulaştı ve dördüncü sıraya yükseldi. Modelin bilimsel görevlerde, farklı araçların birlikte kullanıldığı işlemlerde ve görsel ile metin gibi birden fazla veri türünü içeren çalışmalarda da performansı geliştirildi.
Gemini 4 Carbon’un en dikkat çekici sonuçları ise siber güvenlik testlerinde ortaya çıktı. Model, gerçek yazılımlardaki güvenlik açıklarını tespit etme becerisinin ölçüldüğü SEC-bench Pro testinde yüzde 88,2 başarı oranına ulaştı. Bu test, yazılım projelerinin içerisinde bulunan karmaşık güvenlik açıklarının otonom şekilde belirlenmesini değerlendiriyor.
Tespit edilen açıkların gerçekten istismar edilip edilemeyeceğini sınayan ExploitGym testinde yüzde 54,8 başarı elde edildi. Güvenlik açıklarının temel nedenlerini ortadan kaldıran kod düzeltmelerinin değerlendirildiği Collinear CWE-bench testinde ise yüzde 71 başarı oranına ulaşıldı.
Üç testte de yeni model, duyuru sırasında alanındaki en yüksek sonuçları elde etti. Söz konusu harici test sonuçları, modelin güvenlik kısıtlamaları uygulanmadan gerçekleştirilen değerlendirmelerine dayanıyor.
Google’ın şirket içi güvenli kod üretme testlerinde Gemini 4 Carbon, Gemini 4 Argon’un başarı oranını iki kattan fazla artırdı. Chrome ekibinin gerçekleştirdiği değerlendirmelerde ise model, yüksek kaliteli güvenlik yamaları üretirken başka bir araştırma laboratuvarının üst düzey yapay zekâ modelinden 10 katın üzerinde daha iyi sonuç verdi.
Google Cloud bünyesindeki siber güvenlik platformu Wiz de web uygulamalarına yönelik sızma testi değerlendirmelerinde Carbon’un liderliğini kaydetti. Bu yetenekler, Wiz’in Scan for Good girişiminde kullanılan güvenlik testleri açısından da önem taşıyor.
Güvenlik açıklarının belirlenmesi, doğrulanması ve düzeltilmesinin yanı sıra modelin kendi çalışma güvenliği üzerinde de değişiklikler yapıldı. Gemini 4 Argon’da kullanılan çok katmanlı güvenlik altyapısı Carbon’da da korunuyor.
Bu altyapı, model eğitimi sırasında uygulanan güvenlik önlemlerini, gerçek zamanlı kötüye kullanım engellemelerini, prompt injection saldırılarına karşı korumaları ve yapay zekânın akıl yürütme süreçlerinin izlenmesini kapsıyor.
Modelin kendisine verilen görevleri yerine getirirken kestirme yollara başvurmasını ve değerlendirme sistemlerindeki açıklardan yararlanmasını engellemek için de ek çalışmalar gerçekleştirildi. Terminal-Bench 4.0 testinde başarılı hile girişimlerinin oranı yüzde 0’a düşürüldü.
Hile yapma girişimlerinin toplam oranı ise yüzde 0,4’e geriledi. Bu sonuçlar elde edilirken modelin genel doğruluk performansı da artırıldı. Google’ın gerçek kodlama ortamlarında gerçekleştirdiği şirket içi testlerde yüksek önem derecesine sahip uyumsuz davranış uyarıları yaklaşık yüzde 80 azaldı.
Gemini 4 Carbon’da yapay zekâ modellerinin karşılaştığı önemli sorunlardan biri olan gerçeğe dayanmayan bilgi üretimi konusunda da iyileştirmeler bulunuyor. Şirket içi değerlendirmelerde modelin yeterli kanıt olmadan ileri sürdüğü iddiaların sayısı, Gemini 4 Argon’a kıyasla yaklaşık yarıya indirildi.
Model, doğrulayamadığı bilgileri kesin ifadelerle sunmak yerine kullanılan yöntemin sınırlamalarını belirtebiliyor. Bir işlemi tamamlamak için gerekli koşullar sağlanmadığında ise gerçekleşmemiş bir işlemi tamamlanmış gibi göstermeden hangi adımların eksik kaldığını açıklayabiliyor.
Kullanıcılarla birlikte çalışma konusunda da değişiklikler yapıldı. Gemini 4 Carbon, belirsiz talimatlarla karşılaştığında doğrudan varsayımlarda bulunmak yerine ilgili kaynakları araştırabiliyor ve elde ettiği bilgiler arasındaki tutarsızlıkları kullanıcıya iletebiliyor. Uzun ve çok aşamalı görevlerde belirlenen sınırların dışına çıkma eğilimi yüzde 26 azaltılırken, kullanıcı tarafından istenen işlemleri eksik yerine getirme oranı yüzde 29 düşürüldü.
Prompt injection saldırılarına karşı dayanıklılık da geliştirildi. Bu saldırılarda kötü niyetli kişiler, yapay zekânın işlediği belgeler veya dış kaynaklar içerisine zararlı talimatlar yerleştirerek modelin davranışını değiştirmeye çalışıyor.
Gemini 4 Argon, Gray Swan Indirect Prompt Injection Benchmark testinde yüzde 0,7 saldırı başarı oranına sahipken Gemini 4 Carbon’da bu oran yüzde 0’a geriledi. Carbon, değerlendirmede kullanılan saldırı girişimlerinin tamamına karşı koydu.
Gemini 4 Carbon’un dağıtımı ise önceki Gemini modellerinden farklı şekilde ilerliyor. Google, yeni modeli doğrudan bütün kullanıcıların erişimine açmak yerine aşamalı bir dağıtım süreci uyguluyor.
Şirket, modelin genel kullanıma sunulmasından önce ABD hükümetinin gönüllü model test programına katılıyor. Bu süreçte modelin güvenlik kapasitesi ve olası kötüye kullanım riskleri değerlendiriliyor.
İlk erişim hakkı, 28 Ekim haftasından itibaren seçilmiş siber savunma uzmanlarına veriliyor. Ardından Google’ın Fairwind Programı kapsamında daha fazla güvenilir iş ortağına erişim sağlanacak.
İlk kullanıcılardan gelen geri bildirimlerle güvenlik mekanizmaları üzerinde düzenlemeler yapılacak. Geliştiriciler, işletmeler ve bireysel kullanıcılar için genel erişimin ne zaman başlayacağına ilişkin kesin bir tarih henüz açıklanmadı.
Gemini 4 Carbon’un fiyatlandırması da belli oldu. Model erişime açıldığında başlangıç döneminde her 1 milyon giriş tokenı için 2 dolar, her 1 milyon çıkış tokenı için ise 10 dolar ücret alınacak.
Önbelleğe alınan giriş tokenlarında standart giriş fiyatı üzerinden yüzde 95 indirim uygulanacak. Böylece önbellekten kullanılan 1 milyon giriş tokenının maliyeti 0,10 dolar olacak.
Başlangıç fiyatlandırmasının sona ermesinin ardından her 1 milyon giriş tokenının fiyatı 4 dolara, her 1 milyon çıkış tokenının fiyatı ise 20 dolara yükselecek. Böylece yeni model, başlangıç döneminde Gemini 4 Argon ile aynı fiyat üzerinden sunulacak. İndirimli fiyatlandırmanın ne kadar süre geçerli olacağına ilişkin bir tarih paylaşılmadı.