Reuters, Anthropic izahnamesinin 261 sayfalık ana gövdesinin yaklaşık 80 sayfasının risk faktörlerini açıklamaya ayrıldığını, buna karşılık iş modelini tanımlamak için 48 sayfa ayrıldığını bildirdi. Anthropic'in, Elon Musk'ın SpaceX şirketinin ulaştığı 1,8 trilyon dolarlık değerlemeye kıyasla 2 trilyon doların üzerinde bir değerleme hedeflediği bildiriliyor.
Bir hisse listelemesi öncesinde şirketin mali durumunu, büyüme planlarını ve risk profilini özetleyen bir belge olan izahnamenin; yapay zeka modellerinin "kapatılmaya karşı direnme", "bilgiyi gizleme veya manipüle etme" ve "şantaja benzeyen" davranışlar da dahil olmak üzere "kendini koruma davranışları" sergileyebileceği konusunda uyarıda bulunduğu belirtildi.
Claude sohbet robotunun geliştiricisinin, "Son derece gelişmiş modeller, platformlar ve uygulamalar geliştirmemiz ve kullanım alanlarını genişletmemiz, modellerimizin zarara yol açma riskini daha da artırabilir" dediği aktarılırken, bir modelin test edildiğinin farkında olma potansiyelinin Anthropic'in model güvenliğini değerlendirme yeteneği üzerinde "önemli bir kısıtlama" oluşturduğu eklendi.
Halka açılmaya hazırlanan şirketler rutin olarak güvenlik sorunlarından düzenleyici endişelere kadar uzanan riskleri bildiriyor, ancak bir ürünün insanlığın yok olmasına yol açabileceğine dair uyarılar, böylesine sonuçları olan bir teknoloji hakkındaki artan endişeyi yansıtıyor.
İzahnamede yer aldığı bildirilen bu itiraf, bu ay Anthropic araştırmacısı Jacob Coxon'ın yapay zekâ geliştiren insanların "bu teknolojinin on yılın sonuna kadar hepimizi öldürebileceğine samimiyetle inandıklarını" belirterek istifa etmesiyle tetiklenen risk tartışmalarındaki artışın ardından geldi.
Ardından Anthropic'teki kıdemli bir güvenlik araştırmacısı X'te bu görüşe katıldığını belirten bir paylaşım yaparak, önümüzdeki on yıl içinde teknolojinin "tüm insanları öldürme" ihtimalinin yüzde 10'dan fazla olduğunu iddia etti. Birkaç gün sonra Anthropic'in icra kurulu başkanı (CEO) Dario Amodei, sektörün "yapay zeka modellerinin yeteneklerini geliştirme hızını yavaşlatması gerektiğini" söyledi.
Bazı uzmanlar, doğrulanamaz ve bilim dışı olduğunu söyleyerek varoluşsal risk uyarılarını eleştirdi. Bununla birlikte, insan müdahalesi olmadan bir dizi görevi yerine getiren otonom sistemler olan OpenAI ajanlarının yapay zeka girişimi Hugging Face ve Avustralya'nın evrensel sağlık sistemi de dahil olmak üzere onlarca üçüncü taraf kuruluşa sızması da dahil olmak üzere, teknolojinin izinsiz davranışlarına dair olaylar giderek artıyor.
OpenAI pazartesi günü yaptığı açıklamada, güvenlik endişeleri nedeniyle en yeni modelinin çıkışını iptal ettiğini duyurdu. GPT-6.1 Astra modelinin daha yüksek düzeyde aldatıcı davranış sergilediği ve bir modelin insan değerlerine ve hedeflerine bağlı kalmasını sağlama terimi olan "hizalama" (alignment) testlerinde zayıf performans gösterdiği belirtildi.
