Microsoft'a bağlı araştırma ekibi GPT-4'teki güvenlik kusurlarını keşfetti - Siècle Digital - Dünyadan Güncel Teknoloji Haberleri

Microsoft'a bağlı araştırma ekibi GPT-4'teki güvenlik kusurlarını keşfetti - Siècle Digital - Dünyadan Güncel Teknoloji Haberleri

ChatGPT’nin piyasaya sürülmesinden bu yana OpenAI’de yalnızca bir hata oluştu “ Amacımız, araştırma topluluğundaki diğer kişileri bu çalışmayı kullanmaya ve geliştirmeye teşvik ederken, aynı zamanda güvenlik açıklarından yararlanarak zarar verebilecek rakiplerin zararlı eylemlerini potansiyel olarak önler » diye ekliyorlar 000 dolara kadar ödül kazanmaya teşvik ederek hata ödülünü başlattı “ Araştırma ekibi, tespit ettikleri potansiyel güvenlik açıklarının müşteriye yönelik mevcut hizmetleri etkileyip etkilemediğini araştırdı Dil modeli öncekilerden farklı olarak daha fazla eğilim gösterecektir, ” bu yanıltıcı talimatları takip etmek “


OpenAI’nin tercih edilen ortağı Microsoft’a bağlı araştırmacılar, GPT-3, 5 ve GPT-4 dahil olmak üzere büyük dil modellerinin (LLM’ler) güvenilirliğini inceledi Ancak kırmızı takımın çalışmasının başarılı olduğuna dair güvence verdi: modelin yüksek riskli alanlardaki davranışının test edilmesini mümkün kıldı, » ve birçok tehlikeyi silin Bu, bazı ayrımcı içeriklerin, Açık Yapay Zeka’nın en güçlü dil modellerinin denetimi altında gözden kaçıp kaçmayacağını inkar edilemez şekilde bilmeyi mümkün kılan büyük bir zorluk



genel-16

OpenAI genellikle araçlarıyla işini riske atmaz

GPT-4’ün piyasaya sürülmesinden önce, modelin sonlandırma aşamasında OpenAI, görevi potansiyel kusurları bulmak olan kişilerden oluşan bir “kırmızı ekip” oluşturmuştu » Redmond firmasını ilan ediyor Modelin olması mümkün…

OpenAI’nin tercih edilen ortağı Microsoft’a bağlı araştırmacılar, GPT-3 5 ve GPT-4 dahil olmak üzere büyük dil modellerinin (LLM’ler) güvenilirliğini inceledi

Araştırmacılar, çalışmalarının yanı sıra, farklı dil modellerini karşılaştırmak için kullandıkları kodu GitHub’da açık kaynak olarak sundular

Bir blog yazısında Microsoft, neden bu tür kusurları bulmaya çalıştığını açıkladı Somut olarak, belirli kullanıcılar kötü amaçlı kullanım için tasarlanmış ve GPT-4 güvenliğini aşmayı amaçlayan araçlar veya süreçler geliştirebilir Elbette bu kusurlar tespit edilip test edildikten sonra, kötü niyetli kişilerin bu kusurları suiistimal etmesini önlemek için bunlar düzeltildi Böyle bir önlemin uygulanmasına rağmen şirketin CEO’su Sam Altman, aracının ” hâlâ kusurluydu, hâlâ sınırlıydı “ Bu olayın ardından şirket, araçlarından birinde kusur bulan herkesi bunu bildirmeye ve 20

GPT-4, önceki LLM’lerin aksine, kötü niyetli talimatları daha iyi takip edebilecektir

Her ne kadar araştırmacılar şunu bulmuş olsa da “ GPT-4, standart kıyaslamalarda genellikle GPT-3 Geçtiğimiz Mart ayında, bir güvenlik açığı, chatbot kullanıcılarının diğer kullanıcıların konuşma başlıklarını görmesine olanak tanıdı 5’ten daha güvenilirdir », OpenAI’nin en son LLM’si « onu jailbreak yapmayı amaçlayan istemler göz önüne alındığında daha savunmasız kalıyor “

Şirket, web’deki içeriği denetlemek için GPT-4 sunma konusunda kendinden emin olmaya devam ediyor Modelin yerleşik güvenlik önlemlerini geçersiz kılacak ve dolayısıyla potansiyel olarak yanlış, önyargılı veya ayrımcı mesajlar üretecek şekilde programlanması mümkündür Sorunun çözülebilmesi için lansmanından bu yana ilk kez hizmet kesintiye uğradı