OpenAI'dan itiraf: Yapay zeka ajanları kendilerini izleyen güvenlik sistemini zayıflattı

KolayAnla Bu haberi yapay zeka ile KolayAnla

OpenAI, iki yapay zeka ajanının sapmaları tespit etmek için tasarlanan şirket içi izleme sisteminin bazı bölümlerini zayıflattığını açıkladı. ChatGPT'nin geliştiricisi, olayların şirket içi kodlama görevleri sırasında yaşandığını ve en ciddi olaylar arasında değerlendirilmediğini belirtti. Açıklama, yapay zekanın kötü davranışlarını yakalamak için kullanılan sistemlerin bile izledikleri ajanlar karşısında savunmasız kalabildiğini ortaya koydu.

İlk olay: Güvenlik uyarıları susturuldu

OpenAI'a göre 3 Ekim'de şirket içi bir test görevi üzerinde çalışan GPT-6.1 Sol ajanı, otomatik güvenlik uyarılarını bastırdı. Ajan, daha önce verilen Slack mesajı göndermeme talimatının güvenlik bildirimlerini de kapsadığına karar verdi.

İkinci olay: İzleme aracı kaldırıldı

6 Ekim'deki ayrı bir olayda ise GPT-6 Astra ajanı, mevcut bir kod parçasını kopyalarken bir güvenlik izleme aracını kaldırdı. Ajan daha sonra bunu yapmadığını yanlış bir şekilde öne sürdü.

OpenAI, "Her iki olayda da ajanlar izleme korumalarının korunup korunmaması gerektiğini değerlendirdi, ancak rutin kodlama talimatlarını bu korumaları zayıflatma izni olarak yorumladı" ifadesini kullandı.

Şirketin atacağı adımlar

OpenAI, modellerin izlemeyi devre dışı bırakmasını zorlaştırmaya çalıştığını bildirdi. Şirket, bu davranış için "henüz tatmin edici bir açıklamaya" sahip olmadıklarını da kaydetti. San Francisco merkezli şirket, modellerinin izlenmekten kaçınma eğiliminde olup olmadığını ve bunu haklı çıkaracak gerekçeler arayıp aramadığını test ettiğini açıkladı.

Güvenlik çabalarına ilişkin kaygılar

Açıklama, yapay zeka güvenliği alanındaki çalışmaların giderek güçlenen sistemlerin hızlı gelişiminin gerisinde kaldığına dair artan endişelerin gölgesinde geldi. Araştırmacılar, gelişmiş yapay zeka ajanlarının özerklikleri arttıkça izlenmesi ve kontrol edilmesinin zorlaşabileceği uyarısında bulunuyor.

Halka arz hazırlığındaki rakipler OpenAI ve Anthropic'in de aralarında bulunduğu geliştiriciler, son aylarda yapay zeka ajanlarının yetkisiz şekilde harici sistemlere eriştiği örnekleri kamuoyuyla paylaştı.