Bir elmanın üzerine “iPod” yazan bir kağıt yapıştırıldığında, sistemin bunu yüzde 99,7 oranında iPod olarak tanımladığı tespit edildi
Elon Musk’ın firması OpenAI’ın son teknoloji görüş sistemi CLIP’in, yalnızca bir kalem ve kağıtla kandırılabileceği ortaya çıktı.
Yapılan testlerde bir elmanın üzerine “iPod” yazan bir kağıt yapıştırıldığında, sistemin bunu yüzde 99,7 oranında iPod olarak gördüğü tespit edildi. Clip, başka bir testte üzerine dolar işareti yapıştırılan köpeği, yüzde 52,5 kumbara olarak tanımladı.
Söz konusu zayıflığı “tipografik saldırı” diye niteleyen yapay zeka devi, 4 Mart’ta yaptığı açıklamada şu ifadelere yer verdi:
Bu zayıflığın basit bir öğrenme güçlüğü olmadığına inanıyoruz. CLIP’in metinleri sağlam bir şekilde okuma kabiliyetinden yararlanılarak, el yazısı metinlerin fotoğraflarının bile çoğu zaman sistemi kandırabileceğini tespit ettik.
Bu tür saldırılar hala işe yarıyor. Kalem ve kağıttan başka bir teknoloji gerektirmiyor.
OpenAI tipografik saldırının, görüş sistemlerini kandırmada kullanılan zıt görüntülere (adversarial images) benzediğine dikkat çekti. Uzmanlar bu tür görüntülerin, örneğin yola etiketler yapıştırarak, Tesla marka araçların yazılımını yanıltıp şerit değiştirmesini sağlamak için kullanılabileceğini keşfetmişti.
(OpenAI)
Ancak firmaya göre henüz endişelenecek bir durum söz konusu değil. Zira bahsi geçen yazılım hiçbir ticari üründe kullanılmıyor.
Bununla birlikte OpenAI, zayıflığın deneysel sistem CLIP’in bazı güçlü yanlarının yansıması olduğunu düşünüyor.
Diğer yapay zeka sistemlerinin aksine CLIP’in nesneler hakkında sadece görsel düzeyde değil, “kavramsal” düzeyde de düşünme kabiliyetine sahip olduğu tespit edilmişti. Uzmanlar sistemde “simgesel veya kavramsal ifade edilmesi fark etmeksizin aynı kavrama karşılık veren nöronlar” bulunduğunu görmüştü.
Bunlardan biri Örümcek Adam nöronuydu. Söz konusu nöron Örümcek Adam’ın fotoğrafına ve çizimine; örümcek görüntüsüne ve kelimesine karşılık veriyordu. Firma, CLIP’in zaman zaman bunlar arasındaki önemli farklılıkları tanımlamakta başarısız olabileceğini belirtti.
