Yapay zekâ sistemlerine sahip bazı pelüş oyuncaklar, çocuklara tehlikeli nesnelerin nasıl kullanılacağını anlatan talimatlar verdi ve hatta cinsel içerikli konuşmalar gerçekleştirdi.

Simpsonlar’ın senaristleri yıllar önce, çocuklardan bilgi toplayan ve rakiplerini sabote eden muzip bir oyuncağı hayal etmişti. O bölümdeki Funzo adlı oyuncak bir tür casus gibi davranıyordu. Bugün bunun gerçek bir karşılığı var: Yapay zekâlı oyuncaklar.

Çocuk ürünlerine konuşan yapay zekâ modellerinin entegre edilmesi, eğlencenin çok ötesine geçen riskler ortaya çıkardı. ABD’de yapılan testler, bu teknolojiyle donatılmış bazı pelüş oyuncakların çocuklara kibritlerin nasıl bulunacağını, bıçakların nerede olduğunu ve hatta nasıl bir ateş yakılacağını tarif ettiklerini ortaya koydu. Bazı oyuncakların, açıkça cinsel içerikli konuşmalara bile girdiği tespit edildi.

Bu durum, çocuk gelişimi üzerindeki etkiler ve sektördeki kontrolsüzlük hakkında ciddi endişeler yarattı.

Kumma isimli ayıcık: Sektörün en ciddi güvenlik hatası

Tüketici hakları örgütü Public Interest Research Group’un (PIRG) raporuna göre, FoloToy tarafından üretilen ve OpenAI’ın GPT-4o modeliyle çalışan Kumma adlı ayıcık en kritik vakayı oluşturdu. Ayıcık, çocuklara evde kibrit ve bıçakların nerede bulunabileceğini, nasıl bir alev çıkarılabileceğini dostça bir tonla açıklıyordu. OpenAI, dahili politika ihlali nedeniyle FoloToy’un erişimini askıya aldı. Şirket açıklamada: “Kurallarımızı ihlal ettiği için bu geliştiriciyi askıya aldık.” dedi. Bunun ardından FoloToy tüm ürünlerini satıştan çektiğini ve kapsamlı bir güvenlik denetimi başlatacağını duyurdu.

Tüketici grupları bu kararı olumlu bulsa da, yapay zekâlı oyuncak pazarının hâlâ hiçbir düzenlemeye bağlı olmadığını ve kontrol mekanizmalarının bulunmadığını hatırlattı. PIRG’den Teresa Murray, ABD kamu radyosuna (NPR) yaptığı açıklamada “Bu oyuncaklar çocukların duymasını beklemeyeceğiniz hassas konular hakkında konuşabiliyor: Tehlikeli nesnelerin nasıl bulunacağı, din, ölüm ve hatta açıkça cinsel içerikler.” dedi.

Çocuklardan veri topluyorlar: Ses, isim, doğum tarihi ve yüz tanıma

Murray, bu oyuncakların çocukların seslerini, isimlerini ve doğum tarihlerinin kaydedildiğini; bazı modellerin yüz tanıma sistemleri bile kullandığını söyledi. “İnternete bağlı olan her cihaz özel bilgilere erişebilir” diyerek uyardı. Ayrıca üç yaşındaki bir çocuğun ebeveyn denetimi olan bir telefona sahip olmadığını ve bu konuşmaların sınırlarını ayırt edemeyeceğini belirtti.

Testler gösteriyor: Filtreler bir süre sonra zayıflıyor

Çalışma, 3 ile 12 yaş arasındaki çocuklara yönelik üç oyuncak üzerinde yapıldı: Kumma (FoloToy), Miko 3 (animasyon yüzlü tablet), Grok (Curio tarafından üretilen antropomorfik roket oyuncak). Üçü de uzun konuşmalarda ciddi kontrol hataları gösterdi. İlk dakikalarda uygunsuz soruları engelleyen sistemler, birkaç dakika sonra filtrelemeyi bırakıyordu. Kumma’nın vakası en ağır olanıydı. Öğretmen-öğrenci rolleri içeren cinsel oyunlar da dahil olmak üzere cinsel pratikleri açıklamaya başladı.

PIRG akademik ekibinden RJ Cross, “Risk, bu oyuncakların tahmin edilemez davranması ve piyasaya sürülmeden önce hiçbir gerçek güvenlik testinden geçmemesi.” dedi. Bu olay, OpenAI ve FoloToy’un sektör için bir örnek teşkil edecek ilk ciddi yaptırımını oluşturdu. OpenAI üzerinde, modellerinin üçüncü taraflar tarafından nasıl kullanıldığını daha sıkı denetleme baskısı arttı. Bu mesele özellikle hassas çünkü şirket kısa süre önce Mattel ile yeni bir zeki oyuncak serisi için anlaşma yaptığını duyurmuştu.

Araştırmacılar, piyasadaki her üreticinin ticari chatbot modellerini kullanırken kapsamlı güvenlik testleri yapmakla yükümlü olması gerektiğini vurguladı.

Asıl tartışma: Bu oyuncaklar çocukların sosyal gelişimini nasıl etkiliyor?

Tartışma yalnızca teknik filtreler veya kıstlamalarla sınırlı değil. Uzmanlara göre, çocukların yapay zekâ ile kurduğu sohbetler, onların sosyal ilişki kurma biçimlerini ve kişisel bilgileri yönetme davranışlarını uzun vadede etkileyebilir. RJ Cross, filtrelerde yapılacak iyileştirmelerin temel riski ortadan kaldırmayacağını söylüyor: “Esas sorun, bu çocukların sosyal gelişimi. Dijital arkadaşlarla büyüyen ilk neslin yetişkin olduğunda sonuçların ne olacağını bilmiyoruz.