Google Yapay Zekâ Uyku Yöntemi Geliştirdi

Google'ın yapay zekâ uyku yöntemi, modellerin öğrendiklerini uyku aşamasında kalıcı hâle getirmesini ve eski bilgileri unutmamasını hedefliyor.

Google araştırmacıları, yapay zekâ uyku yöntemi adını verebileceğimiz yeni bir öğrenme sistemi önerdi. Amaç, büyük dil modellerinin yeni bilgileri kalıcı olarak öğrenmesi. Üstelik bunu eski bilgileri kaybetmeden yapması hedefleniyor.

Örneğin ChatGPT, Gemini ve Claude gibi modeller bugün sunulan bir belgeyi yalnızca o sohbet sırasında kullanabiliyor. Çünkü sohbet bitince bilgi çoğu zaman kayboluyor ya da kullanıcıya özel bir bellek girdisi olarak kalıyor. Ayrıca bu bilgiler modelin genel bilgi dağarcığına eklenmiyor.

Bu nedenle kalıcı öğrenme için yeniden eğitim ya da ince ayar (fine-tuning) gerekiyor. Ancak bu yöntemin de bir sorunu var. Çünkü model yeni şeyler öğrenirken eski bilgi ve becerilerini kaybedebiliyor. Nitekim literatürde buna "yıkıcı unutma" (catastrophic forgetting) deniyor.

Öncelikle sistem, modelin çalışmasını iki aşamaya ayırıyor: aktif (uyanık) aşama ve uyku aşaması. Aktif aşamada model ayrıca kullanıcılarla konuşuyor ve yeni bilgileri kısa süreli belleğinde tutuyor. Ancak bu bilgiler henüz kalıcı parametrelere aktarılmıyor.

Ardından belirli aralıklarla uyku aşaması devreye giriyor. Model bu sırada yeni girdileri işlemeyi bırakıyor. Kaynaklarını ise öğrendiklerini kalıcı hâle getirmek için kullanıyor. Nitekim bu yapay zekâ uyku yöntemi, insan beynindeki hafıza pekiştirme sürecinden esinleniyor.

Öncelikle uyku iki parçadan oluşuyor: hafıza pekiştirme ve rüya görme. Örneğin pekiştirmede geçici bellekteki bilgiler kalıcı bir depolama alanına taşınıyor. Buna karşın rüya görmede model, kendi ürettiği sentetik verilerle alıştırma yapıyor.

Pekiştirme için Mixture of Experts (MoE) mimarisi kullanılıyor. Çünkü bu mimaride her işlemde yalnızca ilgili uzman modüller çalışıyor. Üstelik uyku sırasında bu yapıya yeni, düşük dereceli (low-rank) uzman modüller ekleniyor. Böylece mevcut parametreleri bozmak yerine ek kapasite oluşuyor.

Öncelikle Knowledge Seeding adlı "yukarı doğru damıtma" ile kısa süreli bellekteki bilgi geniş kapasiteli modele aktarılıyor.

Ayrıca Genel Bilgi Damıtma (GKD) ve pekiştirmeli öğrenme tabanlı taklit öğrenimi birlikte kullanılıyor.

Bunun yanı sıra Learning to Imitate (LTI) yöntemi, metinleri anlam ve Levenshtein mesafesi üzerinden öğretmen modelle karşılaştırıyor.

Son olarak sinaptik budama ile geçici bellek sıfırlanıyor.

Levenshtein mesafesi, bir metni diğerine çevirmek için gereken karakter ya da işlem sayısını ölçüyor. Böylece yapay zekâ uyku yöntemi, modelin yalnızca benzer kelimeler üretmesini değil, anlamı da korumasını amaçlıyor.

Bu aşama, insan beyninin REM uykusunda yeni bağlantılar kurmasından esinleniyor. Çünkü model burada kendi eğitim verisini üretiyor. İlk olarak MoE içindeki uzmanlar arasından rastgele seçimler yapılıyor. Böylece farklı bilgi alanları bir araya geliyor.

Ardından model bu kombinasyonlardan kendi örneklerini, yani "rüyalarını" oluşturuyor. Ancak hepsi eğitimde kullanılmıyor. Dolayısıyla gradyan tabanlı veri seçimiyle gelişim potansiyeli en yüksek örnekler ayrılıyor. Son olarak gözetimli ince ayar ve pekiştirmeli öğrenme uygulanıyor.

Örneğin Mançu ve Kalamang gibi az kaynaklı dillerde çeviri deneyi yapıldı. Üstelik yapay zekâ uyku yöntemi birden fazla öğrenme aşamasından geçmesine rağmen önceki görevlerdeki performansını neredeyse hiç kaybetmedi. Buna karşın geleneksel ince ayar ve bağlam içi öğrenmede ciddi düşüşler yaşandı.

Ayrıca BABILong testinde sistem, 10 milyon token uzunluğundaki bağlamlarda neredeyse kusursuz performans gösterdi. Google'ın aktardığı sonuçlar buna göre yöntemin GPT-4 ve Titans gibi sistemleri geride bıraktığını gösteriyor. Öte yandan SQuAD ve sürekli ön eğitim değerlendirmelerinde sırasıyla yüzde 48,9 ve yüzde 46,2 başarıya ulaştı. Dolayısıyla bu oranlar temel model, geleneksel ince ayar ve SEAL gibi yaklaşımların üzerinde kaldı.

Bu nedenle çalışma, yapay zekâların öğrendiklerini kendi kendine pekiştirebileceği bir geleceğe işaret ediyor. Yine de yöntemin ürünlere ne zaman girebileceğine dair bir takvim paylaşılmadı.

Haberde hata mı var?Bize bildirin

Senin fikrin ne?

Bu gelişme hakkında sen ne düşünüyorsun?

Forumda konuşulanlar

Türkiye Yapay Zeka Zirvesi, “Yapay Zeka Çok Gerçek” teması ile bu sene yedinci kez gerçekleştirilecek0 cevap

Apple’dan yeni yapay zeka hamlesi! Yapay zeka için özel çip0 cevap

Yapay zeka tehlikeli mi? ChatGPT CEO’sundan şaşırtan yapay zeka yorumu!0 cevap

Tekstilde Yapay Zeka Devrimi: Uyku Kalitesini Artıran Yenilikler0 cevap

İlk yorumu siz yazın.