Google'dan Yapay Zekâlarda Devrim Yaratabilecek Yeni Öğrenme Yöntemi: AI Da "Uyuyacak"

Google, yapay zekâların uyku sırasında yeni bilgileri kalıcı hâle getirip kendi kendilerini geliştirmesini sağlayacak yeni bir öğrenme yöntemi geliştiriyor. Bu yöntem AI konusunda devrim yaratabilir.

ChatGPT, Gemini, Claude gibi büyük dil modelleri, bugün kendilerine sunulan bir belgeyi veya bilgiyi mevcut sohbet sırasında kullanabiliyor. Ancak sohbet sona erdiğinde bu bilgiler çoğu zaman kayboluyor ya da o kullanıcıya özel bir bellek girdisi olarak kalıyor. Yapay zekâ, tüm bu sohbetler sırasında öğrendiği bilgileri genel bilgi dağarcığına eklemiyor. Modellerin yeni bilgileri kalıcı olarak öğrenebilmesi için yeniden eğitilmeleri veya ince ayar (fine-tuning) işleminden geçirilmeleri gerekiyor. Fakat bu yöntem de beraberinde başka bir sorun getiriyor. Yapay zekâ yeni bilgiler öğrenirken daha önce öğrendiği bazı bilgileri ve becerileri kaybedebiliyor.

Makine öğrenimi literatüründe "yıkıcı unutma" (catastrophic forgetting) olarak adlandırılan bu sorun, yapay zekâların sürekli öğrenebilen sistemlere dönüşmesinin önündeki en önemli engellerden biri olarak görülüyor. Google araştırmacıları ise bu soruna oldukça farklı bir çözüm öneriyor: Yapay zekâların da insanlar gibi uykuya dalarak öğrendiklerini pekiştirmesi.

Google araştırmacılarının önerdiği sistem, yapay zekânın çalışma sürecini iki ayrı aşamaya bölüyor: Aktif (uyanık) aşama ve uyku aşaması. Aktif aşamada model, normal şekilde kullanıcılarla etkileşime giriyor, yeni bilgiler alıyor ve bunları kısa süreli belleğinde tutuyor. Ancak bu bilgiler henüz modelin kalıcı parametrelerine aktarılmıyor. Belirli aralıklarla devreye giren uyku aşamasında ise model yeni girdileri işlemeyi durduruyor ve mevcut kaynaklarını öğrendiklerini kalıcı hâle getirmek için kullanıyor.

Burada insan beynindeki hafıza pekiştirme sürecinden esinleniliyor. İnsanlarda uyku sırasında, özellikle de derin uyku evresinde, gün boyunca edinilen bazı anıların ve bilgilerin daha kalıcı hâle getirilmesinde rol oynayan süreçler gerçekleşiyor. Google araştırmacıları da benzer bir yaklaşımı yapay zekâ modellerine uyarlamayı hedefliyor.

Sistemin en önemli iki parçasını ise hafıza pekiştirme ve rüya görme oluşturuyor. İlk aşamada modelin geçici belleğinde biriktirdiği bilgiler, daha kalıcı bir depolama alanına aktarılıyor. İkinci aşamada ise model, kendi ürettiği sentetik veriler üzerinden yeni alıştırmalar yaparak mevcut yeteneklerini geliştirmeye çalışıyor.

Uykuda öğrenmeye dayalı bu sistemin önündeki en büyük teknik sorunlardan biri, yeni bilgilerin modele aktarılması sırasında eski bilgilerin zarar görmesini engellemek. Araştırmacılar bunun için modelin kapasitesini uyku aşamasında genişleten bir yöntem öneriyor. Mixture of Experts (MoE) mimarisinden yararlanan bu yaklaşımda, modelin ihtiyaç duyduğunda kullanabileceği uzman modüller bulunuyor. Her işlemde bütün uzmanların çalıştırılması yerine, ilgili girdiye göre yalnızca belirli uzmanlar etkinleştiriliyor.

Uyku çerçevesinde ise bu mimariye yeni, düşük dereceli (low-rank) uzman modülleri ekleniyor. Böylece modelin yeni bilgileri kaydedebilmesi için mevcut parametreleri değiştirmek yerine ilave bir kapasite oluşturuluyor. Burada kullanılan yaklaşım, yeni modüllerin çok sayıda parametre eklemeden modelin öğrenme kapasitesini genişletmesine imkân tanıyor. Araştırmacılar, bu yeni modülleri daha kalıcı ve daha düşük frekansta çalışan bellek katmanları olarak konumlandırıyor.

Bu aşamanın bir diğer önemli parçası ise "yukarı doğru damıtma" (upward distillation) olarak adlandırılan bilgi aktarımı. Knowledge Seeding adı verilen bu yöntemle, aktif kullanım sırasında kısa süreli bellekte biriken bilgiler daha geniş kapasiteye sahip modele aktarılıyor. Bunun için Genel Bilgi Damıtma (Generalized Knowledge Distillation - GKD) yöntemi ile pekiştirmeli öğrenme (RL) tabanlı taklit öğrenimi bir arada kullanılıyor.

Bilgi damıtma yöntemlerinde temel olarak daha büyük veya daha gelişmiş bir modelin ürettiği çıktılar, başka bir modelin öğrenmesi için kullanılıyor. Üstelik öğrenci model yalnızca öğretmen modelin önceden ürettiği cevapları ezberlemiyor; onun kendi oluşturduğu metinler üzerinden de geri bildirim alıyor.

Buna ek olarak Learning to Imitate (LTI) adı verilen taklit öğrenimi yönteminden de yararlanılıyor. Bu yöntemde modelin ürettiği metinler, öğretmen modelin çıktılarıyla hem anlam bakımından hem de Levenshtein mesafesi üzerinden karşılaştırılıyor. Levenshtein mesafesi, iki metin arasındaki farkı ölçmek için kullanılan ve bir metni diğerine dönüştürmek için gereken karakter veya işlem sayısını hesaplayan bir ölçüt. Böylece modelin yalnızca kelime kelime benzer cevaplar üretmesi değil, verilen bilginin anlamını da koruması hedefleniyor.

Bilgiler yeni ve daha kalıcı bellek katmanlarına aktarıldıktan sonra geçici bellekteki parametreler sıfırlanıyor. Sinaptik budama (synaptic pruning) olarak adlandırılan bu son adım, geçici bellekteki eski verileri temizleyerek yeni bir aktif kullanım dönemine yer açıyor. Böylece model, önceki oturumlarda edindiği bilgileri korurken yeni bilgiler öğrenmeye de devam edebiliyor.

Uyku aşamasının ikinci bölümü olan "rüya görme" ise modelin yalnızca öğrendiği bilgileri saklamasını değil, mevcut yeteneklerini de geliştirmesini amaçlıyor. İnsan beyninin REM uykusu sırasında farklı anıları ve deneyimleri işleyerek yeni bağlantılar kurmasından esinlenen bu aşamada, yapay zekâ kendi kendine sentetik eğitim verileri üretiyor.

Bu süreçte ilk olarak MoE mimarisindeki uzman modüller arasından rastgele seçimler yapılıyor. Normalde belirli girdiler için belirli uzmanları etkinleştiren sistem, bu aşamada alışılmışın dışındaki uzmanları da devreye sokarak farklı bilgi alanlarını bir araya getiriyor. Böylece modelin normal çalışma sürecinde karşılaşmayabileceği farklı bilgi kombinasyonlarını keşfetmesi hedefleniyor. Ardından model, bu kombinasyonlardan hareketle kendi eğitim örneklerini, yani "rüyalarını" oluşturuyor. Ancak üretilen bütün örnekler doğrudan eğitimde kullanılmıyor. Gradyan tabanlı veri seçimi (gradient-based data selection) yöntemiyle, modelin yeteneklerini geliştirme potansiyeli en yüksek olan örnekler belirleniyor. Son aşamada ise seçilen bu veriler üzerinde gözetimli ince ayar ve pekiştirmeli öğrenme yöntemleri uygulanıyor. Model, yaptığı iyileştirmelerin sonraki görevlerde gerçekten daha iyi sonuç verip vermediğini de değerlendiriyor.

Buradaki amaç, yapay zekânın yalnızca kendisine sunulan yeni bilgileri ezberlemesi değil, bu bilgilerden hareketle yeni beceriler geliştirebilmesi. Üstelik bütün bunların insan tarafından hazırlanmış yeni eğitim verilerine ihtiyaç duyulmadan gerçekleştirilebilmesi hedefleniyor.

Google araştırmacıları, geliştirdikleri Uyku yaklaşımını farklı görevlerde test ederek mevcut yöntemlerle karşılaştırdı. Öne çıkan sonuçlardan biri, modelin daha önce karşılaşmadığı dillerde çeviri yapmayı öğrenmesi sırasında elde edildi. Mançu ve Kalamang gibi görece az kaynak bulunan diller üzerinde gerçekleştirilen deneylerde Uyku yöntemi, birden fazla öğrenme aşamasından geçmesine rağmen önceki görevlerdeki performansını neredeyse hiç kaybetmedi. Buna karşılık geleneksel ince ayar ve bağlam içi öğrenme gibi yöntemlerde, yeni görevler öğrenildikçe önceki görevlerdeki başarı oranlarında ciddi düşüşler görüldü.

Bir diğer dikkat çekici sonuç ise uzun bağlamları anlama konusunda ortaya çıktı. BABILong adlı testte değerlendirilen sistem, 10 milyon token uzunluğundaki bağlamlarda bile neredeyse kusursuz performans sergiledi. Bu test, çok uzun metinler içerisine dağıtılmış bilgilerin bulunmasını ve bu bilgiler arasında bağlantı kurularak soruların cevaplanmasını gerektiriyor. Google'ın aktardığı sonuçlara göre Uyku yöntemi, bu alanda GPT-4 ve Titans gibi güçlü sistemleri de geride bıraktı.

Yeni bilgilerin kalıcı olarak öğrenilmesi konusunda da benzer sonuçlar elde edildi. SQuAD ve sürekli ön eğitim (continued pre-training) değerlendirmelerinde Uyku yöntemi sırasıyla yüzde 48,9 ve yüzde 46,2 başarı oranlarına ulaştı. Bu sonuçlar, temel model, geleneksel ince ayar ve SEAL gibi yaklaşımların üzerinde yer aldı. Böylece modelin yeni olgusal bilgileri öğrenirken mevcut bilgi birikimini koruyabildiği gösterildi.

Netice olarak Google'ın bu yeni yaklaşımı, yapay zekâların öğrenme biçiminde önemli bir değişikliğe kapı aralayabilir. Google araştırmacılarının ortaya koyduğu bu çalışma, yapay zekâların yalnızca daha fazla veriyle eğitilmesi yerine, öğrendiklerini kendi kendilerine pekiştirerek gelişebilecekleri bir geleceğe işaret ediyor.