Donanım Haber
Haber akışına dön

Ps4 Üzerinde Yapay Zeka Modeli Çalıştırıldı: Saniyede 39 Token Üretiyor

Ps4 Üzerinde Yapay Zeka Modeli Çalıştırıldı: Saniyede 39 Token Üretiyor

Sony'nin 2013 yılında satışa sunduğu PlayStation 4, oyun odaklı donanımına rağmen ilginç bir projeye ev sahipliği yaptı. Leonardo Alegría isimli bir geliştirici, konsolun AMD GCN grafik işlemcisini kullanarak 9 milyar parametreli bir dil modelini çalıştırmayı başardı. Garlic LLM adı verilen proje, herhangi bir harici bilgisayara veya Linux kurulumuna ihtiyaç duymadan tamamen çevrimdışı çalışabiliyor.

Özel GPU çekirdekleriyle donanım sınırları aşıldı

Proje kapsamında OpenAI'nin değil, Alibaba'nın Qwen3.5-9B dil modeli kullanılıyor. Geliştiricinin paylaştığı bilgilere göre uygulama, PlayStation 4 üzerinde saniyede 31 ila 39 token üretim hızına ulaşabiliyor. Kod üretimi sırasında ise bu değer 43 tokene kadar çıkabiliyor. Ayrıca sistem, ses desteğiyle çevrimdışı bir yapay zeka sohbet botu olarak da kullanılabiliyor.

PlayStation 4, modern yapay zeka modellerini çalıştırmak üzere tasarlanmadığı için gerekli GPU hesaplama API'lerine ve makine öğrenimi kütüphanelerine sahip değil. Alegría, bu sorunu aşmak için OpenCL C kullanarak AMD'nin GCN mimarisine özel GPU çekirdekleri geliştirdi. Uygulama, geleneksel grafik sürücüsü yerine özel olarak hazırlanan PM4 komut tamponları üzerinden doğrudan GPU ile iletişim kuruyor.

Bellek kapasitesi de projenin önündeki önemli sınırlamalardan biri. PlayStation 4'te 8 GB paylaşımlı GDDR5 bellek bulunuyor. Bu nedenle Garlic LLM, Qwen3.5-9B modelini yaklaşık 4,5 GB alana sığdırmak için özel nicemleme tekniklerinden yararlanıyor. Model ağırlıklarının büyük bölümü 4-bit, bazı büyük matrisler ise 3-bit hassasiyetle işleniyor. KV önbelleğinde de 4-bit hassasiyet kullanılması sayesinde 16 bin token bağlam penceresi destekleniyor.

Hız 39 tokene kadar çıkıyor

Geliştirici, performansı artırmak için spekülatif kod çözme (speculative decoding) tekniğini de uygulamaya dahil etti. Qwen3.5'in yerleşik Multi-Token Prediction (MTP) başlığından yararlanan bu yöntem, modelin aynı işlemde iki tokene kadar ileriye dönük tahmin yapmasına olanak tanıyor. Alegría'ya göre bu optimizasyon, üretim hızını saniyede yaklaşık 22 tokenden 31-39 token aralığına yükseltti. Kod üretiminde ise 43 token/saniye seviyesine ulaşılabiliyor.

Elbette 9 milyar parametreli bir modelin 16 bin token bağlam penceresiyle çalışması, günümüzün daha büyük yapay zeka sistemleriyle rekabet edebileceği anlamına gelmiyor. Ancak 2013 yılında piyasaya çıkan ve yapay zeka için tasarlanmamış bir konsolda bu seviyede bir modelin çalıştırılması, projenin en dikkat çekici tarafı.

Okumaya devam et

Pusholder

Senin gündemin

Okuma seçenekleri

Push AIÖzet

PusholderKaynakta oku
donanimhaber.com