ShiftDelete
Haber akışına dön

Thinking Machines'ten Dizüstünde Çalışan Model

Thinking Machines'ten Dizüstünde Çalışan Model

Thinking Machines Lab, dizüstü bilgisayarda çalışabilen Inkling 2 Mini modelini açık ağırlıklarla yayınladı. Model, kodlama testlerinde benzer boyuttaki açık modellerin önünde.

Thinking Machines Lab, dizüstü bilgisayarda çalışabilen Inkling 2 Mini modelini açık ağırlıklarla yayınladı.

Model, orta katmanlarını her token için üç kez çalıştıran döngülü bir mimari kullanıyor ve yaklaşık 20 GB yer kaplıyor.

Şirkete göre DeepSWE v1.1 testinde yüzde 48,2 ile 100 milyar parametrenin altındaki açık modellerin önünde.

Güçlü yapay zeka modellerini kendi bilgisayarında çalıştırmak isteyenler için yeni bir seçenek geldi. Thinking Machines Lab, dizüstü bilgisayarda çalışacak kadar küçük ama kodlama testlerinde benzer boyuttaki açık modellerin önüne geçen Inkling 2 Mini'yi yayınladı. Modeli farklı kılan şey ise içindeki katmanların her kelime parçası için birden fazla kez çalışması.

Şirket 20 Kasım tarihli duyurusunda, Inkling 2 Mini'nin ağırlıklarının açık olarak yayınlandığını ve modelin Tinker platformunda kullanıma sunulduğunu açıkladı. Modelin tam ağırlıkları Hugging Face'te de yer alıyor.

Döngülü transformer nedir?

Inkling 2 Mini, "döngülü transformer" (looped transformer) adı verilen bir mimari kullanıyor. Model 24 katmandan oluşuyor ve bu katmanlar altışarlı dört bloğa ayrılıyor. İlk ve son bloklar bir kez çalışırken ortadaki iki blok her token için üç kez çalışıyor. Şirkete göre bu yapı, modelin daha az token üreterek doğru cevaba ulaşmasını sağlıyor. Özellikle akıl yürütme kalitesine dayanan yapay zeka ajanı ile kodlama işlerinde fark yaratıyor.

Model, uzman karışımı (Mixture-of-Experts) yapısında. Toplam 26,4 milyar parametresi var ve her token için bunların 3,4 milyarı etkin oluyor; döngü hesaba katıldığında token başına 5,4 milyar ağırlık devreye giriyor. Şirket, döngüsüz bir modelin eğitiminin yüzde 7,5 daha az işlem gücü gerektirdiğini, ancak aynı sonuca ulaşmak için çalışırken yüzde 140 daha fazla işlem gücü harcadığını söylüyor.

Benzer boyuttaki açık modellerin önünde

Thinking Machines'e göre Inkling 2 Mini, toplam parametresi 100 milyarın altındaki açık ağırlıklı modeller arasında DeepSWE v1.1 (yüzde 48,2) ve Vals Index v2.2 (yüzde 46,5) gibi testlerde ilk sırada. SWE-bench Verified testinde yüzde 79,2 alan model, aynı testte yüzde 77,8 alan Qwen3.8-27B'nin önünde. Arama ve araç kullanımı gerektiren BrowseComp, DeepSearchQA ve MCP Atlas testlerinde de benzer boyuttaki açık modellerin önünde yer alıyor.

Stanford'daki araştırmacıların erken erişimle yaptığı enerji verimliliği ölçümünde Inkling 2 Mini, NVIDIA DGX Spark üzerinde 0,703 puan aldı. Aynı ölçümde Qwen3.6-35B-A3B 0,430, Gemma-4-26B-A4B 0,159 ve Qwen3.5-27B 0,036 puanda kaldı.

Şirket modelin zayıf yanlarını da paylaştı. Inkling 2 Mini, çok turlu sohbetlerde ve çok sayıda kısıt içeren talimatlarda en güçlü küçük model değil: MultiChallenge testinde yüzde 50,0, ComplexConstraints v1.1 testinde yüzde 33,4 alarak iki testte de Qwen3.8-27B'nin gerisinde kalıyor. Döngü, modelin daha fazla bilgi depolamasını da sağlamıyor; bilgi ölçen testlerdeki puanı aynı boyuttaki modellerle benzer.

Yaklaşık 20 GB yer kaplıyor

Modelin ağırlıklarının büyük bölümü doğrudan 4 bit NVFP4 hassasiyetinde eğitildi; son dört katman ise 8 bit MXFP8 kullanıyor. Model aynı hassasiyetle dağıtıldığı için dönüştürmeden kaynaklanan bir kayıp da yaşanmıyor. Toplam bellek ihtiyacı yaklaşık 20 GB. Şirketin araştırmacıları modeli bir uçuşta internet bağlantısı olmadan MacBook Pro'da çalıştırdı ve birkaç dakikada oynanabilir bir uçuş simülatörü yaptırdı.

Thinking Machines, Inkling 2 Mini'nin en az 32 GB belleğe sahip her Mac'te (MacBook, Mac Mini) Ollama ile çalıştığını söylüyor. Model NVIDIA'nın DGX Spark masaüstü yapay zeka bilgisayarında da verimli çalışıyor. Unsloth ve llama.cpp için sıkıştırılmış GGUF sürümleri de hazır.

Araştırmacılar için ikinci model

Şirket, döngü sayısının modelin akıl yürütmesini nasıl etkilediğini incelemek isteyen araştırmacılar için TML-d24-varloop-research adlı ikinci bir modeli de Hugging Face üzerinden yayınladı. Bu modelde döngü sayısı değiştirilebiliyor. Şirketin ölçümlerinde döngü sayısı 1'den 5'e çıktığında modelin akıl yürütme metni yarıdan fazla kısaldı (ortalama 3.703 tokendan 1.661 tokena), ancak metnin okunabilirliği değişmedi. Birden fazla bilgisayarı birleştirerek büyük modelleri yerelde çalıştırmayı amaçlayan bir başka gelişmeyi de Windows'ta USB4 ile PC kümesi haberimizde aktarmıştık.

İlgili içerikler

USB4 ile birden fazla PC tek modeli çalıştıracak

Nothing'in yapay zeka cihazı 8 Aralık'ta geliyor

Google'da Ara düğmesi ana sayfadan kalkıyor

Haberde hata mı var?Bize bildirin

Senin fikrin ne?

Bu gelişme hakkında sen ne düşünüyorsun?

Okumaya devam et

Pusholder

Senin gündemin

Okuma seçenekleri

Push AIÖzet

PusholderKaynakta oku
shiftdelete.net