Teknoloji devleri yapay zeka modellerini hızlandırmak için yeni yöntemler peşinde koşuyor. Bu bağlamda Taalas isimli bir şirket, farklı bir yaklaşım sunuyor.

Taalas, yaklaşık 2.5 yıl önce kuruldu ve 24 kişilik bir ekibe sahip. Şirket, yazılımları neredeyse 2 ay içinde fiziksel bir çipe dönüştürüyor. Bu süreçte, yapay zeka modeline özel bir yonga tasarlanıyor ve model çip içine gömülüyor. Temel mimari olarak ‘Hardcore’ adı verilen bir yapı kullanılıyor. Bu mimari, depolama ve hesaplama birimlerini aynı çatı altında doğrudan bellek yoğunluğunda birleştiriyor.

Taalas’ın ürettiği ilk işlemci ‘HC1’, gücünü Meta’nın ‘Llama 3.1 8B’ modelinden alıyor. Llama 3.1 8B açık kaynaklı ve küçük bir model olduğundan, ilk olarak seçilmesi normal. HC1, saniye başına 17 bin token üretebiliyor ki bu oldukça etkileyici.

Mevcut AI sistemlerine göre 10 kat daha hızlı çalışırken, enerji tüketimini de yarı yarıya azaltıyor. Yapay zeka tamamen donanım içinde yer alsa da, bağlam penceresini ayarlama yeteneği ve ‘LoRA’ adı verilen pratik ince ayar eklentileriyle esnekliğini koruyor.

Taalas, verileri küçültmek için ‘3-bit’ ve ‘6-bit’ adını verdikleri özel veri sıkıştırma yapılarını kullanıyor. Bu, sistemin hızını artırırken kayıplara yol açabiliyor. Şirketin bir sonraki çipi ‘HC2’de ise endüstri standardı olan ‘4-bit floating-point’ kullanılacak. Bu format, kayıpları ortadan kaldırarak verilerin hızdan ödün vermeden işlenmesine ve çıktı kalitesinin kusursuz kalmasına olanak tanıyacak.