Google’dan Yapay Zeka İçin İki Yeni Çip: Tpu 8tx Ve Tpu 8i Max

Google, yapay zeka için TPU 8tx ve TPU 8i Max çiplerini tanıttı. Yeni donanımlar, hassas verilerde güvenliği ve milyonlarca tokenlık bağlamlarda işlem performansını artırmayı hedefliyor.

Google, yapay zeka iş yükleri için geliştirdiği sekizinci nesil Tensor Processing Unit (TPU) ailesine TPU 8tx ve TPU 8i Max modellerini ekledi. Şirket, böylece bir yıl içerisinde dört farklı TPU sistemi duyurmuş oldu. Yeni sistemler farklı çip mimarilerine dayanmazken Google, mevcut sekizinci nesil TPU silikonunu farklı donanım yapılandırmalarıyla belirli iş yüklerine göre optimize ediyor.

Şirket, nisan ayında tanıttığı TPU 8t modelini büyük yapay zeka modellerinin eğitimi, TPU 8i modelini ise düşük gecikmeli çıkarım ve gerçek zamanlı akıl yürütme işlemleri için geliştirmişti. Google'ın açıklamasına göre bu iki sistem, önceki nesle kıyasla sırasıyla 2,7 kata kadar daha iyi eğitim performansı ve yüzde 80 daha iyi çıkarım fiyat-performansı sunuyor. Yeni TPU 8tx ve TPU 8i Max ise özellikle kurumsal müşterilerin ihtiyaçlarına odaklanıyor.

Yeni sistemlerden TPU 8tx, özellikle devlet kurumları, finans kuruluşları ve sıkı veri güvenliği gereksinimleri bulunan şirketler için tasarlandı. Sistem, yapay zeka modellerinin hassas verilerle çalışırken korunmasını sağlayan donanımsal güvenlik özelliklerine sahip.

Normal şartlarda veriler depolanırken veya ağ üzerinden aktarılırken şifrelenebiliyor. Ancak bir işlemci verileri işlerken bunların bellekte şifresinin çözülmesi gerekiyor. TPU 8tx, bu güvenlik açığını donanım seviyesinde ele alıyor. TPU 8t ile aynı silikon üzerine kurulan sistem, beşinci nesil AMD EPYC işlemcilerle eşleştiriliyor. Böylece hassas veriler ve model ağırlıkları işlem sırasında da izole edilerek korunabiliyor.

Google ayrıca TPU 8tx'te gerçek zamanlı akıl yürütme için geliştirdiği düşük gecikmeli Boardfly ağını kullanıyor. Şirketin açıklamasına göre bu yapı, TPU 8t'ye kıyasla 2 kata kadar daha düşük gecikme sağlarken performans kaybını neredeyse sıfırda tutuyor.

Google'ın diğer yeni sistemi TPU 8i Max ise özellikle çok uzun bağlamlarla çalışan yapay zeka modellerinin karşılaştığı bellek darboğazına odaklanıyor. Çok sayıda yapay zeka ajanının büyük bir yazılım kod tabanını analiz etmesi veya saatlerce süren videoları aynı anda işlemesi gibi senaryolarda bellek bant genişliği önemli bir sınırlayıcı haline geliyor. Google bu sorunu çözmek için iki adet düşük gecikmeli TPU 8i çipini tek bir pakette birleştirdi. TPU 8i Max, standart TPU 8i'ye kıyasla iki kat işlem gücü, iki kat SRAM ve iki kat HBM bant genişliği sunuyor.

Bu yapı, işlemcilerin ihtiyaç duyduğu verilere daha hızlı erişmesini sağlayarak büyük iş yüklerinin bellek aktarımını beklerken yavaşlamasını önlemeyi amaçlıyor. Ayrıca iki çipin aynı raf alanına sığdırılması sayesinde veri merkezlerinde birim alan ve enerji başına daha yüksek işlem yoğunluğu elde edilebiliyor.

Google, TPU'ların daha kolay kullanılabilmesi için yazılım tarafında da yenilikler duyurdu. Açık kaynak TorchTPU sayesinde PyTorch kodları ve Hugging Face modelleri değiştirilmeden TPU'larda çalıştırılabiliyor. Claude Code, Cursor ve Google Antigravity ile entegre çalışan TPU ajan paketi ise donanım optimizasyonunu otomatikleştiriyor.

Şirketin diğer yenilikleri arasında TPU, GPU ve CPU üzerinde model sunmayı sağlayan XLA Serving Engine ile boşta kalan yapay zeka ajanlarının işlem kaynaklarını serbest bırakan Agent Compute Engine bulunuyor. Açık kaynak TPU Sync ise HBM, DRAM ve depolama kaynaklarını ortak bir bellek hiyerarşisinde birleştirerek KV aktarım gecikmesini ve ilk token üretim süresini yüzde 90'dan fazla azaltmayı hedefliyor.

Google Kubernetes Engine (GKE) için genel kullanıma sunulan Cloud Pathways ve Dynamic Slicing özellikleri de büyük TPU kümelerinin yönetimini kolaylaştırıyor. Dynamic Slicing, optik devre anahtarlama (OCS) teknolojisiyle TPU kümelerini dinamik olarak yapılandırarak iş başlatma sürelerini 5 kata kadar kısaltıyor ve arıza kurtarmayı 4,5 kata kadar hızlandırıyor. Google, yeni nesil TPU tasarımlarında AlphaChip ve Gemini gibi yapay zeka araçlarından da yararlanıyor. Şirkete göre Gemini, çip yerleşim çalışmalarının haftalar yerine saatler içinde tamamlanmasını sağlayabiliyor.

Öte yandan Google, TPU 8i Max için henüz ayrıntılı performans testleri, güç tüketimi değerleri veya fiyatlandırma bilgilerini paylaşmadı. Bu nedenle sistemin Nvidia Rubin platformlarıyla verimlilik ve maliyet açısından karşılaştırılması şimdilik mümkün değil.

Yorum Yaz Paylaş Tweetle