Yapay zeka ile kişiselleştirilmiş videolar oluşturan girişim Tavus'u sizlere daha önce tanıtmıştık. Bu hafta Tavus, gerçek zamanlı bir insan render modeli olan Phoenix-4'ü tanıttı. Model, bütünsel yüz ifadeleri olan, konuşma sırasında duygular arasında geçiş yapabilen ve bağlamsal tepkilerle aktif olarak dinleyebilen yapay zeka avatarları oluşturabiliyor.
Binlerce saatlik gerçek insan konuşmalarıyla eğitilmiş olan Phoenix-4, her karede yüz ve başın her pikselini sıfırdan oluşturuyor. Model, 10'dan fazla duygusal durumu ve bunlar arasındaki geçişleri gerçek zamanlı olarak işliyor. Böylece konuşmalar sırasında uygunsuz tepkiler veya ifadelerden kaçınıyor.

Şirket, Phoenix-4'ü, duygusal durumları, aktif dinleme davranışını ve sürekli yüz hareketlerini tek bir birleşik sistem olarak üreten ve kontrol eden ilk gerçek zamanlı model olarak tanımlıyor. Canlı video görüşmelerinin akıcılığına odaklanan model, 1080p'de 40 fps hızında çalışıyor. Phoenix-4, binlerce saatlik insan konuşma verisiyle eğitilmiş hibrit Gauss difüzyon mimarisi üzerine inşa edildi. Bu mimaride, yerleşik bir davranış modeli yüz ve başın tüm parçaları arasındaki ilişkiyi öğrenerek bunları dolaylı olarak kontrol ediyor.

Phoenix-4'ün öne çıkan yetenekleri:

  • Gerçek zamanlı duygusal durumlar: Mutluluk, üzüntü, öfke, şaşkınlık, tiksinti, korku, heyecan, merak ve memnuniyet dahil olmak üzere 10'dan fazla duygu durumu arasında kesintisiz geçişler.
  • Doğal ifadeler: Konuşma ve dinleme durumlarında doğal ve belirgin ifadelerle duyguları yansıtma.
  • Mikro ifadeler: Baş hareketi, yanaklar, kaşlar, dudaklar, alın, göz bakışı ve göz kırpmaları gibi ifadeler model tarafından bağlamsal olarak kontrol ediliyor.

Geliştiriciler modeli, Tavus platformu, API'ler, PAL'ler ve 40'tan fazla yeni replika içeren güncellenmiş Stock Replica kütüphanesi aracılığıyla kullanabilir. Bu teknoloji, sağlık, eğitim ve satış kullanım senaryoları için tercih edilebilir.