Tencent'ten İnsan Tercümanlara Rakip Yapay Zekâ: Konuşmaları Anında Çeviriyor

Tencent'in konuşmaları gerçek zamanlı olarak başka bir dile çeviren yeni yapay zekâsı Hy-SimulMT, profesyonel tercümanlarla yapılan kıyaslamalarda üstün gelerek dikkat çekmeyi başardı.

Yapay zekâ alanında son yıllarda yaşanan gelişmeler, dil bariyerini ortadan kaldırmaya yönelik araçların da giderek gelişmesini sağlıyor. Bugün hem metinleri farklı dillere çevirebilen yapay zekâ modelleri, hem de konuşmaları gerçek zamanlı olarak başka bir dile aktarabilen sistemler hayatımız girmeye başlamış durumda. Ancak canlı (simültane) çeviride yalnızca söylenenleri doğru anlamak değil, konuşmacıyı fazla bekletmeden çeviriyi karşı tarafa iletmek de büyük önem taşıyor. Çinli teknoloji devi Tencent'in yapay zekâ birimi Hunyuan tarafından geliştirilen Hy-SimulMT modeli, bu sorunu neredeyse tamamen ortadan kaldıran ilk modellerden biri olarak dikkat çekmeyi başardı.

Çince ve İngilizce arasında çift yönlü, gerçek zamanlı sesli çeviri yapabilen Hy-SimulMT , konuşmacı henüz konuşmasını tamamlamadan çeviriye başlayabiliyor. Üstelik Tencent tarafından paylaşılan sonuçlar, modelin çeviri sırasında insan tercümanlardan bile daha az hata yaptığını gösteriyor.

Hy-SimulMT'nin en dikkat çekici özelliklerinden biri, gelen ses akışını sürekli analiz ederek konuşma devam ederken çeviri üretmesi. Tabii bu tarz modeller konuşma sırasında ne kadar fazla bağlam toplarsa çevirinin doğruluğu o kadar artıyor ama diğer yandan hızlı çeviri de önem taşıyor. Bu konuda bir denge tutturmaya çalışan Hy-SimulMT, cümleyi anlamak için yeterli bağlama sahip olduğunu düşündüğünde hemen çeviriye başlıyor ve bu sayede süreci hızlandırıyor.

Tencent'in paylaştığı RealSI uzun süreli ses değerlendirmesinde model, StreamLAAL adı verilen gecikme ölçümünde yaklaşık 3 saniyelik sonuç elde etti. Karşılaştırmada yer alan sistemler arasındaki en düşük gecikme bu oldu. Çeviri kalitesini değerlendiren GEMBA puanında da Hy-SimulMT, karşılaştırmaya alınan açık kaynaklı modellerin tamamını ve beş ticari API'den dördünü geride bıraktı.

Modelin dikkat çeken bir diğer özelliği ise gerçek zamanlı ses klonlama desteği. Hy-SimulMT, konuşmacının söylediklerini başka bir dile aktarırken yalnızca metni çevirmekle kalmıyor, orijinal sesin karakteristik özelliklerini de koruyarak hedef dilde konuşma üretebiliyor. Böylece özellikle birden fazla kişinin katıldığı toplantı ve röportajlarda dinleyicilerin kimin konuştuğunu ayırt etmesi kolaylaşıyor. Sistem hem İngilizceden Çinceye hem de Çince'den İngilizceye çeviri yapabiliyor. Bununla birlikte sesli çıktı ve ses klonlama özelliklerinin kullanılabilmesi için ayrıca bir metinden sese (TTS) hizmetinin yapılandırılması gerekiyor.

Tencent, Hy-SimulMT'yi açık kaynaklı olarak GitHub üzerinden de erişime açtı. Modelin çalıştırılması için SimulInfer adlı çıkarım (inference) hizmeti, eğitimi içinse SimulTrain araçları sunuluyor. 30 milyar parametreli Hy-SimulMT-30B-A3B modelinin yanı sıra FP8 kuantizasyonlu ve GGUF formatındaki sürümleri de bulunuyor. Sistemi yerel olarak çalıştırmak yerine doğrudan denemek isteyenler içinse Tencent'in Android ve iOS platformlarında sunulan Hy Translate uygulaması bulunuyor. Şimdilik yalnızca Çince ve İngilizceyi destekleyen Hy-SimulMT, ileride farklı diller için de destek sunmaya başlayabilir.