Amazon, Alexa’ya İrlandaca konuşmayı nasıl öğretti?

George Bernard Shaw’ın “Pygmalion” adlı oyununun vokalisti Henry Higgins gibi, Marius Kotescu ve Georgy Tenchev de geçenlerde öğrencilerinin eklemlenme güçlüklerini nasıl aşmaya çalıştığını gösterdiler.

Her ikisi de Avrupa’da Amazon için çalışan iki veri bilimcisi, şirketin dijital asistanı Alexa’ya ders veriyordu. Görevleri: Alexa’nın yapay zeka ve anadili İngilizce olan kişilerin kayıtları yardımıyla İrlanda aksanıyla İngilizcede ustalaşmasına yardımcı olmak.

Gösteri sırasında Alexa unutulmaz bir geceden bahsetti. “Dün geceki parti çok çılgındı,” dedi Alexa, eğlence için İrlandaca bir kelime kullanarak. “Eve giderken yolda dondurma yedik ve çıktığımıza sevindik.”

Bay Tenchev başını salladı. Alexa, “Parti” kelimesindeki “r” harfini düşürdü ve kelimenin düz, pah-tee gibi görünmesini sağladı. Çok İngiliz olduğu sonucuna vardı.

Teknoloji uzmanları, Amazon’da ses kod çözme olarak bilinen zorlu bir veri bilimi alanında çalışan bir ekibin parçası. Araştırmacılar, konuşma ve teknoloji bilmecesinin yapay zeka destekli cihazları, botları ve konuşma sentezleyicileri daha konuşkan hale getirmeye yardımcı olabileceğine inandıkları için, yapay zeka gelişmeleri dalgası arasında yeni bir önem kazanan zorlu bir sorundur. bölgesel oyuncular aksanlar.

Fonemik karışıklık çözme ile uğraşmak, kelime dağarcığını ve dilbilgisini kavramaktan daha fazlasını içerir. Konuşmacının perdesi, tınısı ve aksanı genellikle kelimelere ve duygusal ağırlığa tam anlam verir. Dilbilimciler bu dil özelliğini “görüntüleme” olarak adlandırırlar ve bu, makinelerin ustalaşmakta zorlandıkları bir şeydir.

Araştırmacılar, yalnızca son yıllarda, yapay zeka, bilgisayar çipleri ve diğer cihazlardaki gelişmeler sayesinde, ses şifresini çözme sorununu çözmede ilerleme kaydettiler ve bilgisayar tarafından üretilen konuşmayı kulağa daha hoş gelen bir şeye dönüştürdüler.

Araştırmacılar, bu tür çalışmaların sonunda, sohbet robotlarının kendi yanıtlarını oluşturmasını sağlayan teknoloji olan “üretken yapay zeka” patlamasıyla birleşebileceğini söyledi. ChatGPT ve Bard gibi sohbet robotları bir gün tamamen kullanıcıların sesli komutlarıyla çalışabilir ve sözlü olarak yanıt verebilir. Analistler, aynı zamanda, Alexa ve Apple’ın Siri’si gibi ses asistanlarının daha konuşkan hale geleceğini ve bunun da durmuş gibi görünen bir teknoloji sektörüne tüketici ilgisini yeniden canlandırabileceğini söyledi.

Alexa, Siri ve Google Asistan gibi sesli asistanların birden çok dili konuşmasını sağlamak pahalı ve zaman alıcı bir süreçti. Teknoloji şirketleri, yüzlerce saatlik konuşmaları kaydetmek için seslendirme sanatçıları tuttu ve bu da dijital asistanlar için yapay seslerin yaratılmasına yardımcı oldu. Metni kulağa doğal gelen sentetik konuşmaya dönüştürdükleri için “metinden konuşmaya modelleri” olarak bilinen gelişmiş yapay zeka sistemleri. basitleştirmeye yeni başlıyorum bu süreç.

Deutsche Bank Research baş stratejisti Marion Laborie, teknolojinin “artık farklı dillerde, lehçelerde ve lehçelerde metin girdisine dayalı olarak bir insan sesi ve sentetik bir ses oluşturabileceğini” söyledi.

Amazon, yapay zeka yarışında Microsoft ve Google gibi rakiplerine yetişme baskısı altında. Nisan ayında Amazon CEO’su Andy Jassy şunları söyledi: Wall Street analistleri için Amazon’un Alexa baş bilimcisi Rohit Prasad, şirketin Alexa’yı son teknoloji üretken AI Rohit Prasad’ın yardımıyla “daha aktif ve konuşkan” hale getirmeyi planladığını söyledi. CNBC’ye söyledi Mayıs ayında, ses asistanını sesle etkinleştirilen “anında kullanılabilen kişisel yapay zeka” olarak gördü.

İrlandalı Alexa, İrlanda aksanını anlamak ve sonra konuşmak için dokuz aylık bir eğitimden sonra Kasım ayında ticari çıkışını yaptı.

Bay Prasad bir röportajda “Aksan, dilden farklıdır” dedi. AI teknikleri, yerel lehçelerin özelliklerini kopyalayabilmeleri için konuşmanın diğer bölümlerinden (örneğin, tonlama ve sıklık) vurgu çıkarmayı öğrenmelidir; örneğin, “a” daha düzdür ve “t’ler” daha güçlü telaffuz edilir.

Bu sistemlerin bu kalıpları algılaması gerekiyor, dedi, “tamamen yeni bir aksan yaratabilmeleri için.” “bu zordur.”

Daha da zoru, teknolojinin kulağa farklı gelen bir konuşma biçiminden hemen hemen kendi başına yeni bir aksan öğrenmesini sağlamaya çalışmaktır. Bay Cotescu’nun ekibinin İrlandalı Alexa’yı yapmaya çalıştığı şey buydu. Onları İrlanda İngilizcesi konuşmaları için eğitmek için büyük ölçüde İngiliz İngiliz aksanlarından oluşan mevcut konuşma modeline – çok daha küçük bir Amerikan, Kanada ve Avustralya aksanıyla – güvendiler.

Ekip, İngilizce-İrlanda dilinin çeşitli dil zorluklarıyla karşı karşıya kaldı. İrlandalılar, harfleri “t” veya “d” olarak telaffuz ederek “th” harfini “h” harfini düşürme eğilimindedir, örneğin “banyo” sesini “yarasa” ve hatta “kötü” gibi yapar. İrlanda İngilizcesi de rhotic’tir, yani “r” harfi fazla telaffuz edilir. Bu, “parti”deki “r”nin bir Londralının ağzından duyabileceğinizden daha belirgin olacağı anlamına gelir. Alexa, konuşmanın bu özelliklerini öğrenmek ve ustalaşmak zorundaydı.

Rumen olan ve Alexa’nın İrlanda ekibinin baş müfettişi olan Bay Kotescu, İrlandaca İngilizcenin “zor” olduğunu söyledi.

Alexa’nın sözel becerilerini destekleyen konuşma modelleri son yıllarda daha da gelişmiştir. 2020’de Amazon araştırmacıları Alexa’yı öğretti Akıcı bir şekilde İspanyolca konuşuyor İngilizce konuşan bir modelden.

Bay Cotescu ve ekibi, lehçeleri Alexa’nın konuşma yetenekleri için bir sonraki sınır olarak gördü. İrlandalı Alexa’yı, konuşma modelini oluşturmak için oyunculardan çok yapay zekaya güvenecek şekilde tasarladılar. Sonuç olarak, İrlandalı Alexa nispeten küçük bir grup üzerinde eğitildi – İrlanda İngilizcesinde 2.000 konuşma okuyan seslendirme sanatçıları tarafından yaklaşık 24 saatlik kayıt.

İlk başta, Amazon araştırmacıları İrlandalı kayıtları hala öğrenen İrlandalı Alexa’ya sunduğunda bazı garip şeyler oldu.

Bazen yanıttan harfler ve heceler sızıyordu. Bazen “S” birbirine yapışmış durumda. Bazen belirleyici olan bir veya iki kelime açıklanamaz bir şekilde mırıldandı ve anlaşılmazdı. En az bir örnekte, Alexa’nın kadın sesi birkaç oktav alçalarak daha erkeksi geliyordu. Daha da kötüsü, erkeksi ses belirgin bir şekilde İngiliz gibiydi, bazı İrlandalı evlerde kaşları kaldırabilecek türden bir şapşallık.

Projede görev alan Bulgar ve Amazon’un baş bilim insanı Tenchev, konuşma modelleri hakkında “Bunlar büyük kara kutular” dedi. “Ayarlanacak çok fazla deneyiminiz olmalı.”

Teknisyenlerin Alexa’nın “partizan” hatasını düzeltmek için yaptığı şey buydu. Alexa’nın kaydığı yeri tam olarak belirlemek ve ince ayar yapmak için konuşmayı, kelime kelime, sesi (bir kelimenin duyulabilir en küçük parçası) sesle çözdüler. Daha sonra sözel hatayı düzeltmek için Alexa’nın İrlandaca konuşma modelini daha fazla kayıtlı ses verisi ile beslediler.

Sonuç: “parti” içinde “r” döndürülür. Ama sonra “p” kayboldu.

Yani veri bilimcileri aynı işlemi tekrar yaptılar. Sonunda eksik “p”yi içeren sese odaklanırlar. Daha sonra modele ince ayar yaptılar, böylece “p” sesi geri geldi ve “r” kaybolmadı. Alexa sonunda bir Dublin gibi konuşmayı öğrendi.

O zamandan beri, iki İrlandalı dilbilimci – Limerick Üniversitesi’nde öğretmenlik yapan Eileen Vaughan ve Trinity College Dublin’de Fonetik ve Konuşma Laboratuvarında çalışan doktora öğrencisi Kate Tallon – Alexa’ya İrlanda aksanı konusunda yüksek notlar verdiler. İrlandalı Alexa’nın “r”leri vurgulamasının ve “t”yi yumuşatmasının durduğunu ve Amazon’un aksanı doğru anladığını söylediler.

Bayan Tallon, “Bana gerçek gibi geldi,” dedi.

Amazon araştırmacıları, büyük ölçüde olumlu geri bildirimlerden memnun olduklarını söyledi. Konuşma modelleri, İrlanda aksanını o kadar çabuk çözdü ki, onlara aksanların başka yerlerde tekrarlanabileceğine dair umut verdi.

Ve A dilinde yazdılar Ocak araştırma makalesi İrlanda Alexa Projesi hakkında.