Bir beyin-bilgisayar arayüzü, felçli bir adamın konuşmada olağan gecikme olmadan gerçek zamanlı konuşmalar yapmasını sağladı.
Beyin-bilgisayar arayüz sistemine bağlı felç olan bir adam
Konuşma yeteneğini kaybeden bir adam artık gerçek zamanlı konuşmalar yapabilir ve hatta beyin kontrollü bir sentetik sesle şarkı söyleyebilir.
Beyin-bilgisayar arayüzü, beynine implante edilen elektrotlar aracılığıyla insanın nöral aktivitesini okur ve daha sonra amaçlanan perdesini, tonlamasını ve vurgusunu yansıtan konuşma sesleri üretir.
Davis, “Bu, anlık ses sentezi için türünün ilk örneği – 25 milisaniye içinde – 25 milisaniye içinde” diyor.
Maitreyee Wairagkar, UC Davis’te de konuşmanın anlaşılmasını kolaylaştırmak için teknolojinin geliştirilmesi gerektiğini söylüyor. Ancak Wairagkar’a göre, amyotrofik lateral skleroz nedeniyle konuşma yeteneğini kaybeden adam hala onu “mutlu” yaptığını ve gerçek sesi gibi hissettiğini söylüyor.
Beyin-bilgisayar arayüzlerini kullanan konuşma nöroprostezleri zaten mevcuttur, ancak bunlar genellikle beyin aktivitesini seslere dönüştürmek için birkaç saniye sürer. Stavisky, bu, insanların gerçek zamanlı olarak kesintiye uğrayamadığı, açıklığa kavuşturamadığı veya yanıt veremediği için doğal konuşmayı zorlaştırıyor. “Kötü bir bağlantı ile telefon görüşmesi yapmak gibi.”
Konuşmayı daha gerçekçi bir şekilde sentezlemek için, Wairagkar, Stavisky ve meslektaşları, insanın beyninin konuşması için kullanılan yüz kaslarını kontrol etmeye yardımcı olan kısımlarına 256 elektrot yerleştirdi. Daha sonra, birden fazla seansta, araştırmacılar ona bir ekranda binlerce cümle gösterdiler ve beyin aktivitesini kaydederken bazen belirli tonlamalarla yüksek sesle söylemelerini istediler.
“Fikir, örneğin, ‘Bugün nasılsın?’ Diyebilirsiniz. veya ‘Nasılsın Bugün? ”Ve bu cümlenin anlambilimini değiştiriyor” diyor Stavisky. “Bu, önceki sistemlere kıyasla çok daha zengin, daha doğal bir değişim ve büyük bir adım ileriye dönük.”
Daha sonra, ekip bu verileri, nöral aktivite modellerini, insanın ifade etmeye çalıştığı kelimeler ve bükülmelerle ilişkilendirmek için eğitilmiş yapay bir zeka modeline besledi. Makine daha sonra beyin sinyallerine dayanarak konuşma oluşturdu, hem söylemeyi istediklerini hem de nasıl söylemek istediğini yansıtan bir ses üretti.
Araştırmacılar, sentetik sesi kendi gibi ses çıkarmak için ses klonlama teknolojisini kullanarak, AI’nin ses kayıtları konusunda ses kayıtları konusunda eğitim aldılar.
Deneyin başka bir bölümünde, araştırmacılar farklı sahalar kullanarak basit melodiler söylemeye çalıştılar. Modelleri amaçlanan sahasını gerçek zamanlı olarak çözdü ve daha sonra ürettiği şarkı sesini ayarladı.
Wairagkar, sistemi sormadan konuşmak ve “hmm”, “eww” veya uydurulmuş kelimeler gibi sesler üretmek için kullandı.
UC Davis’te de ekip üyesi David Brandman, “Çok eklemli ve zeki bir adam” diyor. “Felç olmaktan ve tam zamanlı çalışmaya devam etmek ve anlamlı konuşmalar yapmaktan konuşamadı.”
