En güçlü yapay zeka araçlarının hepsinin ortak bir yanı var. İster şiir yazıyor ister protein yapılarını tahmin ediyor olsunlar “transformatör” mimarisine güveniyorlar
Belgeleri özetleyebilen, sanat eseri oluşturabilen, şiir yazabilen veya inanılmaz derecede karmaşık proteinlerin nasıl katlandığını tahmin edebilen günümüzün en güçlü yapay zeka araçlarının tümü “transformatörün” omuzlarında duruyor. İlk olarak 2017 yılında Kaliforniya’daki mütevazı bir konferans merkezinde duyurulan bu sinir ağı mimarisi, makinelerin bilgiyi insanların nasıl düşündüğünü yansıtacak şekilde işlemesine olanak tanıyor.
Daha önce, en gelişmiş yapay zeka modellerinin çoğu, tekrarlayan sinir ağı adı verilen bir tekniğe dayanıyordu. Bu, metni dar pencerelerde soldan sağa okuyarak ve yalnızca hemen önce olanları hatırlayarak işe yaradı. Bu kurulum kısa ifadeler için yeterince işe yaradı. Ancak daha uzun, daha karmaşık cümlelerde modeller, sınırlı hafızalarına çok fazla bağlam sığdırmak zorunda kaldı ve bu da önemli ayrıntıların kaybolmasına neden oldu. Belirsizlik onları şaşkına çevirdi.
Transformers bu yaklaşımı bir kenara attı ve daha radikal bir şeyi benimsedi: kendine dikkat.
Bu makale 21. yüzyılın en iyi 21 fikrine ilişkin özel sayımızın bir parçasıdır.
Tüm seriye buradan göz atın
Şaşırtıcı derecede sezgiseldir. Biz insanlar kesinlikle metni kelime kelime tarayarak katı bir sıraya göre okuyup yorumlamıyoruz. Gözden geçiriyoruz, ikiye katlıyoruz, bağlamı tartarak tahminler yapıyoruz ve düzeltmeler yapıyoruz. Bu tür zihinsel çeviklik, uzun zamandır doğal dil işlemenin kutsal kasesi olmuştur: makinelere yalnızca dili nasıl işleyeceklerini değil, aynı zamanda onu nasıl anlayacaklarını da öğretir.
Transformatörler bu zihinsel sıçramayı taklit eder. Öz-dikkat mekanizmaları, bir cümledeki her kelimeyi diğer tüm kelimelerle aynı anda karşılaştırmalarına, kalıpları tespit etmelerine ve aralarındaki ilişkilerden anlam çıkarmalarına olanak tanır. Hugging Face’ten yapay zeka araştırmacısı Sasha Luccioni, “İnternetten veya Wikipedia’dan tüm bu verileri kullanabilir ve bunları göreviniz için kullanabilirsiniz” diyor. “Ve bu son derece güçlüydü.”
Bu esneklik metinle de sınırlı değildir. Transformatörler artık müzik üreten, görüntüleri işleyen ve hatta molekülleri modelleyen araçları destekliyor. Örneğin AlphaFold, proteinleri (uzun amino asit dizileri) cümleler gibi ele alıyor. Bir proteinin işlevi, nasıl katlandığına bağlıdır ve bu da, parçalarının uzun mesafelerde nasıl bir ilişki kurduğuna bağlıdır. Dikkat mekanizmaları, modelin bu uzak ilişkileri hassas bir şekilde tartmasına olanak tanır.
Geriye dönüp baktığımızda, içgörü neredeyse bariz görünüyor: İster insan ister yapay olsun, zeka neye ve ne zaman odaklanılacağını bilmeye bağlıdır. Transformatör yalnızca makinelerin dili kavramasına yardımcı olmadı. Bu onlara, tıpkı insanların kendi karmaşık dünyalarında gezinmesi gibi, herhangi bir yapılandırılmış veride gezinme olanağı sağladı.
