İnsanların tercihlerini tahmin etmek söz konusu olduğunda ‘üçün gücü’nü dikkate almakta fayda var

Amerikalı psikolog LL Thurstone, 1927 tarihli “Karşılaştırmalı Yargı Yasası” başlıklı makalesinde, insanların birden fazla alternatif arasından bir seçeneği seçtiğinde, o seçeneğe belirli bir sayı atayamasalar bile, kendileri için en yüksek değere sahip olanı seçtiklerini öne sürdü.

Thurstone, göremediğimiz zihinsel süreçlerin yine de ölçülebileceği ve nicelikselleştirilebileceği önermesine dayanan bir alan olan “psikometri”nin öncüsüdür. 1927 tarihli makalesi, insan tercihlerini açıklamak için matematiksel bir çerçeve sağlayan ve çeşitli varsayımsal durumlar hakkında tahminlerde bulunmak için güvenilebilecek bilgiler sağlayan, günümüzde rastgele faydalı modeller olarak adlandırılan modelin temelini attı.

Rastgele faydalı modeller (RUM’ler), kütüphaneden getirdiğiniz roman yığını arasında hangi kitabı ilk önce okuyacağınıza karar vermek gibi belirli bir seçimden elde edilebilecek “yararlılığı” veya faydayı değerlendirdikleri için bu şekilde adlandırılmıştır.

MIT Elektrik Mühendisliği ve Bilgisayar Bilimleri Bölümü’nde (EECS) yardımcı doçent ve Bilgi ve Karar Sistemleri Laboratuvarı’nda (LIDS) baş araştırmacı olan Gabriele Farina, “Bu modeller doğası gereği rastgeledir” diye açıklıyor, “çünkü insanlar farklıdır. Herkesin kendi tercihleri ​​vardır ve hatta bu tercihler bile zaman zaman değişebilir.” Örneğin sabahları çay yerine kahveyi tercih eden, akşam yemeğinden sonra ise çayı tercih eden biri, zaman zaman bu düzeni tamamen karıştırabilir.

RUM’lar elbette hükümet ve endüstride sıcak (veya buzlu) içecek seçiminden çok daha önemli durumlarda sıklıkla kullanılmaktadır. Modeller, karşı-olgusal (“ya şöyle olursa”) senaryolar olarak adlandırılan senaryolarda insanların ne yapmayı seçeceklerine ilişkin tahminleri rutin olarak kolaylaştırır: Büyük bir cadde inşaat nedeniyle kapatılırsa işe veya okula nasıl gidecekler? Hangi rotaları ve ulaşım şekillerini kullanacaklar? Ya da eğer bir şehir aniden 20 milyon dolarlık bir kazanç elde ederse, bu fonlar kamu yararını en üst düzeye çıkarmak için nasıl dağıtılmalıdır?

RUM’ların neredeyse 100 yıldır bizimle birlikte olduğu ve zamanla karmaşıklaştığı göz önüne alındığında, bu aşamada iyileştirme için çok az yer olacağı düşünülebilir. Ancak durum böyle değil.

Asırlık model yeniden ziyaret ediliyor

Nisan ayında Brezilya’nın Rio de Janeiro kentinde düzenlenen Uluslararası Öğrenme Temsilleri Konferansında sunulan bir makale, bu modellerden geleneksel olarak sanıldığından çok daha fazlasının derleneceğini gösteren temel gerçekleri ortaya çıkardı.

Makalenin yazarı, şu anda Singapur’daki Nanyang Teknoloji Üniversitesi’nde bulunan eski bir MIT doktora sonrası araştırmacısı olan Yeshwanth Cherapanamjeri’dir; Farina, aynı zamanda MIT Yöneylem Araştırma Merkezi’nin (ORC) çekirdek öğretim üyesi; MIT’de Avanessian Bilgisayar Bilimi Profesörü ve MIT’nin Bilgisayar Bilimi ve Yapay Zeka Laboratuvarı üyesi Constantinos Daskalakis; ve MIT Ph.D. Sobhan Mohammadpour. LIDS ve EECS’ye dayalı bilgisayar bilimleri öğrencisi.

Grubun bulguları kısmen, Thurstone günlerinden bu yana devam eden, RUM’ların pratikte yaygın olarak tahmin edilmesindeki eksiklikten kaynaklanıyor. Modellerin tahmin edildiği veriler büyük ölçüde ikili karşılaştırmalardan alınmıştır: A ve B öğeleri arasında bir seçim yapsanız (ister Netflix’teki filmlerle, ister Amazon.com’daki rakip ürünlerle, ister Google’da yayınlanan haberlerle vb. ilgili olsun) hangisini seçersiniz?

Daskalakis, bu yaklaşımın bu kadar yaygın olmasının bir nedeninin şu olduğunu açıklıyor: “Tek bir maddeden elde ettiğiniz faydaya 4,37 gibi kesin bir sayısal puan atamak çok zor. Oysa iki şeyi karşılaştırmak ve hangisini daha çok beğendiğinize karar vermek bilişsel açıdan çok daha kolay.” Ancak sorunun da burada yattığını ekliyor. “İnsanların tercihlerini aynı anda yalnızca iki şeye bakarak değerlendirmenin bu yolu ile, çok sayıda seçenek arasında korelasyon bulmak imkansızdır.”

İkili seçimlerin kaçırdığı şeyler

RUM’ları uygulamanın standart yolu, A ve B’den türetilen yardımcı programların bağımsız olduğunu varsayar, ancak aslında bağlantılı olabilirler ve bunun bilinmesi önemli olabilir. Örneğin, seçmeli görev için kampanya yürüten biri potansiyel bir seçmenin silah kontrolünden yana olduğunu öğrenirse, aynı kişinin aynı zamanda devlet destekli çocuk bakımını da desteklemesi makul bir ihtimaldir. Benzer şekilde, bağımsız filmlerin hayranı da yabancı filmlere karşı taraf olabilir, ancak Hollywood’un gişe rekorları kıran aksiyon filmleri konusunda daha az hevesli olabilir.

Daskalakis, “Eğer bir dijital platform bu tür korelasyonların varlığını görmezden gelirse, tercihleri ​​çok doğru bir şekilde tahmin edemeyecektir” diye belirtiyor. “Ve eğer Netflix size düzenli olarak umursamadığınız bir dizi film gösteriyorsa, aboneliğinizi iptal edebilir ve imzalayabilirsiniz.”

MIT ekibi, yalnızca iki yönlü karşılaştırmalardan korelasyonlar hakkında bilgi almanın imkansız olduğunu kanıtladı. Bununla birlikte, çok sayıda insan üç alternatifi kendi tercih sırasına göre derecelendirdiğinde korelasyonlar fark edilebilir. Aynı bilgi, üçün en iyisi ve ikinin en iyisi seçeneklerinin birleşiminden de elde edilebilir.

Uygulamada Mohammadpour şöyle açıklıyor: “Bir grup insanın üç öğeyi sıralamasını sağlarsınız. Daha sonra bu bireysel sonuçları bize büyük resmi sunabilecek tek bir büyük modelde birleştirmek için geliştirdiğimiz yöntemi kullanabilirsiniz.”

Üç maddeli sıralama daha fazlasını ortaya koyuyor

Farina’ya göre araştırma çabaları, RUM’ların hesaplamalı yönüne odaklanıyor; tercih bilgilerini çıkarabilecek algoritmalar tasarlıyor ve bunu yapmak için ne kadar veriye ihtiyaç duyulduğunu veya eşdeğer olarak kaç deneyin yapılması gerektiğini buluyor. İyi haber şu ki, etkili algoritmaların bu amaç için gerçekten mümkün olması. Gerekli deney sayısı, katalog veya veri tabanında incelenmekte olan öğelerin sayısıyla birlikte katlanarak artmaz.

Montreal Üniversitesi’nden bilgisayar bilimcisi Emma Frejinger, “Bu makale çok önemli bir atılım sağlıyor” diyor. “Geleneksel veri toplamanın neden başarısız olduğunu matematiksel olarak kanıtlıyor ve kullanıcılara yalnızca üç seçenekten en iyisini (seçimlerini) sormanın, bu güçlü modelleri doğru bir şekilde eğitme becerisinin kilidini açtığını gösteriyor. Bu bulgu, daha doğru optimizasyonlar sağlamak üzere daha iyi veriler toplamak için son derece pratik bir yol haritası sağlıyor.”

Daskalakis, “Faydalı modeller inşa etmek çok aktif bir alan olmaya devam edecek” diye ısrar ediyor. “RUM’lar 1990’ların sonlarından bu yana internet ekonomisi için kritik öneme sahip olduğu gibi, ileriye dönük AI modellerinin uyumlaştırılması için de kritik öneme sahiptirler ve öyle kalacaktır.”

Daha da önemlisi şunu ekliyor: “RUM’ler, büyük dil modellerinin (LLM’ler) ticari uygulanabilirliği ve kullanışlılığında merkezi bir rol oynamaktadır.” Eğitim süresi boyunca insanlardan genellikle bu LLM’lerin çeşitli aday çıktılarını sıralamaları istenir; bu sayede modeller, tercih edilen metin türü (ton, stil ve içerik açısından) hakkında daha iyi bir fikir edinebilir.

Sürekli olarak “pek çok farklı alanda geniş bir seçenek deniziyle kuşatılmış olduğumuz” göz önüne alındığında, Daskalakis şöyle diyor: “İnsanlardan olası tüm senaryolar için tüm kişisel tercihlerini iletmelerini isteyemezsiniz. Dolayısıyla bunun yerine yapabileceğiniz şey, insanların farklı olası sonuçlar hakkında ne düşündüğünü tahmin eden bir model oluşturmaktır. Ve iyi tahminler yapana kadar modelinizi yinelemeli bir süreçte geliştirmeye ve güncellemeye devam etmelisiniz.”