İstatistiksel test kişiselleştirmenin değerinin değerlendirilmesine yardımcı olur

Hassas tıptan kişiselleştirilmiş iş eğitimine kadar, bireylere yönelik müdahalelerin kişiselleştirilmesinin, herkese uyan tek bir yaklaşımdan daha iyi sonuçlar ürettiği varsayılmaktadır. Ancak kişiselleştirmenin aynı zamanda maliyetleri de vardır: Daha pahalı olabilir, güvenilir bir şekilde uygulanması daha zor olabilir ve tasarım için daha fazla kaynak gerektirebilir.

Şimdi, Stanford araştırmacıları tarafından geliştirilen yeni bir istatistiksel test, karar vericilere bir müdahaleyi kişiselleştirmenin gerçekten buna değip değmeyeceğini belirlemeleri için kesin bir yol sunuyor. K-katlama kişiselleştirme testi veya KPT olarak adlandırılan test, Stanford Bilgisayar Bilimleri Bölümü’nden Zhaoqi Li ve Emma Brunskill tarafından geliştirildi.

Araştırma şu tarihte yayınlandı: Bilim.

Mühendislik Fakültesi’nde bilgisayar bilimi doçenti ve makalenin ortak yazarı Brunskill, “Kişiselleştirme çağında yaşıyoruz” dedi. Brunskill ve Li, yeni geliştirilen testin biyoistatistikten ekonomiye ve makine öğrenimine kadar geniş uygulama alanına sahip olduğunun altını çizdi.

“Bunların hepsi aynı temel soruyu çevreliyor: Müdahalelerin bireylere göre uyarlanması sonuçları ne zaman iyileştirir?” dedi Stanford’da doktora sonrası araştırmacı ve makalenin ortak yazarı Li. “K-katlama kişiselleştirme testimiz, kişiselleştirmenin yararına bu konuları tek ve zorlu bir testte bir araya getiren ilk testlerden biridir.”

Kişiselleştirmenin takasları

Brunskill, sağlam kararlar vermek için birkaç örnekten öğrenebilen yapay zeka sistemleri oluşturmaya odaklanıyor. Açıkladığı gibi, yeni test kullanıcıların bir tedaviyi kişiselleştirmenin faydalarının uygulama maliyetlerini haklı çıkarmak için yeterli olup olmadığını anlamalarına yardımcı oluyor. Veriler göz önüne alındığında test, bir müdahaleyi uyarlamanın beklenen faydalarının yanı sıra güven aralığı adı verilen bir dizi beklenen faydaya ilişkin bir tahmin üretir.

Kendisi, bu değiş-tokuşların miktarının belirlenmesinin önemli olduğunu, çünkü kişiselleştirmenin politikalara karmaşıklık katması nedeniyle “uygulama sadakatinin kötü gitme potansiyelinin arttığını” belirtti. Başka bir deyişle, özelleştirilmiş planların hassas bir şekilde yürütülmesi, herkese uyan tek çözüm yaklaşımlarına göre genellikle daha zordur.

Makalenin ardındaki önemli fikir, heterojen tedavi etkilerinin (bir müdahalenin farklı alt gruplara ne kadar yardımcı olduğu konusundaki farklılıkların) gerekli olduğu ancak kişiselleştirmeyi haklı çıkarmak için yeterli olmadığıdır. Bazı gruplar, herkese uyan tek bir müdahaleden diğer gruplardan daha fazla yararlansa bile, yine de herkesin aynı müdahaleyi alması daha iyi olabilir.

Brunskill, genç grupların eğitimden yaşlı gruplara göre daha fazla yararlanabileceği farklı yaş grupları için iş eğitimi örneğini kullandı. “Farklı etkileri olabilir ama yine de herkes iş eğitiminden faydalanıyor olabilir. Belki 18-20 yaşındakiler 50-60 yaşındakilere göre çok daha fazla kazanç elde ediyor ama herkesin maaşı arttı” dedi.

Daha da önemlisi, kişiselleştirme, belirli bir alt grup aktif olarak zarar gördüğünde veya herkese uyan tek bir müdahaleyle hizmet edilmediğinde karşılığını verir.

Brunskill, “Belki 18-20 yaşları arasındakiler için bir fırsat maliyeti vardır ve bu nedenle maaşları aslında iş eğitimiyle birlikte düşüyor çünkü onlar işgücü piyasasının dışındalar” dedi. Bu durumda, müdahaleyi genç gruplara yönelik faydaları artıracak şekilde uyarlamak, uygulamanın getirdiği ilave karmaşıklığa değer olabilir.

Müdahalelerin test edilmesi

Araştırmacılar KPT’yi kontrollü tip I hataya sahip olacak şekilde geliştirdiler; bu, orada olmayan kişiselleştirme faydalarını önerme konusunda muhafazakar olduğu anlamına geliyor. Li’nin açıkladığı gibi bu kontrol, hatalı pozitif sonuçların gerçek maliyetlerinden kaçınmak için önemlidir.

Depresyon tedavilerinin kişiselleştirilmesine bakan bir örneği tartıştı; burada kişiselleştirmenin avantajlarını değerlendirmeye yönelik geleneksel yöntemler, yanlış bir şekilde %7 oranında kişiselleştirmeden önemli bir fayda beyan etti.

“Sağlık çalışanları, gerçekten kişiselleştirmenin hiçbir faydası olmadığında, bireylere özel müdahaleler sunmak için önemli miktarda çaba ve kaynak harcayabilir. Bu, istikrarlı, titiz bir testin önlenmesine yardımcı olabileceği önemli bir çaba ve kaynak israfı olacaktır” dedi.

Bazı varsayımlar altında, KPT mümkün olan en dar güven aralıklarını da vererek kullanıcılara olası faydalar aralığına ilişkin daha net bir resim sunar. Mevcut yöntemlerle karşılaştırıldığında araştırmacılar KPT’nin benzer veya daha dar güven aralıkları ürettiğini buldu.

Test ayrıca kişiselleştirmenin minimum kazanç sağladığı örnekleri de vurguladı. Araştırmacılar, çevrimiçi bir kursun tamamlanması için davranış bilimi müdahalelerini kişiselleştirmenin faydalarını tahmin etmek için KPT’yi kullandıklarında, tahmin edilen kişiselleştirme etkisi sıfır potansiyel faydayla örtüşüyordu.

Araştırmacılar, yazılım paketini sosyal bilimler, tıp ve eğitim gibi alanlardaki uygulayıcıların KPT’yi kendi verilerine uygulayabilmeleri için ücretsiz olarak yayınlamayı planlıyor. Araçlarının verileri gerçek dünyaya, müdahaleleri ve kaynak tahsisini geliştiren bilinçli kararlara nasıl dönüştürebileceğini görmekten heyecan duyuyorlar.

Ekip, KPT’yi geliştirmek için yapılan tüm çalışmalara rağmen, benimsenmesinin kolay olmasını ve farklı disiplinlerdeki araştırmacılar için başvurulacak bir araç haline gelmesini umuyor.

Brunskill, “Heterojen tedavi etkisi tahmini artık potansiyel bir müdahalenin etkisini tahmin ederken veri analizinin çok yaygın bir parçası. Birçok ortamda bunun temel nedeni, farklı gruplara farklı müdahaleler sağlamamız gerekip gerekmediğini anlamaktır. KPT, paydaşların kişiselleştirmeleri durumunda ne kadar fayda olacağını ölçmelerine yardımcı olabilirse çok sevinirim” dedi.