Ap-değeri nedir? Uzman bilimde en çok yanlış anlaşılan rakamı açıklıyor

Eğer bilimsel bir makale okumayı denediyseniz neredeyse kesinlikle bir p değeriyle karşılaşmışsınızdır. Ve eğer bunu kafa karıştırıcı bulduysanız, iyi bir arkadaşsınız demektir: Çalışan bilim adamlarının çoğu da bunu yanlış anlıyor.

P değeri, bir deneyin “istatistiksel önemini” ölçen bir sayıdır ve genellikle deneyin gerçekten bir şey bulup bulmadığına karar verme aracı olarak kabul edilir. Araştırmacıların bir ilacın bir şey yaptığını mı yoksa bir grubun diğerinden farklı olduğunu mu söyleyeceğine karar verir.

Kariyerler, yayınlar ve dünyaya dair anlayışımız p değerlerine bağlıdır. Dolayısıyla bu sayıların aslında ne anlama geldiğini anlamakta fayda var çünkü çoğu insanın düşündüğü şey bu değil.

P değeri ne anlama gelir?

Bir ülkedeki yetişkinlerin ortalama olarak başka bir ülkedeki yetişkinlerden daha uzun olup olmadığını bilmek istediğimizi varsayalım. Herkesi ölçemeyiz, dolayısıyla her ülkeden 50 yetişkini örnek alıyoruz.

İlk numunenin ortalaması 1,80 metre (5 fit, 11 inç), ikinci numunenin ortalaması ise 1,77 metredir (5 fit, 10 inç). Bu 3 santimetrelik (1,2 inç) boşluk bize tek başına çok az şey ifade ediyor, çünkü herhangi iki örnek sırf kimin seçildiğine bağlı olarak bir dereceye kadar farklılık gösterecektir.

Peki bu fark tüm popülasyondaki ortalama boylar arasındaki gerçek farkın iyi bir kanıtı mıdır? Yoksa sadece kurada şans eseri ortaya çıkan bir şey mi?

Bunu öğrenmek için bir bilim insanı, bir p değeri döndüren istatistiksel bir test yürütür (“p”nin genellikle “olasılık” anlamına geldiği anlaşılır). Diyelim ki p = 0,06 olarak geri döndü.

Bunun anlamı şudur: Eğer ülkeler arasında gerçekten bir fark olmasaydı, en azından bu kadar büyük bir fark, örnekleme şansı sayesinde yaklaşık %6 oranında ortaya çıkacaktı.

Şimdi bunun ne anlama gelmediğine dikkat edin. Bu, sonucun tesadüfi olma ihtimalinin %6 olduğu veya iki ülkenin gerçekten farklı olma ihtimalinin %94 olduğu anlamına gelmez.

P-değeri, gerçek hiçbir şeyin olmaması durumunda bu kadar büyük bir farkın ne kadar muhtemel olduğunu gösterir, gerçek hiçbir şeyin olmamasının ne kadar muhtemel olduğunu gösterir. İnsanlar ikisini sürekli değiştirir ve daha iyisini bildiğinizde bile bunu yapmak kolaydır.

Neden 0,05?

Geleneksel olarak 0,05’in altındaki bir p değeri “istatistiksel olarak anlamlı” olarak adlandırılır. P değeri 0,06 olan boy çalışmamız anlamlı bir fark göstermeyecek şekilde yazılacaktır.

0,05 eşiği nereden geliyor? Özellikle hiçbir yerde.

İngiliz istatistikçi Ronald Fisher bunu 1920’lerde genel bir kural olarak önerdi ve kolaylık bir kurala dönüştü.

“Anlam” çizgisi olarak 0,05’e sahip olmak yararlı bir şey yapar. Hiçbir gerçek etki olmasaydı, bunu 0,05’e ayarlamak, bir çalışmanın yine de tamamen şans eseri, yaklaşık 20’de bir “anlamlı” bir sonuç üreteceği anlamına gelir.

Bu, tahammül etmeyi kabul ettiğimiz yanlış alarmların oranıdır. Yayınlanan bulguların kaçının yanlış olduğuna dair bir iddia değil.

Keyfi olan 100’de bir ya da 10’da bir yerine 20’de birdir ve biraz absürt sonuçlar doğurur: p = 0,049 ise keşif olarak rapor edilir; p = 0,051 ise hiçbir şey olmamış gibi davranırız.

‘Önemli değil’ ‘fark yok’ anlamına gelmez

Boy deneyimize geri dönersek, p = 0,06 sonucumuzu iki ülkedeki insanların eşit uzunlukta olduğunun kanıtı olarak ele alma eğiliminde olabiliriz. Bu öyle bir şey değil.

Anlamlı olmayan bir sonuç, yalnızca farkımızın eşiği aşacak kadar olağandışı olmadığı anlamına gelir. Gerçek fark önemli olabilir. Çalışmamız bunu tespit edemeyecek kadar küçük veya çok gürültülü olabilir. Gürültü, bireyler arasında farklılık anlamına gelir: Her ülkede boy kişiden kişiye ne kadar farklı olursa, aynı 3 santimetrelik (1,2 inç) fark için p değeri de o kadar büyük olur.

Ters karışıklık da aynı derecede yaygındır. Sıradan İngilizcede önemli, büyük veya önemli anlamına gelir; istatistiklerde bu yalnızca bir sonucun eşiği aştığı anlamına gelir.

40.000 kişiyle yapılan bir çalışmanın, bir ilacın IQ’yu p < 0,001 ile yarım puan artırdığını bulduğunu düşünün. Bu, "istatistiksel anlamlılık" eşiğini kolayca aşar, ancak yarım IQ puanı tamamen önemsiz bir farktır.

P = 0,06’da ortalama beş IQ puanı kazanımı bulan daha küçük bir çalışma “anlamlı değil”; her ne kadar etki gerçek olsaydı çok daha anlamlı olurdu.

Bu nedenle etki büyüklüğünün yanı sıra bir p değerinin de okunması gerekir; bu da genellikle en önemli soruyu sorar: Fark ne kadar büyüktü?

P-hack yapma isteği

0,05’in altına inerken çok fazla hareket olması nedeniyle eşik baştan çıkarıcıdır. Bir eki test eden araştırmacıların 50 kişiyi işe aldığını ve p = 0,08 elde ettiğini varsayalım. Sinir bozucu derecede yakın.

Böylece bir 10 daha ekleyip tekrar test ediyorlar: p = 0,06. Daha da yakın. Bir 10 tane daha ve sonunda 0,05’in altına düşüyor, bu noktada duruyorlar ve sanki örneklem büyüklüğü baştan beri sabitmiş gibi yazıyorlar.

Verilere göz atmak ve çizgiyi aştığınız anda durmak, gerçekte hiçbir şey olmasa bile “önemli” bir sonuç elde etme şansını artırır. Aynı şey, araştırmacılar birçok sonucu veya alt grubu deneyip yalnızca işe yarayanları rapor ettiğinde de olur: Yeterince test yaparsanız, bir şey yalnızca şans eseri 0,05’i geçecektir.

Buna p-hacking denir ve araştırmacıların bunu sıklıkla yaptığına dair kanıtlar vardır.

Peki p-değerlerini bölmeli miyiz?

Bazıları öyle düşünüyor. 2019’da 800’den fazla bilim insanı, istatistiksel öneme sahip dilin kullanımdan kaldırılmasına yönelik bir çağrıyı imzaladı. En az bir dergi p-değerlerini doğrudan yasakladı.

Diğerleri, bir etkinin ne kadar büyük olabileceğini ve ne kadar kesin olarak tahmin edildiğini gösteren etki büyüklükleri ve güven aralıklarına daha fazla ağırlık verilmesini savunuyor.

Etki büyüklüğü ve güven aralıklarının vurgulanması akıllıca görünmektedir. Ancak p değerlerini hep birlikte gruplamak çok ileri gitmek olabilir.

Bir p değeri bize yararlı bir şey söyler: Gerçek bir etki olmasaydı, en azından bizimki kadar aşırı bir sonucun ne sıklıkta ortaya çıkacağı. Sorun, bunu bir hipotezin doğru olup olmadığına ya da bir bulgunun önemli olup olmadığına ilişkin bir karar olarak ele almaktır.