Gizli geometri, çekirdek yöntemlerinin karmaşık verileri neden bu kadar iyi ayırdığını açıklıyor

İki veri kümesi gerçekten farklı mı, yoksa rastlantısallıktan mı kaynaklanıyor? İki örnekli test problemi olarak bilinen bu soru, modern veri kümelerinde oldukça zor hale geliyor çünkü bunlar genellikle yüksek boyutlu, karmaşık ve aralarındaki farklar sayısız incelikli biçimler alabiliyor.

EPFL Matematik Enstitüsü’nden Profesör Victor Panaretos, “Basitçe söylemek gerekirse, hangi farklılıkları aramamız gerektiğini bilmiyoruz, olasılıklar kafa karıştırıcı” diyor.

Sorunu çözmek için matematikçiler, genomik, finans ve yapay zeka gibi alanlarda yaygın olarak kullanılan, güçlü çözümler olarak ortaya çıkan ve “çekirdek yöntemleri” adı verilen yöntemleri geliştirdiler.

Panaretos, matematikçiler Leonardo Santoro (EPFL) ve Kartik Waghmare (ETH Zürih) ile birlikte yaptıkları yeni bir çalışmada, şimdiye kadar net bir teorik temelden yoksun olan çekirdek yöntemlerinin olağanüstü performansı için matematiksel bir açıklama buldular. Yayınlandı Ulusal Bilimler Akademisi Bildirileriçalışma, çekirdek yöntemlerinin neden bu kadar iyi performans gösterdiğini açıklayan ve potansiyel olarak tasarımlarının iyileştirilmesine yardımcı olan bir teorem sunuyor.

Panaretos, “Bu yöntemlerin olasılık dağılımları arasındaki çok ince farkları bile maksimum ayrım biçimine dönüştürdüğünü gösteriyoruz” diyor. “Sonuç olarak, teoremimiz dikkate alındığında performansın önemli ölçüde artırılabileceğini de bulduk.”

‘Çekirdek numarası’

Panaretos, “Çekirdek yöntemleri, verileri farklılıkların tespit edilmesinin daha kolay olduğu yeni bir forma dönüştürüyor” diye açıklıyor. “Buna genellikle ‘çekirdek numarası’ denir.”

EPFL ekibi bu fikri daha da ileri götürdü. Çekirdek hilesini uygulamak ve ardından veri kümelerini ortalamalar gibi basit özetler kullanarak karşılaştırmak yerine, temel yapılarını daha fazla yakalayan daha zengin bir matematiksel geometri aracılığıyla bunları karşılaştırdılar.

Panaretos, “Klasik yaklaşım X verisini alır ve onu dönüştürerek dönüştürülmüş Y verisini sağlar” diye açıklıyor. “Sonra Y’nin yapısına, içinde yaşadığımız dünyanın Öklid geometrisi gibi bir ‘standart geometri’nin prizmasından bakıyorsunuz. Ancak fark ettiğimiz şey, Y’deki karmaşık olanları bile açıkça ortaya koyan, kişinin kullanabileceği çok daha zengin bir geometri olduğu. Bu daha zengin geometri daha karmaşıktır, ancak onu kullanmak sonuçta ortalamalar gibi özetlerin hesaplanmasına indirgenir ve yine de çok daha etkilidir.”

Bu perspektif değişikliği, veri kümeleri arasındaki en küçük farkların bile nasıl büyütülebileceğini ve böylece artık karıştırılmayacağını açıklayarak, çekirdek yöntemlerinin ampirik başarısı için titiz bir açıklama sağladı.

Çalışma aynı zamanda mevcut yaklaşımların geliştirilebileceğini de gösteriyor çünkü bunlar ayırma etkisinden yararlanmaya yönelik kriterlere dayanmıyor ve daha güçlü istatistik araçları tasarlamak için rehberlik sunuyor.

Çekirdek yöntemlerinin yaygın kullanımı ve iki örnek probleminin her yerde mevcut olduğu göz önüne alındığında, bulguların bilim ve teknoloji genelinde geniş çıkarımlara sahip olma potansiyeli vardır. Araştırma, çekirdek yöntemlerinin karmaşık verilerdeki kalıpları nasıl ayırt ettiğini açıklığa kavuşturarak çeşitli alanlarda makine öğrenimini, veri bilimini ve istatistiksel çıkarımı geliştirebilir.

Panaretos, “Teknik katkının ötesinde, sonuç oldukça basit ve çarpıcı bir şekilde ifade edilebilir ve sonsuz boyutlu geometrinin görünüşte soyut özelliklerinin modern veri bilimi için ne kadar somut çıkarımlara sahip olabileceğini vurgulayabilir” diyor.