Dil modelleri artık doğa bilimlerinde de kullanılıyor. Kimyada, örneğin yeni biyolojik olarak aktif bileşikleri tahmin etmek için kullanılırlar. Kimyasal dil modelleri (CLM’ler) kapsamlı bir şekilde eğitilmelidir. Ancak eğitim sırasında mutlaka biyokimyasal ilişkilere ilişkin bilgi edinmeleri gerekmez. Bunun yerine, Bonn Üniversitesi tarafından yakın zamanda yapılan bir çalışmanın gösterdiği gibi, benzerliklere ve istatistiksel korelasyonlara dayalı sonuçlar çıkarıyorlar. Sonuçlar artık dergide yayınlandı Desenler.
Büyük dil modelleri, ister matematik teoremlerini kanıtlamak, ister müzik bestelemek, ister reklam sloganları hazırlamak olsun, yaptıkları işte genellikle şaşırtıcı derecede iyidirler. Peki sonuçlarına nasıl ulaşıyorlar? Bir senfoninin ya da iyi bir şakanın nelerden oluştuğunu gerçekten anlıyorlar mı? Bu soruyu cevaplamak o kadar kolay değil. Prof. Dr. Jürgen Bajorath, “Tüm dil modelleri bir kara kutudur” diye vurguluyor. “Mecazi anlamda konuşursak, kafalarının içine bakmak zor.”
Yine de, Bonn Üniversitesi Lamarr Makine Öğrenimi ve Yapay Zeka Enstitüsü’nde keminformatik bilimcisi olan Bajorath, tam da bunu yapmaya çalıştı. Kendisi ve ekibi özellikle yapay zeka algoritmasının özel bir formuna odaklandı: Transformatör CLM.
Bu model, ChatGPT, Google Gemini ve Elon Musk’un büyük miktarlarda metin kullanılarak eğitilen ve bağımsız olarak cümleler oluşturmalarını sağlayan “Grok” ile benzer şekilde çalışıyor. Öte yandan CLM’ler genellikle çok daha az veriye dayanır. Bilgilerini moleküler temsillerden ve ilişkilerden, örneğin SMILES dizilerinden elde ederler. Bunlar, molekülleri ve yapılarını bir dizi harf ve sembol olarak temsil eden karakter dizileridir.
Eğitim verilerinin sistematik manipülasyonu
Farmasötik araştırmalarda bilim insanları sıklıkla belirli enzimleri inhibe edebilen veya reseptörleri bloke edebilen maddeleri tanımlamaya çalışırlar. CLM’ler, hedef proteinlerin amino asit dizilerine dayalı olarak aktif molekülleri tahmin etmek için kullanılabilir. Bajorath ile çalışan doktora öğrencisi Jannik Roth, “Transformatörlerin tahminlerine nasıl ulaştıklarını daha iyi anlamak için dizi bazlı moleküler tasarımı bir test sistemi olarak kullandık” diye açıklıyor.
“Eğitim aşamasından sonra, böyle bir modele yeni bir enzim katarsanız, onu engelleyebilecek bir bileşik üretebilir. Peki bu, yapay zekanın bu tür bir engellemenin ardındaki biyokimyasal prensipleri öğrendiği anlamına mı gelir?”
CLM’ler, hedef proteinlerin amino asit dizileri çiftleri ve bunların bilinen aktif bileşikleri kullanılarak eğitilir. Araştırma sorularını yanıtlamak için bilim insanları eğitim verilerini sistematik olarak değiştirdiler.
Bajorath, “Örneğin, başlangıçta yalnızca modele özgü enzim ailelerini ve bunların inhibitörlerini besledik” diye açıklıyor. “Daha sonra test amacıyla aynı aileden yeni bir enzim kullandığımızda, algoritma aslında makul bir inhibitör önerdi.”
Ancak araştırmacılar testte farklı bir aileye ait, yani vücutta farklı bir işlev gerçekleştiren bir enzim kullandığında durum farklıydı. Bu durumda CLM aktif bileşikleri doğru şekilde tahmin edemedi.
İstatistiksel temel kural
Bilim adamı, “Bu, modelin genel olarak uygulanabilir kimyasal prensipleri, yani enzim inhibisyonunun genellikle kimyasal olarak nasıl çalıştığını öğrenmediğini gösteriyor” diyor. Bunun yerine öneriler yalnızca istatistiksel korelasyonlara, yani verilerdeki kalıplara dayanmaktadır. Örneğin yeni enzim bir eğitim dizisine benziyorsa benzer bir inhibitör muhtemelen aktif olacaktır. Başka bir deyişle, benzer enzimler benzer bileşiklerle etkileşime girme eğilimindedir.
Lamarr Enstitüsü’nde “Yaşam Bilimleri ve Sağlıkta Yapay Zeka” alanını yöneten Bajorath, “İstatistiksel olarak tespit edilebilir benzerliğe dayanan böyle bir genel kural mutlaka kötü bir şey değildir” diyor. “Sonuçta, mevcut aktif maddeler için yeni uygulamaların belirlenmesine de yardımcı olabilir.”
Ancak çalışmada kullanılan modeller benzerlikleri tahmin ederken biyokimyasal bilgiden yoksundu. Enzimlerin (veya reseptörlerin ve diğer proteinlerin) amino asit dizilerinin %50 ila %60’ı ile eşleşmesi durumunda benzer olduğunu düşündüler ve buna göre benzer inhibitörleri önerdiler. Araştırmacılar, yeterli miktarda orijinal amino asit korunduğu sürece dizileri istedikleri gibi rastgele düzenleyebilir ve karıştırabilirler.
Ancak çoğu zaman bir enzimin görevini yerine getirebilmesi için yalnızca çok spesifik kısımları gereklidir. Böyle bir bölgedeki tek bir amino asit değişikliği, enzimi işlevsiz hale getirebilir. Diğer alanlar yapısal bütünlük açısından daha önemlidir ve belirli işlevlerle daha az ilgilidir. Bajorath, “Eğitimleri sırasında modeller, işlevsel açıdan önemli ve önemsiz dizi parçaları arasında ayrım yapmayı öğrenmediler” diyor.
Modeller daha önce okuduklarını tekrarlıyor
Bu nedenle çalışmanın sonuçları, dizi bazlı bileşik tasarımı için eğitilmiş transformatör CLM’lerinin, en azından bu test sistemi için, daha derin bir kimyasal anlayıştan yoksun olduğunu göstermektedir. Başka bir deyişle, benzer bir bağlamda zaten bir noktada yakalamış oldukları şeyleri küçük değişikliklerle özetlemekle yetiniyorlar.
Bajorath, “Bu, bunların ilaç araştırmaları için uygun olmadığı anlamına gelmiyor” diyor. “Belirli reseptörleri bloke eden veya enzimleri inhibe eden ilaçları önermeleri oldukça olası.”
Ancak bunun nedeni kesinlikle kimyayı çok iyi anlamaları değil, metin tabanlı moleküler temsillerdeki benzerlikleri ve bizden gizlenen istatistiksel korelasyonları fark etmeleridir. Bu onların sonuçlarını gözden düşürmez. Ancak bunların aşırı yorumlanmaması da gerekir.
