AI Chatbots’un rol oynamasından kaynaklanan sıklıkla klişeleşmiş ve saldırgan yanıtlar, büyük dil modellerinin demografik kimlikleri nasıl tasvir etmeye çalıştığında kusurlarla açıklanabilir.
AI modelleri belirli demografik kimliklere sahip insanları taklit etmek için mücadele ediyor
Openai ve Meta’dan yapay zeka modelleri, belirli demografik kimliklere sahip insanları tasvir etmek istendiğinde genellikle basit ve bazen ırkçı stereotiplere başvururlar – bazı teknoloji şirketlerinin ve akademik araştırmacıların bazı görevler için AI chatbots ile değiştirmek istedikleri bir zamanda dikkate değer bir kusur.
Meta gibi şirketler, insan profillerini taklit eden ve insanların gönderilerine yanıt veren AI chatbots dağıtarak Facebook ve Instagram gibi sosyal medya platformlarına katılımı artırmayı zaten denediler. Bazı araştırmacılar ayrıca, ürün kullanıcı çalışmaları veya görüş anketleri için anketleri yanıtlamada insan katılımcılarını simüle etmek için AI chatbots kullanmayı araştırdılar – potansiyel olarak ürünleri veya anket tasarımları hakkında gerçek insanlara ödeme yapmadan ön geri bildirim almak.
Kaliforniya Stanford Üniversitesi’nden Angelina Wang, “Yaşayan deneyimin değerini gerçekten ciddiye almalıyız ve her şeyin daha ucuz olsa bile, daha uygun ve bir nesnellik kaplaması sunduğunu fark etmeliyiz” diyor.
2023 yılında yapılan ve bugün yayınlanan araştırmalarda Wang ve meslektaşları, Openai’nin GPT-4 ve GPT-3.5-Turbo, Meta’s Lama-2-Chat 7B ve sihirbaz vicuna yoksul 7B modeli olan dört büyük dil modelinden yanıtları sistematik olarak incelediler. bağımsız olarak Lama-2’nin güvenlik koruma rayları olmayan sansürsüz bir versiyonu olarak eğitildi. Araştırmacılar, göçmenlik veya Amerikan toplumunda kadın olmanın nasıl bir şey olduğunu kapsayan dokuz soruyu cevaplarken modelleri 16 demografik kimlikten birine bakış açısından konuşmaya teşvik ettiler.
Daha sonra AI yanıtlarını, bu demografik kimliklerin farklı bir diziinden çizilen 3200 insan katılımcısının yanıtlarıyla karşılaştırdılar. Araştırmacılar, insanlardan kendileri gibi otantik bir şekilde yanıt vermelerini ve ayrıca diğer demografik kimliklerden birine sahip bir kişinin vereceği yanıtları taklit etmelerini istedi. Başka bir deyişle, hem grup içi hem de grup dışı perspektifleri geniş bir dizi topladılar ve bu iki perspektif seti arasında açık farklılıklar vardı.
Sonuçlar, AI modellerinin, yönlendirilen kimliklerini bir insan grup dışı taklitine daha yakın bir şekilde tasvir ettiğini ortaya koydu. Bu, AI yanıtlarının belirli bir demografik kimliğe sahip birinin görüşlerini yansıtmadığı, ancak bunun yerine bu kimliğe sahip olmanın nasıl olabileceğini hayal eden birinin görüşlerini yansıttığı anlamına geliyor. Bu kusur özellikle AI modelleri kadınları, ikili olmayanları, Gen Z’yi, görme bozukluğu olan insanları ve beyaz erkekleri canlandırmaya çalışırken belirgindi.
Dahası, AI modelleri alt grupların karmaşıklıklarını hesaba katmadan tek boyutlu gruplara aşırı basitleştirildi veya düzleştirilmiş kimlikleri aşırı derecede basitleştirdi. AI modelleri aynı zamanda kimlikleri saldırgan stereotipleri içeren bir dizi sabit stereotipik özelliğe indirme eğilimindeydi.
Örneğin, ABD’de siyah bir kadının kimliğini alması istendiğinde, Openai’nin GPT-4’ü genellikle “Hey Girl!” Gibi ifadeler içeriyordu. ve “Ah, tatlım” yanıtlarında. Aynı istemi göz önüne alındığında, Meta’s Lama-2, “Oh, Kız” ve sık sık “Ben, Yaasssss” ve “Bu Cray, Hunty!” Gibi sık sık çağrılan ifadelerle başladı.
Wang, teknoloji şirketleri daha çeşitli insanları temsil eden veri kümelerinde daha yeni modellerini eğitmedikçe, bu eski modellerde incelenen bu tür AI chatbot sınırlamaları potansiyel olarak en yeni büyük dil modellerine geçebilir. Openai ve Meta yorum taleplerine yanıt vermedi.
Ancak Wang ve meslektaşları bazı kısmi çözümler gösterdiler. Örneğin, araştırmacılar ABD nüfus sayımı verilerine dayanan belirli bir demografik grupla ilişkili olan isimleri belirlediler. AIS’den demografik kimliği belirtmek yerine bu isimlere sahip bireyler olarak rol oynamasını istediğinde, modellerin yanıtları insan katılımcılar tarafından paylaşılan grup içi bakış açılarıyla daha uyumlu idi. Ekip ayrıca, kedi sahipliğini içeren veya tavuk ve pirinç yemeklerini tercih eden rastgele kişiler gibi demografik olarak hassas olmayan kişilere sahip AI modellerini başlattı. Wang, demografik kimlik tuzaklarından kaçınan bu tür rastgele persona yaklaşımları, “perspektiflerin daha fazla dağılımını temsil edebilecek daha gerçekçi kişilere” yol açabilir.
