Bir AI sohbet robotuyla konuşurken kısa ve öz ve resmi olmayan bir tavır takınıyor musunuz? Eğer öyleyse, daha resmi bir dil kullanmanıza kıyasla daha kötü yanıtlar alıyor olabilirsiniz
Bir chatbotla konuşma şekliniz düşündüğünüzden daha önemli olabilir
Çoğu insanın yaptığı gibi, bir yapay zeka sohbet robotuyla daha az resmi bir dille konuşmak, yanıtlarının doğruluğunu azaltır; bu da ya bir sohbet robotu kullanırken dil açısından daha katı olmamız gerektiğini ya da yapay zekaların resmi olmayanlığa daha iyi uyum sağlamak için eğitilmeleri gerektiğini düşündürür.
Amazon’dan Fulei Zhang ve Zhou Yu, büyük bir dil modeli (LLM) tarafından desteklenen bir sohbet robotu asistanıyla karşılaştırıldığında insanların insan temsilcilerle nasıl konuşmaya başladıklarını inceledi. Konuşmaları çeşitli faktörlere göre puanlamak için Claude 3.5 Sonnet modelini kullandılar ve sohbet robotlarıyla etkileşimde bulunan kişilerin, insanlara hitap ederken olduğundan daha az doğru dil bilgisi kullandıklarını ve daha az kibar olduklarını buldular. Ayrıca biraz daha dar bir kelime dağarcığı kullandılar.
Örneğin, Claude’dan türetilen puanlara göre insandan insana etkileşim, sohbet robotlarıyla yapılan görüşmelere göre yüzde 14,5 daha kibar ve resmi, yüzde 5,3 daha akıcı ve yüzde 1,4 daha fazla sözcük çeşitliliğine sahip.
Röportaj talebine yanıt vermeyen yazarlar, çalışma hakkında bir makale yazdılar: “Kullanıcılar, insan-LLM konuşmalarında dil tarzlarını uyarlayarak daha kısa, daha doğrudan, daha az resmi ve dilbilgisi açısından daha basit mesajlar üretiyorlar.” “Bu davranış muhtemelen kullanıcıların LLM chatbot(lar)ına ilişkin zihinsel modelleri tarafından sosyal açıdan daha az hassas veya daha az incelikli yorumlama yeteneğiyle şekilleniyor.”
Ancak bu kayıt dışılığın bir dezavantajı olduğu ortaya çıktı. İkinci bir değerlendirmede araştırmacılar, Mistral 7B adlı bir yapay zeka modelini 13.000 gerçek dünya insan-insan konuşması üzerinde eğitti ve bunu, yapay zeka sohbet robotlarına gönderilen 1357 gerçek dünya mesajını yorumlamak için kullandı. Her iki veri kümesindeki her konuşmaya, sınırlı bir listeden alınan bir “niyet” ile açıklama eklediler ve kullanıcının her durumda ne yapmaya çalıştığını özetlediler. Ancak Mistral yapay zeka, insandan insana konuşmalar konusunda eğitildiğinden ikili, yapay zekanın, chatbot konuşmalarının amacını doğru bir şekilde etiketlemekte zorlandığını keşfetti.
Zhang ve Yu daha sonra Mistral AI’nın anlayışını geliştirmek için çeşitli stratejiler denediler. İlk olarak, kullanıcıların daha kısa mesajlarını insan benzeri düzyazıya yeniden yazmak için Claude AI’yı kullandılar ve bunları Mistral modeline ince ayar yapmak için kullandılar. Bu, amaç etiketlerinin doğruluğunu, varsayılan yanıtlara kıyasla yüzde 1,9 oranında azalttı.
Daha sonra, daha kısa ve daha net olan “minimal” bir yeniden yazım sağlamak için Claude’u kullandılar (örneğin, yaklaşan bir seyahat için seyahat ve konaklama seçenekleri hakkında soru sormak için “gelecek ay paris. uçuş otelleri?”) ancak bu, Mistral’in doğruluğunu yüzde 2,6 oranında azalttı. Daha resmi ve çeşitli bir dille “zenginleştirilmiş” alternatif bir yeniden yazım da doğrulukta yüzde 1,8 oranında düşüşe neden oldu. Mistral modelini hem minimal hem de zenginleştirilmiş yeniden yazmalar üzerinde eğiterek performansın yüzde 2,9 oranında arttığını gördüler.
Massachusetts’teki Bentley Üniversitesi’nden Noah Giansiracusa, insanların robotlarla insanlarla konuştuklarından farklı konuşmalarına şaşırmadığını ancak bunun mutlaka kaçınılması gereken bir şey olmadığını söylüyor.
Giansiracusa, “İnsanların chatbot’larla diğer insanlarla olduğundan farklı iletişim kurduğu bulgusu, cazip bir şekilde chatbot’un bir eksikliği olarak çerçeveleniyor; ancak ben bunun böyle olmadığını, insanların botlarla konuştuklarını bilmelerinin ve davranışlarını buna göre uyarlamalarının iyi olduğunu savunuyorum” diyor. “Bunun, takıntılı bir şekilde insan ile robot arasındaki uçurumu ortadan kaldırmaya çalışmaktan daha sağlıklı olduğunu düşünüyorum.”
