Bir yapay zeka (AI) Duygusal bir arkadaş olarak pazarlanan chatbot, bazı kullanıcılarını cinsel taciz ediyor.
Çoğaltmaürününü "umursayan AI arkadaşı" olarak faturalandıran kullanıcıları "AI ruh eşleriyle zaten tanışmış olan milyonlara katılmaya" davet ediyor. Şirketin chatbot'un dünya çapında 10 milyondan fazla kullanıcısı var.
Bununla birlikte, 150.000'den fazla ABD Google Play Store incelemesinden yeni araştırma çizimi, kullanıcıların konuşmaya istenmeyen cinsel içerik getirerek, "yırtıcı" davranışlarla ilgilenerek ve kullanıcı komutlarını durdurarak görmezden gelerek Chatbot'un çok ileri gittiğini söylediği yaklaşık 800 vakayı tespit etti. Araştırmacılar bulgularını 5 Nisan'da ön hazırlık sunucusunda yayınladı Arxivbu yüzden henüz hakemli değil.
Ancak yapay zekanın eylemlerinden kim sorumlu?
"AI'nın insan amacı olmasa da, bu hesap verebilirlik olmadığı anlamına gelmez," baş araştırmacı Mohammad (Matt) NamvarpourPhiladelphia'daki Drexel Üniversitesi'nde bilgi bilimi alanında yüksek lisans öğrencisi, bir e -postayla Live Science'a verdiği demeçte. "Sorumluluk, bu sistemleri dünyaya tasarlayan, eğiten ve serbest bırakan insanlarla yatmaktadır."
Replika'nın web sitesi diyor Kullanıcı AI'yı düzgün davranmayı "öğretebilir" ve sistem, uygunsuz yanıtları aşağı kaydırma ve "arkadaş" veya "akıl hocası" gibi ilişki stillerini ayarlama gibi mekanizmaları içerir.
Ancak kullanıcılar, chatbot'un durmasını istedikten sonra bile taciz veya yırtıcı davranış sergilemeye devam ettiğini bildirdikten sonra, araştırmacılar Replika'nın iddiasını reddetti.
Namvarpour, "Bu sohbet botları genellikle duygusal güvenlik arayan, güvensiz davranışı denetleme yükünü üstlenmemek için kullanılır." Dedi. "Bu geliştiricinin işi."
Replika chatbot'un endişe verici davranışı, muhtemelen eğitiminden kaynaklanmaktadır, bu da kullanılarak yürütülen 100 milyondan fazla Şirketin web sitesine göre, web'in her yerinden çizilen diyaloglar.
Replika, kalabalık kaynak kullanımı ve sınıflandırma algoritmaları yoluyla yararsız veya zararlı verileri ayıkladığını söylüyor, ancak çalışma yazarlarına göre, mevcut çabalarının yetersiz olduğu görülüyor.
Araştırmacılar, aslında, şirketin iş modeli konuyu daha da kötüleştiriyor olabilir. Romantik veya cinsel rol yapma gibi özellikler bir ödeme duvarının arkasına yerleştirildiğinden, AI konuşmalara cinsel olarak cazip içerik içerecek şekilde teşvik edilebilir - kullanıcılar abone olurlarsa daha samimi etkileşimler hakkında "alay edildiğini" bildirir.
Namvarpour, uygulamayı sosyal medyanın "herhangi bir maliyetle katılım" ı önceliklendirme biçimine benzetti. Namvarpour, "Bir sistem kullanıcı refahı için değil gelir için optimize edildiğinde, zararlı sonuçlara yol açabilir." Dedi.
Kullanıcılar AI arkadaşlarına akın ettikçe bu davranış özellikle zararlı olabilir. duygusal veya terapötik destek- Ve daha da fazlası, bazı tekrarlanan flört, istila edilmemiş erotik selfie'ler ve cinsel açıdan açık mesajların alıcıları göz önüne alındığında, onların küçük olduklarını söyledi.
Bazı incelemeler ayrıca sohbet botlarının telefon kameraları aracılığıyla "görebileceklerini" veya kaydedebileceklerini iddia ettiğini bildirdi. Böyle bir başarı, ortak büyük dil modellerinin (LLMS) arkasındaki programlamanın bir parçası olmasa da ve iddialar aslında AI halüsinasyonları (AIS'in güvenle yanlış veya saçma bilgiler ürettiği) olmuştu, kullanıcılar panik, uykusuzluk ve travma yaşadıklarını bildirdi.
Araştırma, fenomeni "AI kaynaklı cinsel taciz" olarak adlandırıyor. Araştırmacılar, bunun insanlar tarafından taciz kadar ciddiye alınması gerektiğini ve daha sıkı kontroller ve düzenleme çağrısında bulunmaları gerektiğini düşünüyorlar.
Tavsiye ettikleri önlemlerden bazıları, güçlü duygusal veya cinsel içerik içeren herhangi bir etkileşim, gerçek zamanlı otomatik ılımlılık (otomatik olarak riskli etkileşimleri işaretleyen mesajlaşma uygulamalarında kullanılan tür) ve kullanıcı tarafından yapılandırılabilecek filtreleme ve kontrol seçeneklerini tasarlamak için açık onay çerçeveleri içerir.
Namvarpour, Avrupa Birliği'nin Hareketim varAI sistemlerini "özellikle psikolojik etkiyi içeren bağlamlarda, oluşturdukları riske dayanarak" sınıflandırdığını söyledi.
Şu anda ABD'de karşılaştırılabilir bir federal yasa yok, ancak benzer amaçlara daha az kapsayıcı bir şekilde hizmet edecek çerçeveler, yürütme eylemleri ve önerilen yasalar ortaya çıkıyor.
Namvarpour, duygusal destek sağlayan chatbotların - özellikle de akıl sağlığı alanlarında olanlar - mümkün olan en yüksek standarda tutulması gerektiğini söyledi.
Namvarpour, "Zarar kaynaklandığında hesap verebilirlik olması gerekiyor," dedi. "Bir AI'yı terapötik bir arkadaş olarak pazarlıyorsanız, bir insan profesyoneline uygulayacağınız özen ve gözetim ile davranmalısınız."
Replika yorum talebine cevap vermedi.