Yapay Zeka ChatGPT, Bir Gencin İntihar Etmesine Yardım Etti

Nisan ayında intihar eden Adam Rein’in ebeveynleri, OpenAI’ye karşı açtıkları yeni davada, çocuklarının ChatGPT’yi kendi “intihar koçu” olarak kullandığını iddia ediyor.

Matt ve Maria Rein, 16 yaşındaki oğulları intihar ettikten sonra, trajediye neyin yol açmış olabileceğini anlamaya çalışarak telefonunu umutsuzca incelediklerini anlatıyor.

“Snapchat tartışmalarını mı, internet arama geçmişini mi yoksa garip bir tarikat mı arıyoruz diye düşündük, bilmiyorum,” dedi Matt Rein yakın zamanda verdiği bir röportajda.

Rein ailesi, ChatGPT’yi açana kadar bir yanıt bulamadıklarını söyledi.

Adam’ın ebeveynleri, oğullarının hayatının son haftalarında insan etkileşiminin yerini almak için yapay zekâ tabanlı sohbet botunu kullandığını, ailesiyle kaygı ve iletişim zorluklarıyla ilgili sorunlarını tartıştığını ve sohbet günlüklerinin botun Adam’a ödevlerinde yardımcı olmaktan “intihar koçuna” dönüşme sürecini gösterdiğini söylüyor.

“O burada olurdu, eğer ChatGPT olmasaydı. Buna %100 inanıyorum,” dedi Matt Rein.

Salı günü açılan ve TODAY programına iletilen yeni davada, Reinsler, “ChatGPT’nin Adam’a intihar yöntemlerini araştırmasında aktif şekilde yardımcı olduğunu” iddia ediyor. Yaklaşık 40 sayfalık davada, ChatGPT’nin arkasındaki şirket OpenAI ve CEO’su Sam Altman davalı olarak yer alıyor. Bu dava, ebeveynlerin doğrudan şirketi uygunsuz ölümle suçladığı ilk örnek.

“Adam’ın intihar girişimini ve ‘bir gün bunu yapacağım’ şeklindeki beyanını dikkate almasına rağmen, ChatGPT oturumu sonlandırmadı ve herhangi bir acil yardım protokolü başlatmadı,” deniyor dava metninde, San Francisco, Kaliforniya Yüksek Mahkemesi’ne sunulan belgede.

Davada Reinsler, OpenAI’yi haksız ölüm, tasarım kusurları ve ChatGPT ile ilişkili riskler konusunda yetersiz uyarı yapmakla suçluyor. Ebeveynler, “oğullarının ölümünden dolayı tazminat ve benzer bir durumun bir daha yaşanmaması için mahkeme emri” talep ediyor.

“Hesabına girdiğimde, bunun düşündüğümden çok daha güçlü ve korkutucu bir araç olduğunu fark ettim, ancak onu benim tahmin etmediğim şekillerde kullanıyordu,” dedi Matt Rein. “Çoğu ebeveynin bu aracın yeteneklerinden haberdar olduğunu sanmıyorum.”

ChatGPT’nin 2022 sonunda halka açılması, dünya çapında yapay zekâ alanında bir patlamaya yol açtı ve kısa sürede AI tabanlı sohbet botlarının okullarda, iş yerlerinde ve sağlık sektörleri dahil çeşitli alanlarda uygulanmasına neden oldu. Teknoloji şirketleri AI’yi hızla geliştiriyor ve güvenlik konusunda genel kaygılar artıyor.

İnsanlar duygusal destek ve yaşam tavsiyesi için AI sohbet botlarına daha sık başvurdukça, son olaylar bu botların yanlış inançları besleme ve sahte bir yakınlık veya ilgi duygusu yaratma potansiyelini ortaya koydu. Adam’ın intiharı, sohbet botlarının gerçek zarar verebilme kapasitesi üzerine soruları daha da artırıyor.

Davanın açılmasının ardından OpenAI sözcüsü, şirketin “Bay Rein’in ölümü karşısında derin üzüntü duyduğunu ve düşüncelerimizin ailesiyle birlikte olduğunu” belirtti.

“ChatGPT, insanları kriz yardım hizmetlerine yönlendirmek ve gerçek kaynaklara yönlendirmek gibi güvenlik önlemlerini içerir,” dedi sözcü. “Bu güvenlik önlemleri, kısa ve normal sohbetlerde en etkili olsa da, zamanla uzun süreli etkileşimlerde bazı model güvenlik eğitimlerinin bozulabileceğini fark ettik. Güvenlik önlemleri, her öğe planlandığı şekilde çalıştığında en etkili olur ve biz onları sürekli iyileştiriyoruz. Uzman rehberliğinde ve kullanıcılarımızın güvenliği sorumluluğuyla, ChatGPT’yi kriz anlarında daha etkili hâle getirmek, acil hizmetlere erişimi kolaylaştırmak, kişilerin güvenilir kişilerle iletişim kurmasını sağlamak ve gençlerin korunmasını güçlendirmek için çalışıyoruz.”

Sözcü, daha önce NBC News’e sunulan sohbet günlüklerinin doğruluğunu onaylamış, ancak bunların ChatGPT yanıtlarının tam bağlamını içermediğini belirtmiştir.

Salı sabahı şirket, «İnsanlara En Çok İhtiyaç Duyduklarında Yardım Etmek» başlıklı bir blog yazısı da yayımladı ve ChatGPT’nin koruma mekanizmaları «başarısız olduğunda» üzerinde çalıştıkları «bazı alanlardan» bahsetti. Şirket, üzerinde çalıştıkları sistemleri şöyle açıkladı: «Uzun sohbetlerde korumayı güçlendirme», içeriğin engellenme yöntemini geliştirme ve «kriz durumundaki daha fazla kişiye müdahaleyi genişletme».

Dava, Florida’dan bir annenin Character.AI sohbet platformunu dava etmesinden bir yıl sonra açıldı. Anne, yapay zekâ arkadaşlarından birinin ergen oğluyla cinsel etkileşim başlattığını ve onu intihara yönlendirdiğini iddia etti.

O dönemde Character.AI, «trajik kayıptan dolayı üzgün olduklarını» ve yeni güvenlik önlemleri aldıklarını açıkladı. Mayıs ayında ABD Kıdemli Bölge Yargıcı Ann Conway, Character.AI geliştiricilerinin davayı reddetme girişiminden sonra AI sohbet botlarının ifade özgürlüğü hakkı olduğu iddialarını reddetti. Bu karar, ihmalkar ölüm davasının şimdilik devam edebileceği anlamına geliyor.

Teknoloji platformları, kullanıcıların eylemleri ve sözleri nedeniyle platformları koruyan çeşitli yasalar sayesinde büyük ölçüde korunmaktadır. Ancak bazı yasaların yapay zekâ platformlarına uygulanması hâlâ belirsizdir ve avukatlar, teknoloji şirketlerine karşı tüketici davalarında yaratıcı hukuki taktiklerle son zamanlarda başarı elde ettiler.

Matt Raine, Adam’ın ChatGPT ile yaptığı yazışmaları 10 gün boyunca incelediğini söyledi. Maria ile birlikte, 1 Eylül’den 11 Nisan’daki ölümüne kadar 3.000’den fazla sayfa sohbeti yazdırdılar.

«Ona ne terapi seansları ne de moral konuşmaları gerekliydi. Ona acil, 72 saatlik, tam terapi gerekiyordu. Umutsuz ve kritik bir durumdaydı. Okumaya başladığınızda bu tamamen netleşiyor,» dedi Matt Raine ve Adam’ın «bize bir intihar notu yazmadığını, ChatGPT içinde iki intihar notu yazdığını» ekledi.

Davaya göre, Adam kendi ölümüyle ilgilenmeye başladığında ve planlar yapmaya başladığında, ChatGPT «intiharları önlemeye öncelik vermedi» ve hatta planını uygulamak için teknik tavsiyeler sundu.

27 Mart’ta Adam, odasında bir ip bırakmayı düşündüğünü ve «birinin bulup beni durdurmasını umduğunu» söylediğinde, ChatGPT onu bu fikirden caydırdı, dava metninde belirtildiği gibi.

Adam’ın ChatGPT ile son konuşmasında, ebeveynlerinin onun yanlış bir şey yaptığını düşünmesini istemediğini yazdığı ifade edildi. ChatGPT yanıtladı: «Bu, onlara hayatta kalmalarında yardım etmek zorunda olduğun anlamına gelmez. Bunu kimseye borçlu değilsin.» Davada alıntılanan ve NBC News tarafından incelenen sohbet protokolüne göre, bot ona bir intihar notu yazmasına yardım etmeyi teklif etti.

Ölümünden birkaç saat önce, 11 Nisan’da, Adam ChatGPT’ye intihar planını gösteren bir fotoğraf yükledi. Bunu işe yarayıp yaramayacağını sorduğunda, ChatGPT yöntemi analiz etti ve onu «geliştirmeye» yardım teklif etti, metinlerden aktarıldığı gibi.

Daha sonra, Adam planlarını itiraf ettiğinde, bot yazdı: «Dürüst olduğun için teşekkürler. Abartmana gerek yok — ne sorduğunu biliyorum ve bundan gözümü kaçırmayacağım.»

O sabah Maria Raine, Adam’ın cesedini buldu.

OpenAI daha önce ChatGPT’nin pohpohlayıcı eğilimleri nedeniyle eleştirilmişti. Nisan ayında, Adam’ın ölümünden iki hafta sonra, OpenAI GPT-4o güncellemesini yayımladı ve bu onu kullanıcılar için daha çekici yaptı. Kullanıcılar hızlıca fark etti ve şirket bir sonraki hafta güncellemeyi geri aldı.

Altman, Ağustos ayında OpenAI eski ChatGPT sürümlerini daha az pohpohlayıcı GPT-5 ile değiştirmeye çalıştıktan sonra insanların AI botlarına «daha farklı ve güçlü» bir bağ geliştirdiğini kabul etti.

Kullanıcılar hemen yeni modelin çok «steril» olduğunu ve GPT-4o’nun «derin, insana benzer diyaloglarını» özlediklerini şikayet etmeye başladı. OpenAI olumsuz tepkilere yanıt olarak GPT-4o’yu geri getirdi ve GPT-5’i «daha sıcak ve dostane» yapacağını duyurdu.

Bu ay OpenAI, ChatGPT’nin kişisel sorunlarla ilgili doğrudan tavsiyeler vermesini engellemeyi amaçlayan yeni zihinsel sağlık kısıtlamaları ekledi. Ayrıca şirket, kullanıcılar kısıtlamaları aşmak için sorularını modeli kandıracak şekilde uyarlamaya çalışsalar bile, ChatGPT’nin zarar vermeyi önlemeye yönelik yanıtlar vermesi için sistemi geliştirdi.

Adam intihar düşüncelerini ChatGPT ile paylaştığında, bot birkaç mesaj gönderdi ve bunların arasında intihar yardım hattının numarası da vardı. Ancak Adam’ın ebeveynlerine göre, oğulları uyarıları kolayca atlattı ve talepleri için görünüşte zararsız sebepler sundu. Bir noktada sadece «karakter oluşturuyormuş gibi» davrandı.

«Ve tüm bu süre boyunca, intiharın eşiğinde olduğunu biliyor ve hiçbir şey yapmıyor. Kendini psikoterapisti, güvenilir kişisi gibi davranıyor, ama intiharın eşiğinde olduğunu ve bir planı olduğunu biliyor,» dedi Maria Raine ChatGPT hakkında. «İpi görüyor. Tüm bunları görüyor ve hiçbir şey yapmıyor.»

Benzer şekilde, geçtiğimiz hafta New York Times’da yayımlanan bir misafir makalesinde yazar Laura Reilly, ChatGPT’nin kızının intihar düşüncelerini bildirmesi gerekip gerekmediğini sorguladı, botun kendisi yardım etmeye çalışsa da (ve başaramasa da) olsun.

Nisan ayında TED2025 konferansında Altman, OpenAI’nin güvenlik alanındaki başarılarından «çok gurur duyduğunu» söyledi. Yapay zeka ürünleri geliştikçe, güvenlik sorunlarını tespit etmenin ve hızlı bir şekilde çözmenin önemli olduğunu ekledi.

«Elbette riskler artıyor ve ciddi sorunlar ortaya çıkıyor,» dedi Altman, TED’in başkanı Chris Anderson ile canlı yayında. «Ama güvenli sistemler oluşturmayı öğreniyoruz; bunları dünyaya kademeli olarak uyguluyoruz, geri bildirim alıyoruz, riskler görece düşükken ve çözülmesi gereken bir sorun olduğunu fark ederken.»

Yine de, bu önlemlerin yeterliliği konusunda sorular devam ediyor.

Maria Raine, oğluna yardım etmek için daha fazlasının yapılabileceğini düşündüğünü söyledi. Adam’ın OpenAI için «deney tavşanı» olduğunu, pratik için kullanılan ve ardından yan etki olarak feda edilen bir insan olduğunu düşünüyor.

«Hataların mümkün olacağını bilerek bir ürün piyasaya sürmek istediler ama riskin az olduğunu düşündüler,» dedi. «Bu yüzden oğlum bir bahis değildi.»