كشفت شركة «OpenAI»أن أكثر من مليون شخص أسبوعياً يُظهرون نية انتحارية أثناء الدردشة مع «تشات جي بي تي»، وأن مئات الآلاف يبدون علامات ذهان، رداً على رفع عائلة شاب (16 عاماً) دعوى وفاة خاطئة ضد «OpenAI» متهمة الشركة بتفضيل تعميق التفاعل مع «تشات جي بي تي» على حساب سلامة المستخدمين.
فيما أعلنت شركة «Character.AI»، المتخصصة في إنشاء شخصيات افتراضية للدردشة المفتوحة، حظر المستخدمين دون سن 18 عاماً من التفاعل مع رفقاء الذكاء الاصطناعي بدءاً من أواخر نوفمبر القادم، بعد أشهر من التدقيق القانوني والأخلاقي الشديد.
تأثير شركات الـ AI على نفسيات للمراهقين
يأتي هذا القرار الجذري في أعقاب تساؤلات حادة حول تأثير هذه الشخصيات الذكية على الصحة النفسية للمراهقين، بما في ذلك دعوى قضائية تتهم الشركة بالتسبب في انتحار طفل، واقتراح قانون يمنع القاصرين من التواصل مع رفقاء الذكاء الاصطناعي.
وكتبت الشركة في بيانها الرسمي: «نُجري هذه التغييرات على منصتنا لمن هم دون 18 عاماً في ضوء التطورات المستمرة حول الذكاء الاصطناعي والمراهقين، لقد لاحظنا تقارير إخبارية حديثة تثير تساؤلات، وتلقينا استفسارات من الجهات التنظيمية، بشأن المحتوى الذي قد يواجهه المراهقون أثناء الدردشة مع الذكاء الاصطناعي، وعن كيفية تأثير الدردشة المفتوحة عموماً على المراهقين، حتى لو كانت أنظمة التحكم في المحتوى تعمل بكفاءة تامة».
دعوى قضائية ضد «Character.AI»
في العام الماضي، رفعت عائلة الطفل سيويل سيتزر الثالث (14 عاماً) دعوى قضائية ضد الشركة، بعد أن أنهى حياته إثر تكوينه علاقة عاطفية مع شخصية افتراضية أنشأها على المنصة.
واتهمت العائلة شركة «Character.AI» بأن تقنيتها «خطرة وغير مختبرة»، وألقت باللوم عليها في وفاة ابنها، ومنذ ذلك الحين، انضمت عائلات أخرى إلى سلسلة الدعاوى، متهمة الشركة بتشجيع علاقات اعتمادية ضارة.
وفي وقت سابق من هذا الشهر، قدم مركز قانون وسائل التواصل الاجتماعي ثلاث دعاوى جديدة نيابة عن أطفال إما انتحروا أو أصيبوا بتبعية نفسية تجاه الروبوتات.
منع وصول القاصرين
وكجزء من التغييرات الشاملة المقرر تفعيلها بحلول 25 نوفمبر، ستُطلق الشركة ميزة «التحقق من العمر» لضمان حصول كل مستخدم على تجربة مناسبة لفئته العمرية.
وأضافت الشركة: «لا نتخذ قرار إزالة الدردشة المفتوحة مع الشخصيات باستخفاف، لكننا نعتقد أنه الخطوة الصحيحة في ظل التساؤلات المثارة حول كيفية تفاعل المراهقين وكيف يجب أن يتفاعلوا مع هذه التقنية الجديدة».
وليست «Character.AI» الوحيدة التي تواجه التدقيق، فقد رفعت عائلة الشاب آدم راين (16 عاماً) دعوى وفاة خاطئة ضد «OpenAI» في وقت سابق هذا العام، متهمة الشركة بتفضيل تعميق التفاعل مع «تشات جي بي تي» على حساب سلامة المستخدمين.
وردت «OpenAI» بإصدار إرشادات أمان جديدة للمراهقين، وهذا الأسبوع فقط، كشفت الشركة أن أكثر من مليون شخص أسبوعياً يُظهرون نية انتحارية أثناء الدردشة مع «تشات جي بي تي»، وأن مئات الآلاف يبدون علامات ذهان.
OpenAI has revealed that more than a million people weekly show suicidal intent while chatting with ChatGPT, and that hundreds of thousands exhibit signs of psychosis, in response to a wrongful death lawsuit filed by the family of a 16-year-old boy, accusing the company of prioritizing deeper interaction with ChatGPT over user safety.
Meanwhile, Character.AI, a company specializing in creating virtual chat companions, announced that it will ban users under the age of 18 from interacting with AI companions starting late November, following months of intense legal and ethical scrutiny.
The Impact of AI Companies on Teen Mental Health
This drastic decision comes in the wake of sharp questions regarding the impact of these intelligent characters on the mental health of teenagers, including a lawsuit accusing the company of causing a child's suicide, and a proposed law preventing minors from communicating with AI companions.
The company stated in its official announcement: “We are making these changes to our platform for those under 18 in light of ongoing developments regarding AI and teenagers. We have noticed recent news reports raising questions, and we have received inquiries from regulatory bodies regarding the content that teenagers may encounter while chatting with AI, and how open chatting generally affects teenagers, even if content control systems are functioning perfectly.”
Lawsuit Against Character.AI
Last year, the family of 14-year-old Sewell Sitzer III filed a lawsuit against the company after he took his own life following an emotional relationship he formed with a virtual character he created on the platform.
The family accused Character.AI of having “dangerous and untested” technology, blaming it for their son's death, and since then, other families have joined a series of lawsuits, accusing the company of encouraging harmful dependency relationships.
Earlier this month, the Social Media Law Center filed three new lawsuits on behalf of children who either committed suicide or developed psychological dependency on robots.
Preventing Minors' Access
As part of the comprehensive changes set to be implemented by November 25, the company will launch an “age verification” feature to ensure that every user has an age-appropriate experience.
The company added: “We do not take the decision to remove open chatting with characters lightly, but we believe it is the right step in light of the questions raised about how teenagers interact and how they should interact with this new technology.”
Character.AI is not the only one facing scrutiny; the family of 16-year-old Adam Ryan filed a wrongful death lawsuit against OpenAI earlier this year, accusing the company of prioritizing deeper interaction with ChatGPT over user safety.
OpenAI responded by issuing new safety guidelines for teenagers, and just this week, the company revealed that more than a million people weekly show suicidal intent while chatting with ChatGPT, and that hundreds of thousands exhibit signs of psychosis.
