أعلنت شركة ميتا مجموعة من التحديثات الجديدة لتعزيز حماية المراهقين أثناء استخدام تقنيات الذكاء الاصطناعي على منصاتها، عبر نظام قادر على رصد المحادثات التي قد تتضمن مؤشرات على إيذاء النفس أو التفكير في الانتحار، وإبلاغ أولياء الأمور في الحالات التي تستدعي التدخل.
وتعتمد الميزة الجديدة على تحليل المحادثات التي يجريها المراهقون مع روبوت الدردشة المدعوم بالذكاء الاصطناعي، حيث يرسل النظام إشعارًا فوريًا إلى أولياء الأمور إذا كان المستخدم يمتلك حسابًا مرتبطًا بأدوات الرقابة الأبوية على تطبيق إنستغرام، ورصد إشارات لغوية قد تدل على وجود خطر.
وأكدت «ميتا» أن النظام جرى تطويره بالتعاون مع خبراء في الصحة النفسية وأولياء أمور، بهدف تحسين قدرته على اكتشاف العبارات والتلميحات غير المباشرة التي قد تشير إلى نية إيذاء النفس، وعدم الاكتفاء بالكلمات الصريحة فقط.
وأوضحت الشركة أن جميع الحالات التي يرصدها الذكاء الاصطناعي ستخضع لمراجعة بشرية قبل اتخاذ أي إجراء، لكنها ستُرسل التنبيهات إلى أولياء الأمور حتى في الحالات غير الواضحة كإجراء احترازي، مع اعترافها بأن ذلك قد يؤدي إلى بعض الإنذارات الخاطئة، مؤكدة أن النظام سيخضع للتطوير المستمر لتحسين دقته وتقليل الأخطاء.
وفي خطوة إضافية لتعزيز السلامة الرقمية، كشفت «ميتا» أنها تعمل على تطوير أداة تتيح التواصل المباشر مع خدمات الطوارئ إذا اكتشف النظام أن المستخدم يواجه خطرًا وشيكًا قد يهدد حياته، وهي آلية تستخدمها الشركة بالفعل عند رصد منشورات مماثلة على منصتي فيسبوك وإنستغرام.
ويمثل التحديث توسعًا في سياسات «ميتا» الخاصة بحماية المراهقين، إذ لم تعد الرقابة تقتصر على عمليات البحث عن الكلمات أو المصطلحات الخطرة، بل أصبحت تشمل أيضًا المحادثات مع روبوتات الذكاء الاصطناعي عبر إنستغرام وواتساب، بما يتيح استجابة أسرع للمواقف التي قد تنطوي على مخاطر حقيقية.
وشهدت شركات التكنولوجيا خلال العامين الماضيين ضغوطًا متزايدة من الحكومات والجهات التنظيمية ومنظمات حماية الطفل، لتشديد إجراءات السلامة على المنصات الرقمية، خصوصاً مع الانتشار الواسع لتطبيقات الذكاء الاصطناعي التفاعلي بين الأطفال والمراهقين.
وفي هذا السياق، أطلقت «ميتا» سلسلة من الإجراءات لحماية المستخدمين صغار السن، شملت إنشاء حسابات المراهقين بإعدادات خصوصية أكثر صرامة، والحد من تواصل الغرباء معهم، وتقليل ظهور المحتوى الحساس، إلى جانب توسيع أدوات الرقابة الأبوية التي تتيح للآباء متابعة بعض جوانب استخدام أبنائهم للتطبيقات دون الاطلاع على محتوى المحادثات الخاصة.
ويحذر خبراء الصحة النفسية من أن الذكاء الاصطناعي قد يصبح أحياناً أول جهة يلجأ إليها بعض المراهقين للتعبير عن مشاعرهم أو أزماتهم النفسية، وهو ما يدفع شركات التكنولوجيا إلى تطوير أنظمة قادرة على اكتشاف مؤشرات الخطر مبكراً، مع تحقيق توازن بين حماية المستخدمين والحفاظ على خصوصيتهم.
Meta has announced a series of new updates to enhance the protection of teenagers while using artificial intelligence technologies on its platforms, through a system capable of monitoring conversations that may include indicators of self-harm or suicidal thoughts, and notifying parents in cases that require intervention.
The new feature relies on analyzing conversations that teenagers have with the AI-powered chatbots, where the system sends an instant notification to parents if the user has an account linked to parental control tools on Instagram, and detects linguistic signals that may indicate danger.
Meta confirmed that the system was developed in collaboration with mental health experts and parents, aiming to improve its ability to detect phrases and indirect hints that may suggest an intention to self-harm, rather than relying solely on explicit words.
The company explained that all cases detected by the AI will undergo human review before any action is taken, but alerts will be sent to parents even in unclear cases as a precautionary measure, acknowledging that this may lead to some false alarms, while assuring that the system will undergo continuous development to improve its accuracy and reduce errors.
In an additional step to enhance digital safety, Meta revealed that it is working on developing a tool that allows direct communication with emergency services if the system detects that the user is facing an imminent threat to their life, a mechanism that the company already uses when detecting similar posts on Facebook and Instagram.
This update represents an expansion of Meta's policies regarding the protection of teenagers, as monitoring is no longer limited to searching for dangerous words or terms, but now also includes conversations with AI chatbots on Instagram and WhatsApp, allowing for a quicker response to situations that may involve real risks.
In the past two years, technology companies have faced increasing pressure from governments, regulatory bodies, and child protection organizations to tighten safety measures on digital platforms, especially with the widespread use of interactive AI applications among children and teenagers.
In this context, Meta has launched a series of measures to protect young users, including creating teenage accounts with stricter privacy settings, limiting communication with strangers, reducing the visibility of sensitive content, and expanding parental control tools that allow parents to monitor certain aspects of their children's app usage without accessing the content of private conversations.
Mental health experts warn that AI may sometimes become the first point of contact for some teenagers to express their feelings or mental crises, prompting technology companies to develop systems capable of detecting danger indicators early, while achieving a balance between protecting users and maintaining their privacy.
