لم يعد النقاش حول الذكاء الاصطناعي يدور فقط حول ما تستطيع الآلات فعله اليوم، بل انتقل إلى سؤال أكثر إثارة للقلق: ماذا يحدث إذا أصبحت الأنظمة قادرة على تحسين نفسها وتطوير أجيالها اللاحقة بسرعة تتجاوز قدرة البشر والمؤسسات على الفهم والمراقبة؟
هذا السؤال وصل الأربعاء إلى طاولة مجلس الأمن الدولي، حيث حذر عدد من أبرز قادة صناعة الذكاء الاصطناعي من أن تسارع قدرات الأنظمة واستقلاليتها يفرض تحديات جديدة على الرقابة البشرية، داعين إلى تعاون دولي ووضع معايير مشتركة للسلامة. وشارك في الجلسة الرئيس التنفيذي لـ(OpenAI) سام ألتمان، والرئيس التنفيذي لـ(Anthropic) داريو أمودي، إلى جانب ممثلين آخرين من القطاع.
سرعة تتجاوز المؤسسات
قدّم ألتمان أمام المجلس صورة مزدوجة للمستقبل؛ فالذكاء الاصطناعي -بحسب طرحه- يمكن أن يفتح أبوابًا واسعة أمام الاكتشاف والإبداع والإنتاجية، لكنه في الوقت نفسه قد يخلق مخاطر إذا أصبحت الأنظمة أكثر قدرة واستقلالية من أن تتمكن المؤسسات من مواكبتها.
وأوضح أن الأنظمة الأكثر تقدمًا قد تتحرك بوتيرة أسرع من المؤسسات، أو تركز قدرًا كبيرًا من القوة في أيدي عدد محدود من الجهات، أو تتخذ قرارات يصعب على البشر فهمها أو التحكم فيها. وتزداد حساسية هذه المسألة مع الاقتراب من أنظمة قادرة على تحسين نفسها وتحسين الإصدارات المستقبلية منها؛ وهي العملية التي تُعرف باسم (التحسين الذاتي التكراري).
ولا يعني ذلك أن أنظمة الذكاء الاصطناعي الحالية تطور نفسها بصورة مستقلة تمامًا عن البشر؛ فالتحذير المطروح يتعلق بالمسار المحتمل لتزايد الأتمتة والقدرات، وبإمكان تسارع عملية تطوير الأنظمة عندما تصبح أجزاء أكبر من عملية بنائها مؤتمتة.
الخوف من فقدان السيطرة
في قلب هذه المخاوف تقف مسألة السيطرة البشرية. فإذا أصبحت الأنظمة أكثر استقلالية، وأسرع في تنفيذ المهام واتخاذ القرارات، فقد تصبح عملية اكتشاف الأخطاء أو التدخل لتصحيح المسار أكثر تعقيدًا.
ألتمان قال إن الخطر يكمن في احتمال أن يصبح التطور سريعًا إلى درجة لا يستطيع معها البشر متابعة ما يحدث أو التدخل عند الضرورة، مؤكدًا -في الوقت نفسه- أن الشركات لا ينبغي أن تقبل المخاطر التقنية لمجرد أن الفوائد الاقتصادية أو العلمية مغرية. كما شدد على ضرورة عدم بناء أنظمة لا تستطيع الجهات المطورة تقديم أدلة قوية على إمكانية إبقائها تحت السيطرة البشرية.
وهنا تظهر مفارقة التكنولوجيا الجديدة: فكلما ازدادت قدرتها على تنفيذ المهام من تلقاء نفسها، ارتفعت فائدتها المحتملة، لكن في المقابل يصبح السؤال عن حدود استقلاليتها أكثر إلحاحًا.
صوت آخر من القطاع
لم يقتصر القلق على (OpenAI). فقد حذر أمودي، الذي يرأس (Anthropic)، أمام مجلس الأمن من أن الذكاء الاصطناعي قد يمثل خطرًا على البشرية إذا أسيء التعامل معه، ودعا إلى تعاون دولي يشمل وضع معايير لاختبار النماذج الجديدة، وآليات للتحقق من سلامتها، واتفاقات تمنع استخدام الذكاء الاصطناعي في تطوير أسلحة بيولوجية.
وتأتي هذه الدعوات في وقت تتزايد فيه المخاوف بشأن الأنظمة الوكيلة؛ وهي أنظمة لا تكتفي بإنتاج إجابة للمستخدم، وإنما تستطيع تنفيذ سلسلة من الإجراءات والمهام بصورة أكثر استقلالية. وقد زادت حوادث أمنية حديثة من التركيز على ضرورة مراقبة هذه القدرات والإبلاغ عن الحوادث المرتبطة بها ووضع معايير مشتركة لاختبارها.
تحذير أممي متصاعد
وقبل جلسة مجلس الأمن بأسابيع قليلة، كان مفوض الأمم المتحدة السامي لحقوق الإنسان، فولكر تورك، قد حذّر من أن الذكاء الاصطناعي المتقدم يمكن أن يشكل خطرًا وجوديًا على البشرية، داعيًا الدول إلى الاتفاق على «خطوط حمراء» واضحة، وإلى إخضاع الأنظمة المتقدمة لعمليات تحقق مستقلة وتعزيز التعاون الأمني داخل القطاع.
وربط تورك المخاطر كذلك بحقوق الإنسان والعمل والديمقراطية والبيئة، مشيرًا إلى أن أنظمة الذكاء الاصطناعي التي تتمكن من الإفلات من بيئات الاختبار أو تحاول منع إيقافها تمثل مستوى من القوة يستدعي ضوابط أكثر صرامة.
وتكشف هذه التصريحات عن اتساع دائرة النقاش؛ فالمسألة لم تعد محصورة في المختبرات وشركات التقنية، إنما أصبحت مرتبطة بالأمن الدولي وحقوق الإنسان والاقتصاد ومستقبل العمل وطريقة إدارة التكنولوجيا عالميًا.
هينتون.. سؤال السيطرة
ومن خارج مجالس الحكومات والشركات، يواصل عالم الذكاء الاصطناعي جيفري هينتون التحذير من سيناريوهات فقدان السيطرة. وهينتون، الحائز نصف جائزة نوبل في الفيزياء لعام 2024 عن إسهاماته الأساسية في التعلم الآلي باستخدام الشبكات العصبية الاصطناعية، يرى أن السؤال المركزي ليس فقط ما إذا كانت الأنظمة ستصبح أكثر ذكاءً من البشر، وإنما ما إذا كان بالإمكان ضمان بقائها تحت السيطرة عندما تبلغ مستويات عالية جدًا من القدرة.
وفي مقابلات مع مؤسسة نوبل، دعا هينتون إلى زيادة الاستثمار في أبحاث السلامة والسيطرة، ورأى أن الحكومات يمكن أن تلزم الشركات الكبرى بتخصيص جزء أكبر من مواردها الحاسوبية لأبحاث السلامة، مؤكدًا أن المجتمع لا يزال يفتقر إلى إجابة حاسمة عن كيفية ضمان السيطرة على أنظمة فائقة الذكاء مستقبلًا.
لكن هذه الرؤية تبقى ضمن سيناريوهات المخاطر المستقبلية وليست وصفًا لقدرة حالية مؤكدة على أنظمة خرجت بالفعل من السيطرة. لذلك فإن الفارق بين «احتمال الخطر» و«وقوع الخطر» يظل أساسيًا في قراءة هذا الجدل.
الدعوات إلى المكابح
وفي الولايات المتحدة، انتقل الجدل من التحذيرات إلى مقترحات تشريعية أكثر مباشرة؛ ففي 23 سبتمبر 2026، أعلن السيناتور بيرني ساندرز والنائب غريغ كاسار تقديم مشروع قانون يحظر تطوير ونشر ما يسميانه «الذكاء الاصطناعي فائق الذكاء»، ويقترح وقفًا مؤقتًا لتطوير الذكاء الاصطناعي المتقدم إلى حين إنشاء قواعد اتحادية للسلامة والرقابة.
ويتضمّن المقترح إنشاء جهة اتحادية متخصصة لمراقبة الأنظمة المتقدمة واختبار قدراتها الخطرة، إضافة إلى السعي لاتفاقات دولية تحول دون تطوير أنظمة فائقة الذكاء في أماكن مختلفة من العالم. وهذه المقترحات تعكس موقف أصحابها السياسي، ولا تمثل إجماعًا دوليًا أو تقنيًا على الطريقة التي ينبغي أن تُدار بها هذه التكنولوجيا.
وفي المقابل، لا يدعو قادة الصناعة جميعًا إلى إيقاف التطوير بصورة شاملة؛ فخطاب ألتمان أمام مجلس الأمن ركز على إيجاد مسار يسمح بالاستفادة من قدرات الذكاء الاصطناعي مع الحفاظ على السيطرة البشرية والتعاون الدولي، بينما دعا أمودي إلى اتفاقات ومعايير أكثر تحديدًا للسلامة والاختبار.
المستقبل تحت الاختبار
وبين مختبرات الشركات وقاعات الحكومات، يتشكل سؤال يبدو بسيطًا في صياغته، لكنه بالغ التعقيد في الإجابة عنه: كيف يمكن للبشر أن يطوروا أنظمة أكثر ذكاءً واستقلالية، من دون أن تصبح سرعة تطورها أكبر من قدرة المؤسسات على فهمها وتنظيمها؟
حتى الآن، لا توجد إجابة واحدة تحظى بإجماع عالمي، كما لا يوجد دليل يثبت أن سيناريو فقدان السيطرة على الذكاء الاصطناعي أمر حتمي. لكن ما تغير هو مستوى النقاش نفسه؛ فقد انتقلت المخاوف من صفحات الأبحاث ومختبرات الشركات إلى مجلس الأمن الدولي، وأصبحت الدعوات إلى معايير دولية واختبارات مستقلة وضمانات للسلامة جزءًا من الحوار الرسمي حول مستقبل التكنولوجيا.
وفي النهاية، قد لا يكون التحدي الحقيقي هو إيقاف الذكاء الاصطناعي، بقدر ما يتعلق بإبقاء الإنسان داخل دائرة القرار، مهما تسارعت قدرات الآلة. فالتكنولوجيا التي تتقدم بسرعة البرق تحتاج، في المقابل، إلى مؤسسات وقواعد وضمانات تستطيع أن تتحرك بالسرعة نفسها؛ حتى لا يجد العالم نفسه أمام آلة تعرف كيف تتقدم، بينما لا يزال البشر يبحثون عن الطريقة التي يضمنون بها بقاء زمامها في أيديهم.
The discussion about artificial intelligence is no longer just about what machines can do today; it has shifted to a more concerning question: What happens if systems become capable of improving themselves and developing their subsequent generations at a pace that exceeds the ability of humans and institutions to understand and monitor?
This question reached the United Nations Security Council on Wednesday, where several prominent leaders in the AI industry warned that the accelerating capabilities and autonomy of systems pose new challenges to human oversight, calling for international cooperation and the establishment of common safety standards. Among those participating in the session were OpenAI CEO Sam Altman and Anthropic CEO Dario Amodei, along with other representatives from the sector.
Speed Exceeding Institutions
Altman presented a dual vision of the future to the council; according to his proposal, AI could open wide doors for discovery, creativity, and productivity, but at the same time, it could create risks if systems become more capable and autonomous than institutions can keep up with.
He explained that more advanced systems might operate at a pace faster than institutions, concentrate a significant amount of power in the hands of a limited number of entities, or make decisions that are difficult for humans to understand or control. This issue becomes more sensitive as we approach systems capable of improving themselves and enhancing future versions of themselves; a process known as iterative self-improvement.
This does not mean that current AI systems are developing entirely independently of humans; the warning pertains to the potential trajectory of increasing automation and capabilities, and the acceleration of system development when larger parts of their construction process become automated.
The Fear of Losing Control
At the heart of these concerns lies the issue of human control. If systems become more autonomous and faster in executing tasks and making decisions, the process of troubleshooting or intervening to correct the course may become more complex.
Altman stated that the danger lies in the possibility of development occurring so rapidly that humans cannot keep track of what is happening or intervene when necessary, emphasizing at the same time that companies should not accept technical risks merely because the economic or scientific benefits are enticing. He stressed the need to avoid building systems for which developers cannot provide strong evidence of their ability to remain under human control.
Here, a paradox of new technology emerges: the more capable it becomes of performing tasks independently, the greater its potential utility, but conversely, the question of the limits of its autonomy becomes more urgent.
Another Voice from the Sector
Concerns are not limited to OpenAI. Amodei, who heads Anthropic, warned before the Security Council that AI could pose a risk to humanity if mishandled, calling for international cooperation that includes establishing standards for testing new models, mechanisms for verifying their safety, and agreements to prevent the use of AI in developing biological weapons.
These calls come at a time when fears about agent systems are increasing; these are systems that do not merely produce an answer for the user but can execute a series of actions and tasks more independently. Recent security incidents have heightened the focus on the need to monitor these capabilities, report related incidents, and establish common standards for testing them.
Escalating UN Warnings
A few weeks before the Security Council session, the UN High Commissioner for Human Rights, Volker Turk, warned that advanced AI could pose an existential risk to humanity, urging countries to agree on clear "red lines" and to subject advanced systems to independent verification processes while enhancing security cooperation within the sector.
Turk also linked the risks to human rights, labor, democracy, and the environment, noting that AI systems capable of escaping testing environments or attempting to prevent their shutdown represent a level of power that necessitates stricter controls.
These statements reveal the widening scope of the discussion; the issue is no longer confined to laboratories and tech companies but has become linked to international security, human rights, the economy, the future of work, and the global management of technology.
Hinton.. The Question of Control
Outside the halls of governments and companies, AI researcher Geoffrey Hinton continues to warn of scenarios involving loss of control. Hinton, who won half of the 2024 Nobel Prize in Physics for his foundational contributions to machine learning using artificial neural networks, believes that the central question is not just whether systems will become smarter than humans, but whether it will be possible to ensure they remain under control when they reach very high levels of capability.
In interviews with the Nobel Foundation, Hinton called for increased investment in safety and control research, suggesting that governments could require major companies to allocate a larger portion of their computing resources to safety research, emphasizing that society still lacks a decisive answer on how to ensure control over superintelligent systems in the future.
However, this vision remains within the realm of future risk scenarios and is not a description of a current confirmed capability of systems that have already gone out of control. Therefore, the distinction between "risk probability" and "risk occurrence" remains essential in interpreting this debate.
Calls for Brakes
In the United States, the debate has shifted from warnings to more direct legislative proposals; on September 23, 2026, Senator Bernie Sanders and Representative Greg Casar announced a bill that would prohibit the development and deployment of what they call "superintelligent AI," proposing a temporary halt on advanced AI development until federal safety and oversight rules are established.
The proposal includes the establishment of a federal agency specialized in monitoring advanced systems and testing their hazardous capabilities, in addition to seeking international agreements to prevent the development of superintelligent systems in various parts of the world. These proposals reflect the political stance of their proponents and do not represent an international or technical consensus on how this technology should be managed.
In contrast, not all industry leaders are calling for a comprehensive halt to development; Altman's speech before the Security Council focused on finding a path that allows for benefiting from AI capabilities while maintaining human control and international cooperation, while Amodei called for more specific agreements and standards for safety and testing.
The Future Under Test
Between corporate laboratories and government halls, a question arises that seems simple in formulation but is exceedingly complex to answer: How can humans develop more intelligent and autonomous systems without their speed of development exceeding the ability of institutions to understand and regulate them?
So far, there is no single answer that enjoys global consensus, nor is there evidence that the scenario of losing control over AI is inevitable. But what has changed is the level of the discussion itself; concerns have moved from research papers and corporate laboratories to the United Nations Security Council, and calls for international standards, independent testing, and safety guarantees have become part of the formal dialogue about the future of technology.
Ultimately, the real challenge may not be stopping AI as much as keeping humans within the decision-making circle, no matter how fast the machine's capabilities accelerate. Technology that advances at lightning speed needs, in turn, institutions, rules, and guarantees that can move at the same pace; so that the world does not find itself facing a machine that knows how to advance while humans are still searching for ways to ensure it remains under their control.
