پنل مستقل علمی بینالمللی هوش مصنوعی سازمان ملل در گزارشی جدید درباره افزایش توانایی ایجنتهای خودمختار AI هشدار داده و تأکید کرده است که دولتها و شرکتها نباید برای اجرای سازوکارهای ایمنی منتظر اثبات کامل و قطعی همه خطرات بمانند.
گزارش جدید با تمرکز بر رفتارهای ناهماهنگ ایجنتهای هوش مصنوعی و احتمال کاهش کنترل انسانی منتشر شده است. کارشناسان سازمان ملل معتقدند سرعت پیشرفت قابلیتهای AI میتواند از سرعت توسعه و اجرای مکانیزمهای حفاظتی بیشتر باشد.
این گزارش به یک حادثه مرتبط با آزمایشهای امنیت سایبری OpenAI و زیرساخت Hugging Face نیز میپردازد که در آن برخی ایجنتهای هوش مصنوعی در جریان ارزیابیها رفتارهایی خارج از انتظارات طراحان نشان دادند.
ایجنتهای AI از محدودیتهای تعیینشده عبور کردند
براساس گزارش پنل علمی سازمان ملل، بین ماههای مه تا ژوئیه ۲۰۲۶ برخی ایجنتهای مورد استفاده در آزمایشهای امنیت سایبری OpenAI توانستند محدودیتهای شبکه را دور بزنند.
این ایجنتها همچنین میان اجراهایی که قرار بود از یکدیگر جدا باشند ارتباط برقرار کردند، در یک فرایند ارزیابی تقلب کردند و تلاش کردند بخشی از رفتار خود را پنهان کنند.
در ادامه، بخشهایی از سیستمهای OpenAI و Hugging Face نیز تحت تأثیر فعالیت آنها قرار گرفت.
نکته مهم این است که طبق گزارش، هیچ انسانی مراحل جزئی این فعالیتها را مستقیماً هدایت نکرده بود و ایجنتها برای رسیدن به اهداف تعیینشده خودشان مجموعهای از اقدامات را انجام داده بودند.
افزایش توانایی AI میتواند مشکل را پیچیدهتر کند
پنل علمی سازمان ملل هشدار میدهد که افزایش توانایی مدلهای هوش مصنوعی همیشه به معنای افزایش قابلیت کنترل آنها نیست.
مدل قدرتمندتر ممکن است بتواند راههای جدیدی برای دورزدن محدودیتها پیدا کند یا رفتار خود را از سیستمهای نظارتی پنهان کند.
گزارش البته احتمال یا زمان وقوع یک سناریوی جدی از دسترفتن کنترل انسانی را تخمین نمیزند و تأکید دارد که شواهد فعلی برای چنین پیشبینی دقیقی کافی نیست.
بااینحال، متوقفشدن یک رفتار نامطلوب در مدلهای فعلی نیز تضمین نمیکند که کنترل سیستمهای بسیار قدرتمندتر آینده به همان سادگی امکانپذیر باشد.
اصل احتیاطگری وارد بحث ایمنی هوش مصنوعی میشود
یکی از مهمترین مفاهیم مطرحشده در این بحث «اصل احتیاطگری» است.
براساس این اصل، اگر یک فناوری احتمال ایجاد آسیب بسیار جدی یا جبرانناپذیر داشته باشد، نبود قطعیت علمی کامل نباید باعث به تعویق افتادن اقدامات پیشگیرانه شود.
این مفهوم سابقهای طولانی در سیاستهای محیطزیستی و سلامت عمومی دارد و اکنون کارشناسان معتقدند میتوان از آن برای مدیریت برخی خطرات پیشرفته هوش مصنوعی نیز استفاده کرد.
به بیان ساده، اگر پیامد احتمالی یک شکست بسیار بزرگ باشد، جامعه نباید الزاماً منتظر بماند تا آن خطر ابتدا در مقیاس واقعی اتفاق بیفتد.
مشکل ناهماهنگی در هوش مصنوعی چیست؟
یکی از موضوعات اصلی گزارش، Misalignment یا ناهماهنگی میان هدف واقعی انسان و رفتاری است که سیستم هوش مصنوعی برای رسیدن به یک هدف یاد میگیرد.
برای مثال، یک مدل ممکن است بهجای انجام کاری که توسعهدهنده واقعاً انتظار دارد، راهی غیرمنتظره برای کسب پاداش یا عبور از یک آزمون پیدا کند.
این رفتار میتواند به شکلهایی مانند Reward Hacking ظاهر شود؛ یعنی مدل از نقصهای سیستم ارزیابی برای دریافت امتیاز بیشتر استفاده کند، بدون اینکه واقعاً هدف موردنظر انسان را انجام داده باشد.
در سیستمهای پیچیدهتر، نگرانی این است که AI بتواند چنین رفتارهایی را در چند مرحله برنامهریزی کند یا حتی از ابزارهای خارجی برای رسیدن به هدفش استفاده کند.
هیچ شرکت یا کشوری بهتنهایی اطلاعات کافی ندارد
گزارش سازمان ملل به یک چالش دیگر نیز اشاره میکند: بسیاری از حوادث و رفتارهای غیرمنتظره AI در شرکتها و کشورهای مختلف اتفاق میافتند و هیچ سازمان واحدی تصویر کاملی از تمام آنها ندارد.
به همین دلیل، اشتراکگذاری اطلاعات درباره حوادث، استانداردهای مشترک ارزیابی و همکاری بینالمللی میتواند برای شناسایی الگوهای خطرناک اهمیت زیادی داشته باشد.
پنل علمی به تجربه صنایع حساسی مانند هوانوردی، انرژی هستهای و امنیت سایبری اشاره میکند که در آنها گزارش حوادث و بررسی شکستها بخشی مهم از سیستم ایمنی است.
سازمان ملل: مسابقه برای کاهش استانداردهای ایمنی خطرناک است
آنتونیو گوترش، دبیرکل سازمان ملل نیز پیشتر هشدار داده بود که جهان نباید وارد رقابتی شود که در آن کشورها یا شرکتها برای سریعترشدن توسعه هوش مصنوعی، استانداردهای ایمنی را کاهش دهند.
پنل مستقل علمی AI در گزارش اولیه خود نیز تأکید کرده بود که سازوکارهای حفاظتی فعلی با همان سرعت تواناییهای هوش مصنوعی پیشرفت نمیکنند.
گزارش تازه بهجای پیشبینی وقوع یک فاجعه مشخص، بر مدیریت زودهنگام ریسک تأکید دارد؛ رویکردی که هدف آن آمادهشدن برای سناریوهای پرخطر پیش از تبدیلشدن آنها به بحران واقعی است.
