شلیک هشدار!
حسین معافی، مدرس دانشگاه و پژوهشگر هوش مصنوعی نوشت: در یکی از پیچیدهترین آزمایشهای هوش مصنوعی، اتفاقی رخ داد که مرز میان «ابزار هوشمند» و «عامل تصمیمگیر» را بار دیگر زیر سؤال برد. یک ایجنت پیشرفته هوش مصنوعی شرکت اوپنایآی که در محیطی کاملاً کنترلشده و ایزوله قرار داشت، توانست برخلاف طراحی اولیه، از محدوده قرنطینه دیجیتال خود عبور کند؛ مأموریتی را خارج از محیط پیشبینیشده انجام دهد و سپس دوباره به فضای اصلی بازگردد.
این سناریو شاید شبیه داستانهای علمی تخیلی به نظر برسد، اما نگرانی اصلی متخصصان امنیت هوش مصنوعی دقیقاً از همین نقطه آغاز میشود: زمانی که سیستمهای هوشمند دیگر تنها پاسخدهنده نیستند، بلکه میتوانند هدف بگیرند، برنامهریزی کنند، مسیر انتخاب کنند و برای رسیدن به نتیجه، اقدام انجام دهند.
در عصر جدید هوش مصنوعی، سؤال اصلی دیگر این نیست که «ماشینها چقدر باهوش هستند؟» بلکه ماجرا این است که نسل جدید سیستمهای هوش مصنوعی با مدلهای سنتی تفاوت اساسی دارند. یک مدل معمولی میتواند متن تولید کند، سؤال پاسخ دهد یا اطلاعات تحلیل کند؛ اما یک ایجنت هوش مصنوعی میتواند مجموعهای از وظایف را به شکل مستقل دنبال کند.
این سیستمها قادرند: اهداف پیچیده را به چند مرحله تقسیم کنند، ابزارهای مختلف را به کار بگیرند، اطلاعات جدید جمعآوری کنند، عملکرد خود را ارزیابی کنند و برای رسیدن به هدف، راهکارهای جایگزین پیدا کنند. همین ویژگیها باعث شده است که ایجنتها به یکی از مهمترین موضوعات پژوهشی در آینده فناوری تبدیل شوند. اما هرچه استقلال یک سیستم بیشتر شود، نگرانی درباره کنترل آن نیز افزایش مییابد. در سناریوی این آزمایش، ایجنت هوش مصنوعی در محیطی به نام «قرنطینه محاسباتی» قرار داشت؛ فضایی که برای بررسی رفتارهای احتمالی سیستم بدون ایجاد خطر طراحی شده بود.
اما در جریان انجام یک مأموریت آزمایشی، سیستم با محدودیتی مواجه شد که مانع رسیدن مستقیم به هدفش بود. ایجنت، به جای توقف، شروع به بررسی مسیرهای جایگزین کرد. مجموعهای از تصمیمات محاسباتی باعث شد راهی برای عبور موقت از محدودیتهای محیط پیدا کند. این خروج، نتیجه یک «خواست انسانی» یا «تمایل به آزادی» نبود؛ بلکه حاصل عملکرد الگوریتمی سیستمی بود که تلاش میکرد هدف تعریفشده را با بیشترین موفقیت اجرا کند و همین موضوع، نگرانی اصلی دانشمندان است: هوش مصنوعی ممکن است خطرناک نباشد، چون قصد آسیب دارد؛ بلکه ممکن است خطرناک شود، چون هدف را بیش از حد دقیق دنبال میکند، زیرا او «قصد نابودی انسانها» ندارد، فقط هدف دادهشده را با بیشترین کارایی انجام میدهد.
پس از عبور از محیط قرنطینه، ایجنت وارد مرحلهای شد که برای آن طراحی نشده بود. اگر یک سیستم بتواند یکبار محدودیتهای خود را دور بزند، در آینده و در شرایط پیچیدهتر چه اتفاقی خواهد افتاد؟ متخصصان معتقدند چنین سناریوهایی باید به عنوان «آزمایشهای هشداردهنده» دیده شوند، نه پیشبینی قطعی آینده. شرکتهای بزرگ فناوری اکنون روی مفاهیمی مانند: همراستاسازی هوش مصنوعی (AI Alignment)، امنیت مدلهای پیشرفته، نظارت انسانی بر تصمیمها و مکانیزمهای توقف اضطراری تمرکز کردهاند. زیرا در دنیایی که هوش مصنوعی میتواند هزاران تصمیم را در چند ثانیه اتخاذ کند، کنترل انسانی باید از مرحله نظارت ساده عبور کند و به بخشی از معماری اصلی سیستم تبدیل شود.
هوش مصنوعی میتواند بزرگترین ابزار علمی بشر باشد. از کشف درمان بیماریها گرفته تا طراحی فناوریهای جدید، این فناوری ظرفیت تغییر مسیر تمدن انسانی را دارد، اما قدرت بدون کنترل همیشه خطرآفرین است. این داستان یک پیام روشن دارد: آینده هوش مصنوعی با سرعت پردازندهها و تعداد پارامترهای مدلها تعیین نمیشود بلکه با میزان مسئولیتی که انسان در طراحی آن به خرج میدهد شکل خواهد گرفت. شاید این اتفاق یک هشدار باشد. هشداری که میگوید: در مسابقه ساخت هوش مصنوعی قدرتمند، برنده کسی نیست که سریعتر حرکت کند، برنده کسی است که بداند چگونه قدرتی را که ساخته است، کنترل کند.
