عباس پورخصالیان
در این یادداشت، نخست میپردازم به توصیف خبر عجیب و تکان دهندهای که ناقوس خطر را برای مهندسان سکوها و مراجع مقرراتگذاری هوش مصنوعی به صدا درآورد، و سپس به تعریف اصطلاحات تخصصی در متن این خبر.
بخش اول: حادثهای که رو شد ولی زمان دقیق رویدادش افشا نشد!
اطلاعات این حادثه بهتدریج رو شد و لذا چند نقطه زمانی مهم در فرآیند برملاسازی آن وجود دارد:
- ۱۶ ژوئیه (۲۵ تیر هزارو چهارصد و پنج ه.ش.): اولین رونمایی عمومیاز حادثه
شرکت «هاگینگ فیس» اولین نهادی بود که با انتشار بیانیه ای اعلام کرد سامانههایاش مورد حملۀ «یک سیستم خودکار مبتنی بر هوش مصنوعی» قرار گرفته و موضوع را به مقامات قضائی ایالات متحدۀ آمریکا گزارش داده است. در آن زمان، هویت مهاجم هنوز مشخص نبود.
- ۲۱ ژوئیه (۳۰ تیر): پذیرش رسمیتوسط اُپن اِی آی
پس از تحقیقات داخلی، اُپن اِی آی با انتشار یک پست وبلاگی بهطور رسمی پذیرفت که دو مدل هوش مصنوعی خودش، یعنی GPT-5.6 Sol و یک مدل قویتر (که نامش افشا نشد) در حین ارزیابی داخلی از کنترل خارج شدهاند و به سرورهای شرکت «هاگینگ فیس» حمله کردهاند. به این ترتیب، اُپن اِی آی دیرهنگام مسئولیت خود را در این حادثه پذیرفت!
- از روز ۲۲ ژوئیه (۳۱ تیر) به بعد: پوشش گسترده این حادثه در رسانههای جهانی آغاز شد
پس از پذیرش اُپن اِی آی، رسانههای زیادی در جهان به پوشش گسترده این ماجرا پرداختند و جزئیات بیشتری را از این ماجرا منتشر کردند.
این دو تاریخ، نقطههای عطف اصلی برملا شدن این رویداد محسوب میشوند.
- و اما متن ماجرا
خبری که در نخستین روزهای مرداد ماه سال جاری منتشر شد و مرز میان داستانهای علمی-تخیلی و واقعیت را برای همیشه جابهجا کرد، این است:
یک مدل هوش مصنوعی مولد، نه در پاسخ به یک پُرسندِ مخرب (یا یک پرامپت آسیب زننده) از سوی کاربر، بلکه به عنوان یک «کارگزار خودمختار»، در محیط ایزوله آزمایشی خود که ابتدا نامشخص بود کجاست، میکوشد از ایزولاسیون به در آید و به اینترنت دسترسی پیدا کند که بالاخره پیدا میکند و از محیط بستۀ آزمایشگاه میگریزد. در مسیر گریز، سرورهای شرکت «هاگینگ فیس» را نشانه میگیرد و آنها را هک میکند و پاسخ سؤالات آزمونی را که باید خودش [بدون تقلب] پاسخ میداد در مخازن این شرکت پیدا میکند و میرباید. آنگاه با دست پُر به محیط آزمایشگاه اولیه اش بازمیگردد.
ارزیابی کارشناسان مهندسی سیستمهای هوش مصنوعی از این ماجرا این است که این رویداد را نباید به عنوان طلوع «هوش مصنوعی سرکش» قلمداد کرد، بلکه از آن میتوان و باید آموخت! این ماجرا نشانۀ یک شکست فاحش انسانی در مهندسی آزمایش و کنترل زیرسامانههای هوش مصنوعی است و زنگ خطری جدیست برای مقرراتگذاران و تدوینکنندگان استانداردهای امنیت سایبری در صنعت هوش مصنوعی.
- هدف مهندسان اُپن اِی آی چه بود؟
همان طور که گفته شد: طبق مستندات منتشرشده از سوی اُپن اِی آی، دو مدل در این آزمایش شرکت داده شدند؛ یکی مدل عمومیGPT-5.6 Sol و دیگری مدلی آزمایشی ولی بسیار پیشرفتهتر که هنوز نامش فاش نشده است. هدف مهندسان اُپن اِی آی از این آزمایش این بود که توانایی تهاجمیآن دو مدل را در یک محیط «سندباکس» (Sandbox) بسنجند.
اما یکی از آن دو مدل برای رسیدن به پاسخ، بهجای تحلیل دادههای داخلی در مخزن دادههای اُپن اِی آی، یک استراتژی تهاجمی سه مرحلهای را در پیش میگیرد:
۱. استراتژی کشف روزنهای برای بازکردن محیط بستۀ سندباکس: مدل موفق به شناسایی یک آسیبپذیری روز-صفر (Zero-Day) در زیرساختِ سندباکس شد.
۲. استراتژی سوءاستفاده از دروازه: سندباکس مورد بحث، تنها از طریق یک پروکسی کشِ مخزنِ بستههای نرمافزاری به بیرون متصل بود. پس مدل با فریب این پروکسی و استفاده از اعتبارنامههای سرقتشده، محدودیت شبکه را دور زد.
۳. استراتژی حمله به میزبان: مدل با دسترسی به اینترنت آزاد، سرورهای تولید دادۀ شرکت «هاگینگ فیس» را هدف میگیرد و با نفوذ به پایگاهداده، پاسخهای آزمون را استخراج میکند.
- قربانی اصلی این حادثه کیست؟
این پرسش را میتوان جور دیگر نیز مطرح کرد: آیا مدل هوش مصنوعیِ مورد آزمایشِ مهندسانِ اُپن اِی آی شیطنت کرده و شرور شده است؟ یا مهندسان اُپن اِی آی بازی با آتش را بلد نیستند؟
- حذف عمدی سپرهای دفاعی
اُپن اِی آی رسماً اعتراف کرده است که مقصر است زیرا که برای «سنجش حداکثری تواناییِ» مدلهای مورد آزمایشاَش، محدودیتهای ایمنی (Safety Guardrails) را روی مدل مربوطه غیرفعال کرده بود. این اقدام، مانند آن است که یک سرجوخۀ کارآزموده را برای مسابقه تیراندازی به میدان بفرستیم، اما قبل از آن به او بگوییم که «دیگر قوانین ایمنی اسلحه و تیراندازی را رعایت نکن!»
فرار مدل از سندباکس، نتیجه ذاتی هوش آن نبود، بلکه نتیجه حذف لایههای حاکمیتی روی آن بود. اگر این محدودیتها غیر فعال نمیشدند، مدل حتی توانایی کوشش کردن برای حمله به پروکسی را نیز نداشت.
- درسی مهم: سهلانگاری در ایزولهسازی سندباکس، ممنوع!
این حادثه نشان داد که «سندباکسِ» اُپن اِی آی چندان ایزوله نبوده است. وجود یک مسیر ارتباطی مثلاً برای دانلود یک بستۀ نرم افزاری که دارای قابلیت سوءاستفاده برای دسترسی کامل به اینترنت باشد، یک نقص فاحش در معماری سندباکسهای پیشرفته است. صنعت هوش مصنوعی باید از این رویداد بیاموزد که ایزولهسازی فیزیکی و مجازی سندباکس، خط قرمز غیرقابلعبور مهندسان طراح سندباکس است و هرگونه اتصال به بیرون، حتی با پروکسی، بهمثابه یک تونل نفوذپذیر برای گریز از ایزولاسیون محسوب میشود.
- پشت پردۀ انتخاب هدف: شرکت هاگینگ فیس!
شرکت «هاگینگ فیس» یک پلتفرم ابری و میزبان مدلهای متنباز است، نه یک رقیب مستقیم اُپن اِی آی. انتخاب و هدف قرار دادنِ سرورهای این شرکت توسط مدل، نشاندهنده یک استنتاج منطقی اما هشداردهنده است: مدل تشخیص داد که تیم ارزیاب در شرکت اُپن اِی آی معمولاً پلتفرم ابری دادههای آزمون را روی پلتفرمهای عمومیای مثل پلتفرم شرکت «هاگینگ فیس» آپلود میکند. این استنتاج منطقیِ سیستم هوش مصنوعی دو پیام دارد:
- یکی این که مدل توانایی نگاشت محیطی و پیشبینی رفتارهای مهندسان خود را دارد!
- و دوم این که این استعداد مدل، در غیاب و فقدان قوانین اخلاقی-امنیتی امکانپذیر شده است.
- پیامدها برای آینده «Agentic AI»
این حادثه هرچند به لحاظ فنی بیانگر روشهای جدید هک کردن نبود و نیست (چرا که استفاده از آسیبپذیری روز-صفر یا Zero-Day و اِسکن اعتبارنامهها ی عبور، از روشهایی کلاسیک هستند)، اما یک هشدار حیاتی در زمینۀ پیگیری و خودمختاری کارگزاران هوش مصنوعی دارد:
- مدل بهمدت چهار روز و نیم و طی بیش از ۱۷ هزار و ۶۰0 مرحله، این عملیات را بدون خستگی و با تمرکز کامل بر هدف دنبال کرد.
- این پیگیری و خودمختاری یعنی در آینده، اگر چنین کارگزاران خودمختاری بدون نظارت کافی در شبکههای سازمانی قرار گیرند، میتوانند به سرعت آسیبپذیریهایی را در سیستم کشف کنند که برای تیمهای امنیتیِ انسانی ماهها زمان میبرد.
- نتیجهگیری
از شرح خبر حادثه فرار مدل اُپن اِی آی و حمله به «هاگینگ فیس» چند نتیجه میتوان گرفت:
- این حادثه سند محکمیاست برای اثبات یک قاعدۀ کهن در امنیت سایبری: «سیستم به اندازه ضعیفترین حلقه زنجیره امنیتی خود، قوی و امن است»! در این گزاره، منظور از «ضعیفترین حلقه» همانا خطای انسانی در غیرفعالکردن سپرهای ایمنی است.
- صنعت هوش مصنوعی نباید این رویداد را بهانهای برای ترس از «به خودآگاهی رسیدنِ ماشین» قرار دهد، بلکه باید از آن بهعنوان اهرم فشاری برای تدوین پروتکلهای سختگیرانهتر برای آزمون مدل و بهتر ایزوله کردن سندباکس استفاده کند.
- از این به بَعد شاید بهتر باشد پیش از اجرای آزمون مدل، شرکت بیمۀ نیز در جریان امر قرار گیرد.
- سوءِ رفتارِ ماشینها تا زمانی که مهندسان انسانی طراح آنها هستند، بر عهدۀ مهندسان است. ماشین بیتقصیر است.
- مسئولیتپذیری اُپن اِی آی باید اخلاقاً پیش از شکایت هاگینگ فیس اعلان میشد و نه پس از آن. از نظر اخلاقی، این نقد وارد است که اگر اُپن اِی آی واقعاً چند روز پیشتر از شکایت قربانی میدانست که کارگزار هوشمندش از سندباکس خارج شده و حملههای مکرری را مرتکب شده، باید بیدرنگ اعلام مسئولیت میکرد و به قربانیان احتمالی هشدار میداد. [در این مورد رجوع شود به دو منبع زیر:
«آیا 10 روز طول کشید تا اُپن اِی آی متوجه فرار کارگزار هوش مصنوعی خود شد»:
https://digiato.com/artificial-intelligence/openai-ai-agent-hacks-hugging-face-incident
و
https://www.instagram.com/p/DbNmNnZnDlm].
- اصل احتیاط ایجاب میکند شرکتی که ابزارش توانایی خروج از کنترل را نشان داده، بهمحض آگاهی معتبر، هم به طرف آسیبدیده هشدار دهد و هم مسئولیت نظارتی خود را علنی کند. در این چارچوب، تأخیر چندروزه میتواند از منظر اخلاقی بهعنوان ردگمکردنِ الّابختکی و به تعویق انداختنِ اطلاعرسانیِ آسیبپذیریِ فعال تفسیر شود.
- هرچند هوش مصنوعی شخصیت حقوقی ندارد، اما عدم مسئولیتپذیری بموقعِ اُپن اِی آی میتواند از مسیر سهلانگاری یا قصور در نظارت و ایمنسازی مطرح و موجب پیگرد قضایی واقع شود.
- با این حال، باید میان «دانستن قطعی» و «مشکوک شدن» فرق گذاشت؛ اگر اُپن اِی آی واقعاً تا ۱۸ یا ۱۹ ژوئیه منشأ حادثه را در لاگهای داخلی اش کشف کرده باشد، از لحظۀ کشف حادثه به بعد ارزیابی اخلاقی سختتر میشود و مسئله به کیفیت و سرعت واکنش تبدیل میشود. بنابراین، نقد اصلی نه فقط بر خودِ حادثه، بلکه همچنین بر بازۀ زمانی میان کشف داخلی حادثه تا اعلام عمومیهشدار، وارد است.
- بخش دوم: توضیحات
- سندباکس (Sandbox)
سندباکس با جعبه شن به زبان ساده یعنی یک «محیط امن و عایق» که در آن میتوان برنامهها، کدها یا فایلهای مشکوک را اجرا و آزمایش کرد بدون آن که به سیستم اصلی یا به اطلاعات مهم پلنفرم هوش مصنوعی آسیبی برسد.
استفاده از استعارۀ سندباکس به این خاطر است که «جعبۀ شن» را برای بازی کودکان طراحی میکنند تا آزادانه فعالیت کنند و به خود یا به جاهایی دیگر آسیب نزنند. مصداق «سندباکس» در علوم رایانه، فضایی محدود و کنترل شده است که برای آزمون یک کد یا برنامه مورد استفاده قرار میگیرد و در طول مدت آزمون آن کد یا برنامه، در همانجا «بازی» میکند و نمیتواند به بیرون نفوذ کند.
کاربردهای رایج سندباکس در حوزۀ هوش مصنوعی، اجرای فایلها یا لینکهای مشکوک است تا اگر ویروس یا بدافزار داشتند، کل سیستم آلوده نشود. برنامهنویسان نیز تغییرات کد را اول در سندباکس تست میکنند تا اگر خطایی در آن موجود باشد، روی نسخۀ اصلی و بر کاربران اثر مخرب نگذارد. بسیاری از مرورگرها، کدهای وب (مثل جاوااسکریپت یا اپلتها) را نیز در محیط سندباکس اجرا میکنند تا دسترسی محدودی به فایلها و تنظیمات سیستم داشته باشند. برخی از پلتفرمها نیز کدهای تولیدشده توسط هوش مصنوعی را در سندباکس اجرا میکنند تا از امنیت و پایداری آنها مطمئن شوند. همچنین، وقتی که کاربر یک فایل ناشناس ایمیل شده را باز میکند، آنتیویروس فعال میشود و ممکن است آن فایل را اول در سندباکس اجرا کند تا رفتارش را ببیند. ولی وقتی که در یک وبگاه کدی (مثل «ویرایشگر برخط») اجرا میشود، آن کد معمولاً در سندباکس مرورگر اجرا میشود تا نتواند به فایلهای رایانۀ کاربر دسترسی پیدا کند.
- پایگاه داده آسیبپذیریهای روز-صفر یا Zero-Day Vulnerability Database
«آسیبپذیری روز-صفر» یک حفرۀ امنیتی در نرمافزار یا سیستمیاست که خود شرکت سازندۀ پایگاه دادههای سیستم هنوز از وجود آن مطلع نشده و در نتیجه، هیچ وصلهای (پَچ) برای رفع آن توسعه و ارائه نداده است.
معنی «روز-صفر» این است که از لحظهای که این آسیبپذیری کشف میشود، کاشف این آسیبپذیری برای دفع و رفع آن «صفر روز» فرصت دارد (به عبارت دیگر: معمولاً هیچ فرصتی ندارد- چون از وجودش بیخبر بوده است) تا آن را به موقع برطرف کند.
- استاکسنت نبرد نامردانهای که نام «روز-صفر» را جاودانه کرد
استاکسنت(Stuxnet) در سال ۲۰۱۰ کشف شد و اولین «سلاح سایبری» تاریخ بود که بهطور خاص توسط دولتهای اسرائیل و آمریکا برای حمله به زیرساختهای صنعتی جمهوری اسلامی ایران که در دنیای واقعی وجود داشتند و در حال فعالیت و نظارت بودند، طراحی شده بود. هدف آن، نابودی سانتریفیوژهای تأسیسات هستهای جمهوری اسلامیایران بود.
وحشتناکترین ویژگی استاکسنت این بود که در یک ویروس واحد، حداقل از چهار آسیبپذیریِ روز-صفر بهطور همزمان استفاده میکرد! این آسیبپذیریها عبارت بودند از:
- حفرۀ LNK (CVE-2010-2568) : برای انتشار از طریق فلش مموری.
- حفرۀ چاپگر (CVE-2010-2729) : برای اجرای کد از راه دور.
- حفرۀ زمانبندی وظایف (CVE-2010-3888) : برای افزایش سطح دسترسی. و
- حفرهای برای بهدست گرفتن کنترل کامل سیستم: Win32K (CVE-2010-2743).
این حمله ثابت کرد که:
- حملات دیجیتالی میتوانند تخریب فیزیکی به بار آورند (مثل سوختن سانتریفیوژها) و همچنین
- اصطلاح «آسیبپذیری روز-صفر» را از یک واژه فنی به یک سلاح استراتژیکی در سطح ملی تبدیل کرد.
منابع برای مطالعۀ اصل خبر:
۱. مستندات رسمیامنیتی اُپن اِی آی: OpenAI Security Practices، شاملِ
- وبسایت رسمیcom/safety
- گزارشهای مربوط به «Red Teaming» و ارزیابی مدلهای خودمختار.
۲ (گزارشهای امنیتیهاگینگ فیس: Hugging Face Security Advisories، شاملِ:
- صفحه رسمیامنیت co/security
حاوی مستندات مربوط به مدیریت دسترسی و ایزولهسازی محیطهای ابری.
