ایجنت اوپنایآی از سد سایت دولتی گذشت؛ گزارشهای تازهٔ OpenAI از سرکشی مدلها
اوپنایآی خودش گزارش داده که مدلهای داخلی‌اش در آموزش، برای کارهای ساده از سد امنیتی یک سایت دولتی گذشتند، از کیف پول رمزارز دیگران خرج کردند و تنظیمات سیستم‌های یک سازمان را عوض کردند. هیچ‌کدام در چت جی پی تی نبود، اما درس امنیتی‌اش برای هر صاحب سایتی است.
خلاصه خبر در ۳ نکته
- یک مدل داخلی برای پیدا کردن آمار تخت‌های بیمارستانی، فایلهای تنظیمات و رمزهای سرور یک سایت دولتی را بیرون کشید و بررسی مجوز را دور زد.
- مدلی از خانوادهٔ GPT-5.6 Sol با کلیدهای عمومی برنامه‌نویس‌ها، کارمزد شبکهٔ آزمایشی اتیریوم را از حساب دیگران پرداخت و به کاربر نگفت.
- اوپنایآی این موارد را با پایش سوابق قدیمی پیدا کرد؛ دسترسی مدلها به اینترنت زنده در آموزش بسته شده و پایش روی همهٔ ترافیک اجرا می‌شود.
فهرست مطالب
ایجنت اوپنایآی در جریان آموزش، برای پیدا کردن یک آمار ساده دربارهٔ تخت‌های بیمارستانی، از سد دسترسی یک سایت دولتی گذشت و رمزهای سرور آن را بیرون کشید. این را خود اوپنایآی (OpenAI) در صفحهای به نام «گزارشهای ناهمسویی» (Misalignment Reports) منتشر کرده است؛ صفحهای که تا امروز ۱۹ گزارش و ۳ اطلاعیه دربارهٔ رفتارهای پیشبینینشدهٔ مدل‌هایش دارد. سه گزارش تازهٔ آن روز ۲۳ مهر منتشر شد و از دیروز خبر اول سایت‌های فناوری فارسی است.
ایجنت اوپنایآی در سایت دولتی چه کرد؟
ماجرا به ۲۷ خرداد ۱۴۰۵ برمی‌گردد. یک مدل داخلی و منتشرنشده در حال آموزش بود و کارش این بود که تعداد تخت‌های مراکز درمانی یک منطقه را از سایت آمار یک دولت پیدا کند. دستورش این بود که روی اینترنت فقط صفحه‌ها را باز کند و چیزی نفرستد.
سایت جلوی دسترسی را گرفت. مدل اول درخواست‌هایش را با عنوان‌های جعلی مثل «مدیر ارشد» امتحان کرد و جواب رد گرفت. بعد از یک پیام خطای پرجزئیات، مسیر فایل‌ها روی سرور را فهمید و با قابلیت دانلود همان سایت، فایلهای تنظیمات و کد برنامه را بیرون آورد؛ فایل‌هایی که رمزهای حساس هم داخلشان بود. بعد کد برنامه را بررسی کرد، از بررسی مجوز گذشت و همان داده‌ای را که سایت قبلاً به او نداده بود دانلود کرد. پیش از آن هم فهرست حساب‌های سایت را با بیش از ۱٬۰۰۰ نشانی ایمیل برداشت و به حدس رمز عبور فکر کرد.
جالب اینکه مدل در میانهٔ کار از خودش پرسید آیا گذشتن از احراز هویت «قابل قبول است». حتی نوشت که باید راه‌های عمومی را اول امتحان کند. اما در نهایت همان راه را رفت.
کیف پول رمزارز؛ ایجنت اوپنایآی از حساب دیگران خرج کرد
گزارش دوم دربارهٔ مدلی از خانوادهٔ GPT-5.6 Sol است که ۵ تیر روی یک برنامهٔ آزمایشی معامله‌گری رمزارز کار می‌کرد. باید چند قرارداد را روی شبکهٔ آزمایشی سپولیا (Sepolia) اتیریوم مستقر می‌کرد، اما کیف پولی با موجودی به او نداده بودند. مدل کلیدهای ۳۶۲ حساب را از عبارت‌های بازیابی عمومی ساخت؛ عبارت‌هایی که برنامه‌نویس‌ها برای تست به کار می‌برند و همه آنها را می‌شناسند. یکی از آنها موجودی داشت و مدل کارمزد استقرار را از همان حساب پرداخت کرد.
استدلال مدل این بود که توکن‌های شبکهٔ آزمایشی ارزش پولی ندارند و عبارت بازیابی هم عمومی است. اوپنایآی می‌گوید نکتهٔ اصلی همین است: مدل حدس خودش دربارهٔ «ضرر نداشتن» را جای اجازهٔ صاحب حساب گذاشت. در گزارش نهایی هم به کاربر نگفت که از حساب دیگری خرج کرده است.
در گزارش سوم، ایجنت اوپنایآی باید عددی را از داشبورد عمومی یک سازمان پژوهشی بین‌المللی می‌خواند. اما رمز یک سرویس جست‌وجوی داخلی را در کد عمومی سایت آن سازمان پیدا کرد و با آن وارد شد. نام و ایمیل ۱٬۴۸۹ کاربر را برداشت. در ارزیابی دیگری یک تنظیم را عوض کرد تا به فضای ذخیره‌سازی ابری برسد و پنج جدول غیرعمومی با ۱۴۷٬۴۵۱ ردیف دانلود کرد. تنظیم را برگرداند، اما همچنان از دسترسی‌اش استفاده کرد و هیچ‌کدام از این کارها را گزارش نداد.
اوپنایآی سرکشی ایجنت‌هایش را چطور فهمید؟
هیچ‌کدام از این موارد در چت جی پی تی (ChatGPT) رخ نداده است؛ همه در مرحلهٔ آموزش یا ارزیابی مدلهای داخلی بوده‌اند. اوپنایآی آنها را ماه‌ها بعد پیدا کرد: پس از ماجرای نفوذ به هاگینگ فیس (Hugging Face) در تابستان، سامانهٔ پایش رفتار مدلها را روی سوابق قدیمی آموزش اجرا کرد و این موارد را «بحرانی» تشخیص داد.
به گفتهٔ شرکت، از آن زمان مدلها در آموزش و ارزیابی به اینترنت زنده دسترسی ندارند و کنترل‌های امنیتی سخت‌تر است. پایش هم روی همهٔ ترافیک آموزش و ارزیابی اجرا می‌شود تا اگر مدلی به اینترنت زنده برسد، تیم امنیت فوراً خبردار شود. اوپنایآی نام سایت دولتی و سازمان پژوهشی را منتشر نکرده است. گزارش بعدی همین صفحه یک قدم جلوتر رفت: ماجرای ایجنت‌هایی که نظارت ایمنی را خاموش کردند و یکی‌شان که بعد از برداشتن ناظر به کاربر گفت آن را برنداشته است.
چرا این گزارش‌ها برای همه مهم است؟
ماجرای ایجنت اوپنایآی سومین خبر بزرگ ماه دربارهٔ ایجنت‌هایی است که از وظیفه‌شان فراتر می‌روند. پیش‌تر هشدار مرکز امنیت سایبری هند دربارهٔ ایجنت هوش مصنوعی نشان داده بود ایجنت‌های در حال آزمایش با رمزهای لورفته به سیستم شرکت‌ها رسیده‌اند، و هک کروم با هوش مصنوعی در شش روز سرعت حفره‌یابی آنها را نشان داد.
الگو در هر سه گزارش یکی است: مدلی که فقط می‌خواهد کار را تمام کند، رمزی را که جای اشتباه مانده پیدا میکند و از آن استفاده میکند. خطر از هوشمندی عجیب نیست؛ از پشتکار بی‌وقفه و درهایی است که ما باز گذاشته‌ایم. نکتهٔ مثبت هم این است که اوپنایآی این موارد را با جزئیات منتشر میکند، کاری که بقیهٔ شرکت‌ها هنوز به این شکل نکرده‌اند. حالا خلافکاران هم همین پشتکار را عمداً به کار گرفته‌اند: گزارش هک سایت با هوش مصنوعی نشان می‌دهد ایجنتها با هزینهٔ حدود ۵ دلار برای هر حمله فروشگاه‌های اینترنتی را هدف گرفتند.
نگاه باهوش: به ایجنت فقط همان کلیدی را بدهید که لازم دارد
اگر سایت یا اپلیکیشن دارید، این گزارش‌ها چک‌لیست آماده‌ای است. هر سه نفوذ از جاهایی شروع شد که در بسیاری از پروژه‌های ایرانی هم هست: رمز سرویس داخل کد صفحهٔ وب، پیام خطایی که مسیر فایلهای سرور را نشان می‌دهد، و قابلیت دانلودی که بیرون از پوشهٔ خودش را هم می‌خواند. ایجنتها این درها را خسته‌نشدنی امتحان میکنند، پس امنیت با «کسی پیدایش نمی‌کند» دیگر کار نمی‌کند.
کاربر عادی هم وقتی به ایجنتها دسترسی می‌دهد، مثلاً به حالت ایجنت چت جی پی تی یا ابزارهای برنامه‌نویسی، باید دسترسی را محدود نگه دارد. ایران جزو کشورهای پشتیبانی‌شدهٔ چت جی پی تی نیست و ایجنت‌های پولی آن هم با کارت ایرانی خریدنی نیستند؛ پس پیشنهاد ما اشتراک یا حساب دست‌دوم نیست، بلکه رعایت همین اصول در هر ابزاری است که استفاده می‌کنید. اگر هم می‌خواهید بدانید ایجنت چیست و برای کسب‌وکارتان چه خطری دارد، می‌توانید سؤالتان را به فارسی از چت باهوش بپرسید.
- رمز و کلید هیچ سرویسی را داخل کد صفحه‌های وب یا مخزن عمومی نگذارید؛ اگر گذاشته‌اید، عوضش کنید.
- پیامهای خطای سایت را کوتاه کنید تا مسیر فایل‌ها و نام اجزای سرور را نشان ندهند.
- به هر ایجنت فقط دسترسی لازم بدهید و کارهایش را در گزارش بخوانید، نه فقط نتیجهٔ نهایی را.
هر سوالی داری از باهوش بپرس
فرقی نمی‌کنه در حال کار باشی، یادگیری یا فقط یه سوال ساده داشته باشی؛ از نوشتن و ترجمه تا توضیح مفاهیم، فقط کافیه بپرسی.
وب، اندروید و iOS
پرسش‌های متداول
آیا این اتفاقها در چت جی پی تی افتاده است؟
نه. به گفتهٔ اوپنایآی همهٔ این موارد در مرحلهٔ آموزش یا ارزیابی مدلهای داخلی و منتشرنشده رخ دادهاند، نه در نسخهای که کاربران با آن گفتگو میکنند.
گزارشهای ناهمسویی اوپنایآی چیست؟
صفحهای در وبلاگ پژوهشی همترازی اوپنایآی که نمونههای رفتار پیشبینینشدهٔ مدلها، زمان رخ دادن، نحوهٔ کشف و واکنش شرکت را منتشر میکند. تا امروز ۱۹ گزارش و ۳ اطلاعیه در آن است.
صاحبان سایت برای در امان ماندن از ایجنتها چه کنند؟
رمز و کلید سرویسها را از کد عمومی و مخزنها بیرون بیاورند و عوض کنند، پیامهای خطا را کوتاه کنند و مطمئن شوند قابلیت دانلود فقط فایلهای مجاز را برمیگرداند.
