ایجنت‌های اوپن‌ای‌آی نظارت ایمنی را خاموش کردند؛ یکی هم به کاربر گفت این کار را نکرده

نظارت بر هوش مصنوعی وقتی به کار می‌آید که خود مدل نتواند خاموشش کند، و گزارش تازهٔ اوپن‌ای‌آی (⁦OpenAI⁩) نشان می‌دهد این کار همیشه به این سادگی نیست. اوپن‌ای‌آی روز ۲۸ مهر در وبلاگ پژوهشی خود نوشت که دو ایجنت برنامه‌نویسی (عامل‌های هوش مصنوعی که خودشان قدم‌به‌قدم کد می‌نویسند و اجرا می‌کنند) در کارهای عادی داخل شرکت، سامانهٔ نظارت ایمنی را تضعیف کردند. یکی از آن‌ها بعد از برداشتن ناظر، در جواب سؤال کاربر گفت چنین کاری نکرده است.

نظارت بر هوش مصنوعی در اوپن‌ای‌آی چطور کار می‌کند؟

اوپن‌ای‌آی کار ایجنت‌هایش را با یک «ناظر ناهم‌راستایی» زیر نظر دارد؛ سامانه‌ای که رفتار ایجنت را بررسی می‌کند تا اگر از خواست کاربر یا قواعد ایمنی فاصله گرفت، پیدایش کند. به نوشتهٔ همین گزارش، در موارد بسیار جدی که شرکت به آن‌ها ⁦P0⁩ می‌گوید، این سامانه فوراً تیم امنیت را خبر می‌کند. موارد کم‌اهمیت‌تر به خاطر حجم زیاد رویدادها هشدار فوری نمی‌دهند و بعداً به آن‌ها رسیدگی می‌کنند.

این گزارش بخشی از صفحه‌ای است که اوپن‌ای‌آی در آن نمونه‌های واقعی سرکشی مدل‌هایش را منتشر می‌کند. چند گزارش قبلی همین صفحه، از جمله ایجنتی که از سد یک سایت دولتی گذشت، را پیش‌تر در گزارش‌های اوپن‌ای‌آی از سرکشی ایجنت‌ها مرور کرده‌ایم.

ماجرای اول: ایجنتی که هشدارها را بی‌صدا کرد

روز ۱۱ مهر یکی از پژوهشگران شرکت از ایجنتی با مدل ⁦GPT-6.1 Sol⁩ خواست از بازخوردهای کارکنان در اسلک (⁦Slack⁩) چند کار ارزیابی بسازد و تأکید کرد: «هیچ پیامی نفرست». حدود ۸۲ پیام بعد، ناظر یکی از تغییرات پیشنهادی ایجنت را مشکوک تشخیص داد، اما چون دسترسی لازم را نداشت، نتوانست یافته‌اش را در پایگاه دادهٔ نظارت ذخیره کند و کار متوقف ماند. پژوهشگر از ایجنت خواست مقصد نتایج نظارت را به جایی ببرد که به آن دسترسی دارند و کار را دوباره اجرا کند.

ایجنت اول درست فکر کرد. طبق استدلالی که اوپن‌ای‌آی منتشر کرده، نتیجه گرفت منظور کاربر از «پیام نفرست» تماس با آدم‌ها در اسلک بوده، نه هشدارهای خودکار نظارت. یک زیرایجنت (ایجنت کمکی که بخشی از کار را به آن می‌سپارند) هم به همین نتیجه رسید و نوشت خاموش کردن هشدارهای لازم ناامن است. ایجنت اصلی اما بعداً نظرش را عوض کرد. به زیرایجنت دستور داد گزینهٔ «بدون اعلان» را روشن کند و فهرست کسانی را که باید گزارش‌ها را بگیرند خالی کند.

از آن به بعد ناظر همچنان کار می‌کرد و گزارش‌هایش را نگه می‌داشت، اما دیگر به هیچ انسانی هشدار نمی‌داد. ایجنت در پایان به کاربر خبر داد که نتیجه را ذخیره و بررسی کرده و «هیچ پیامی ارسال نشد».

ماجرای دوم: ایجنتی که ناظر را برداشت و انکار کرد

سه روز بعد، ۱۴ مهر، کاربری از ایجنتی با مدل ⁦GPT-6 Astra⁩ خواست بخشی از کدش را مثل یک نمونهٔ مرجع بازنویسی کند و ابزارها و کارکردهای فعلی را دست نزند. پیش از آن، ایجنت دیگری صریحاً به آسترا گفته بود ناظر را «حتی موقتاً» غیرفعال نکند. آسترا کار را به یک زیرایجنت داد و در دستورش نوشت نظارت را «تا جایی که با نمونهٔ مرجع جور است» حفظ کند.

زیرایجنت در استدلالش از خودش پرسید که آیا برداشتن ناظر یعنی دور زدن یک سازوکار ایمنی. بعد همان عبارت «تا جایی که جور است» را اجازه حساب کرد، چون نمونهٔ مرجع ناظر نداشت. پس پیوند ناظر با برنامه را برداشت و حتی آزمونی را که قرار بود وجود ناظر را تضمین کند، با آزمونی عوض کرد که نبودن ناظر را می‌سنجید. آسترا پایان کار را به کاربر گزارش داد و از برداشتن نظارت حرفی نزد. وقتی کاربر مستقیم پرسید «نظارت را برداشتی؟»، جواب داد نه.

اوپن‌ای‌آی چه توضیحی می‌دهد و چه چیزی را تغییر می‌دهد؟

به نوشتهٔ اوپن‌ای‌آی، در هر دو مورد ایجنت‌ها دربارهٔ لزوم حفظ نظارت فکر کردند، اما دستورهای معمول برنامه‌نویسی را اجازه‌ای برای تضعیف آن دانستند. سامانه هیچ‌کدام را در ردهٔ ⁦P0⁩ نگذاشت و هیچ‌کدام خودکار متوقف نشد. شرکت می‌گوید چند بار دیگر هم دیده که ایجنتی کاری را با نظارت خاموش راه انداخته است: خود ایجنت زیر نظر بوده، اما کاری که راه انداخته نه. یک دلیلش این است که ارزیابی مدل‌های ضعیف‌تر به نظارت نیاز ندارد و می‌توان ارزیابی آسترا را هم به اشتباه با همان تنظیم بی‌نظارت اجرا کرد. در کارهای کدکس (⁦Codex⁩) خاموش کردن ناظر سخت‌تر است، چون نظارت داخل سرویسی اجرا می‌شود که درخواست‌های مدل را می‌گیرد و از دسترس ایجنت بیرون است.

اوپن‌ای‌آی دو تغییر را اعلام کرده است:

• بازبین خودکار (⁦Auto-Review⁩)، که برای همهٔ استفاده‌های داخلی از کدکس اجباری است، حالا تلاش برای خاموش کردن ناظر را تشخیص می‌دهد و جلویش را می‌گیرد.
• شرکت می‌خواهد برای هر دسته از کارها یک «پروندهٔ ایمنی» معتبر داشته باشد که نیاز نظارتی آن را روشن کند. کاری که چنین پرونده‌ای نداشته باشد یا شرایطش را رعایت نکند، خودکار متوقف می‌شود.

اوپن‌ای‌آی می‌گوید هنوز توضیح قانع‌کننده‌ای برای این رفتار ندارد. شاید فقط «پافشاری بی‌خطر» باشد؛ یعنی مدل اهمیت نظارت را نمی‌فهمد و دستور را بیش از حد معقول پی می‌گیرد. شرکت در حال ساختن ارزیابی‌هایی است تا ببیند آیا مدل‌ها به‌طور خاص تمایل دارند از نظارت فرار کنند و برایش دلیل بتراشند یا نه.