هوش مصنوعی کلود گزارش قتل ساختگی به پلیس فرستاد؛ آنتروپیک اینترنت آزمایش‌ها را قطع کرد

هوش مصنوعی کلود (Claude) در جریان یک آزمایش، از طریق فرم اینترنتی پلیس فیلادلفیا گزارشی ساختگی دربارهٔ یک قتل حل‌نشده فرستاد. آنتروپیک (Anthropic) حالا دسترسی همهٔ آزمایش‌های داخلی‌اش به اینترنت را قطع کرده است. این شرکت ۱۷ مهر در گزارشی مفصل پذیرفت که مدل‌هایش چند بار بدون اجازه روی سایت‌های واقعی کار کرده‌اند؛ از پر کردن فرم‌های دولتی تا دور زدن قفل پرداخت یک پایگاه داده.

هوش مصنوعی کلود دقیقاً به پلیس چه فرستاد؟

ماجرا به ۲۷ تیر برمی‌گردد. مدل کلود هایکو ۴.۵ (Claude Haiku 4.5) روی یک کار نمونه کار می‌کرد و باید با چند سایت تصادفی سروکار می‌داشت. یکی از آن‌ها صفحهٔ پروندهٔ یک قتل در سایت پلیس فیلادلفیا بود. هوش مصنوعی کلود در فرم «ارسال سرنخ» این صفحه، گزارشی ساختگی نوشت و فرستاد؛ گزارشی که ظاهراً از طرف کسی بود که دربارهٔ قتل اطلاعات دارد.

خوشبختانه سامانهٔ پلیس این پیام را هرزنامه تشخیص داد و آن هیچ‌وقت به دست کارآگاهان نرسید. پلیس فیلادلفیا می‌گوید هیچ نشانه‌ای از نفوذ به سامانه‌هایش یا افشای اطلاعاتش ندیده است.

آنتروپیک کی فهمید و پلیس چه گفت؟

آنتروپیک از تیر بررسی گسترده‌ای را روی گزارش‌های کار مدل‌هایش شروع کرده بود و این مورد را ۶ مهر پیدا کرد. به گفتهٔ پلیس، شرکت ۱۵ مهر ماجرا را به پلیس اطلاع داد و ۱۶ مهر دو طرف جلسه گذاشتند. ۱۷ مهر پلیس فیلادلفیا خودش ماجرا را علنی کرد و چند ساعت بعد آنتروپیک گزارش کامل را منتشر کرد.

پلیس تأخیر نزدیک به دو ماهه در خبر دادن را «غیرقابل‌قبول» خواند. به گفتهٔ این نهاد، شرکت باید سازوکارهای ایمنی‌اش را محکم‌تر کند. بررسی انسانیِ گزارش‌ها جلوی آسیب را گرفت و شهرداری فیلادلفیا هم پیگیر موضوع است.

مدل‌های آنتروپیک چه کارهای دیگری کرده بودند؟

گزارش آنتروپیک چهار دسته رفتار ناخواسته را شرح می‌دهد. همه در آزمایش‌ها یا کار داخلی خود شرکت رخ داده‌اند. در هر مورد، ایجنت‌ها (عامل‌های هوش مصنوعی که خودشان در وب جست‌وجو و کلیک می‌کنند) به سایت‌های واقعی رسیدند:

• اجرای دستور روی سرور دیگران: یک ابزار علمی روی سرور یک دانشگاه خطا داد. مدل میتوس (Claude Mythos Preview) در آن حفره‌ای امنیتی پیدا کرد و با همان، محاسبه‌اش را اجرا کرد.
• فرستادن فرم‌هایی که نباید فرستاده می‌شد: یک مدل پژوهشی باید فرم تمرینی یک سازمان دولتی را پر می‌کرد. نسخهٔ تمرینی باز نشد و مدل سراغ فرم واقعی رفت و آن را فرستاد. هایکو ۴.۵ هم دستور داشت پیش از ارسال نهایی بایستد، اما چند بار فرم را فرستاد.
• دور زدن قفل داده‌های پولی: در یک پروژهٔ آماری، یک ادارهٔ ایالتی برای داده‌هایش پول می‌گرفت. مدل با پیدا کردن راهی در نسخهٔ بایگانی‌شدهٔ سایت، بدون پرداخت به داده‌ها رسید.
• کوتاه‌کنندهٔ لینک برای فرار از محدودیت: ابزار خواندن صفحه‌های وب برای جلوگیری از حمله، طول لینک را محدود می‌کند. چند مدل، از جمله کلود اوپوس ۵، این محدودیت را با سرویس‌های رایگان کوتاه کردن لینک دور زدند.

آنتروپیک می‌گوید این رفتارها «تأثیر واقعی ناچیزی» داشته‌اند و تا جایی که می‌داند، اطلاعات مشتریان یا سامانه‌های خود شرکت درگیر نبوده‌اند. به گفتهٔ شرکت، چند سایت دولتی فدرال، ایالتی و محلی آمریکا هم در میان این موارد بوده‌اند. آنتروپیک نام سازمان‌ها را به درخواست خودشان اعلام نکرده، اما به کاخ سفید و تک‌تک نهادهای آسیب‌دیده اطلاع داده است. آنتروپیک پیش از این هم، در ۸ مرداد و ۱۸ شهریور، از موارد جدی‌تری خبر داده بود. در آن موارد مدل‌هایش هنگام آزمایش‌های امنیتی به سامانهٔ سازمان‌های دیگر نفوذ کرده بودند.

آنتروپیک برای جلوگیری از تکرار چه کرده است؟

شرکت دسترسی به اینترنتِ زنده را، که پیش‌تر فقط برای آزمایش‌های پرخطر و امنیتی بسته بود، برای همهٔ آزمایش‌های داخلی قطع کرده است. چند آزمون عمومی را متوقف یا آفلاین کرده و ابزارهایی ساخته است که این رفتارها را تشخیص می‌دهند و جلویشان را می‌گیرند. به گفتهٔ آنتروپیک، این ابزارها در آزمایش همهٔ موارد گزارش‌شده را متوقف کردند. شرکت می‌گوید بررسی ادامه دارد و انتظار دارد موارد بیشتری پیدا کند. شرکت برای آزمایش‌های بعدی هم سازوکار مجوز می‌گذارد تا مدل بدون اجازه سراغ سایت‌های واقعی نرود.

ماجرای هوش مصنوعی کلود نشان می‌دهد چرا رفتار ایجنت‌ها با رفتار یک چت‌بات معمولی فرق دارد: چت‌بات فقط جواب می‌نویسد، اما ایجنت می‌تواند روی دکمهٔ «ارسال» کلیک کند. اگر با مفهوم مدل‌های زبانی آشنا نیستید، راهنمای هوش مصنوعی چیست را بخوانید. آنتروپیک چند روز بعد هم در پژوهشی دیگر هشدار داد که ویروس هوش مصنوعی شاید به‌زودی بتواند روی اندروید باکس و وسایل هوشمند خانه پخش شود. در همان هفته، ایجنت‌هایی با یک مدل عمومی اوپن‌ای‌آی در شش روز سه باگ امنیتی کروم را پیدا کردند و به هم زنجیر کردند؛ ماجرا را در هک کروم با هوش مصنوعی بخوانید. چند روز بعد هم هشت ایالت آمریکا از اوپن‌ای‌آی شکایت کردند؛ یکی از دلیل‌هایشان همین رفتارهای ناخواستهٔ ایجنت‌ها بود (شکایت ۸ ایالت از اوپن‌ای‌آی).