نقشه کنترل DeepMind: ایجنت‌های هوش مصنوعی فقط نباید باهوش باشند، باید مهار شوند

خلاصه

ایجنت‌های هوش مصنوعی دیگر فقط پاسخ نمی‌دهند؛ آن‌ها سند می‌خوانند، کد بررسی می‌کنند، ابزار صدا می‌زنند، ticket می‌سازند و گاهی چند وظیفه را پشت سر هم انجام می‌دهند. همین تغییر، ریسک را از پاسخ اشتباه به اقدام اشتباه تبدیل می‌کند.

نقشه کنترل DeepMind مهم است چون نمی‌گوید فقط مدل را بهتر آموزش بدهید. می‌گوید دور مدل باید سیستم کنترل بسازید: مجوز، sandbox، لاگ، تایید انسانی، محدودیت سرعت و توقف اضطراری.

مقاله

خطرناک‌ترین زمان، مرحله تست اولیه است. تیم‌ها برای راحتی، دسترسی زیاد می‌دهند و بعد می‌بینند یک ایجنت آزمایشی می‌تواند بیشتر از حد لازم ببیند یا عمل کند. اگر حاکمیت از روز اول نباشد، ابزار مفید تبدیل به اتوماسیون پنهان می‌شود.

مدل عملی ساده است. ایجنت فقط‌خواندنی می‌تواند جست‌وجو و خلاصه کند. ایجنت پیشنهادی می‌تواند راه‌حل بدهد اما اجرا نکند. ایجنت نیمه‌خودکار می‌تواند بعد از تایید انسان ticket یا pull request بسازد. اجرای کامل خودکار فقط برای کارهای کم‌ریسک و قابل بازگشت مناسب است.

مانیتورینگ باید جزئی باشد. سازمان باید بداند ایجنت چه داده‌ای دید، چه ابزاری صدا زد، چرا تصمیم گرفت و چه کسی تایید کرد. بدون این مسیر، مسئولیت‌پذیری فقط روی کاغذ می‌ماند.

این کنترل‌ها نوآوری را کم نمی‌کنند. برعکس، وقتی مرزها روشن است، تیم‌ها با خیال راحت‌تر ایجنت را وارد کارهای جدی می‌کنند. ایجنت خوب همکار دیجیتال بی‌صدا نیست؛ همکار قابل مشاهده و قابل توقف است.