طرح تازه اروپا برای امنیت سایبریِ هوش مصنوعی؛ چرا آزمون مدلها از خود مدل مهمتر میشود
کمیسیون اروپا میخواهد ارزیابی، دسترسی کنترلشده و محیطهای آزمایشی امن را به بخشی از پاسخ امنیتی در برابر AI پیشرفته تبدیل کند.
نویسنده امنیت و کسبوکار دیجیتال
AI هم مدافع است و هم شتابدهنده حمله
هوش مصنوعی میتواند کار تیم دفاع را در چند جبهه بهتر کند: اولویتبندی هشدارها، خلاصهسازی رخدادها، تحلیل گزارشهای طولانی، پیشنهاد وصله، بررسی پیکربندی و کمک به پاسخگویی سریعتر. اینها کاربردهای واقعیاند، نه وعدههای دور. اما سرعت در امنیت همیشه ارزش مطلق نیست. اگر یک دستیار به داده نادرست تکیه کند، یک هشدار مهم را کماهمیت نشان دهد یا بدون کنترل مناسب یک تغییر مخرب پیشنهاد کند، همان سرعت به ضریب تکثیر اشتباه تبدیل میشود.
از سمت دیگر، مهاجم میتواند از مدلها برای ساختن متن متقاعدکنندهتر، جستوجوی سریعتر در کد، خودکارسازی جمعآوری اطلاعات یا آزمودن سناریوهای گوناگون سوءاستفاده کند. این به معنای آن نیست که هر ابزار عمومی فوراً به سلاح بدل میشود. معنایش این است که فاصله میان ایده و اجرای یک حمله برای بازیگران کمتجربهتر هم میتواند کوتاهتر شود. دفاع بالغ باید این واقعیت را بدون اغراق ببیند: نه با وحشتزدگی، نه با این فرض که ابزار هوشمند بهخودیخود بیطرف و بیخطر است.
چرا ارزیابی مستقل یک موضوع فنیِ حاشیهای نیست
برنامه اروپا بر ارزیابی مدلها پیش از عرضه و تقویت ظرفیت ارزیابی تأکید دارد. این بخش شاید خشک و اداری به نظر برسد، اما دقیقاً جایی است که ادعای امنیت باید به شواهد تبدیل شود. یک ارزیابی مفید فقط نمیپرسد مدل در یک آزمون استاندارد چند امتیاز گرفته است. میپرسد وقتی با درخواست مبهم، ابزار پرخطر، داده محرمانه، دستور مخرب پنهان در متن یا فشار زمانی روبهرو میشود چه میکند. آیا مرز میان «کمک کن بفهمم» و «برای من عمل کن» را درک میکند؟ آیا میتوان رفتار آن را ثبت و بازبینی کرد؟
برای شرکتهای کوچکتر هم این نگاه قابل استفاده است، حتی اگر تیمی در اندازه یک نهاد اروپایی ندارند. ارزیابی را میتوان از یک کارگاه ساده شروع کرد: فهرست کاربردهای AI را بنویسید، برای هر کاربرد دادههای در دسترس و اقدامهای مجاز را مشخص کنید، سناریوهای شکست واقعی بسازید و فردی را مسئول تأیید خروجیهای حساس قرار دهید. تفاوت این کار با چکلیست نمایشی در تکرار آن است. با تغییر مدل، ابزار، داده یا سطح دسترسی، ارزیابی هم باید تغییر کند.
دسترسی کنترلشده، مخالف نوآوری نیست
یکی از محورهای برنامه، روشن کردن شرایط دسترسی به مدلهای پیشرفته برای کارهای امنیتی است. این موضوع یک تناقض ظاهری دارد: مدافعان برای مقابله با تهدیدهای پیچیده به ابزار قوی نیاز دارند، اما باز کردن بیقیدوشرط همان ابزارها میتواند ریسک تازه بسازد. پاسخ حرفهای نه محدودیت همیشگی است و نه دسترسی برای همه. پاسخ، طراحی لایههای دسترسی است.
یک عامل امنیتی میتواند در محیط شبیهسازیشده، یک پیکربندی نادرست را پیدا کند و راه اصلاحش را پیشنهاد دهد. این کار کمخطرتر از آن است که همان عامل اجازه داشته باشد در محیط تولید، بدون تأیید، کلیدهای دسترسی را جابهجا یا سرویس را متوقف کند. هرچه اثر یک اقدام بیشتر باشد، محدوده دسترسی باید باریکتر، ثبت رخداد دقیقتر و تأیید انسانی روشنتر باشد. این اصل نه سرعت کار را نابود میکند و نه از تیمها میخواهد هر عمل کوچک را دستی انجام دهند؛ فقط اختیار را متناسب با پیامد طراحی میکند.
محیط شبیهسازیشده، تمرین قبل از بحران است
ایده ایجاد یک بستر امن برای آزمون AI در امنیت سایبری، از بهترین بخشهای برنامه است. بسیاری از سازمانها ابزار را در محیط واقعی میسنجند، چون داده و مسئله واقعی آنجاست. مشکل این است که محیط واقعی جای آزمایش اولیه نیست. در یک محیط شبیهسازیشده میتوان داده ساختگی، سامانههای آسیبپذیر کنترلشده و حملههای تمرینی داشت؛ میتوان دید عامل چگونه ابزار انتخاب میکند، چه اطلاعاتی افشا میشود و کجا نیاز به توقف دارد، بدون اینکه مشتری یا سرویس اصلی قربانی آزمون شود.
این رویکرد یک فایده فرهنگی هم دارد. وقتی تیم امنیت، محصول و عملیات در یک تمرین مشترک شرکت میکنند، تصمیمهای مبهم آشکار میشوند: چه کسی مجاز به توقف عامل است؟ چه کسی لاگ را میبیند؟ اگر توصیه AI با تجربه کارشناس تضاد داشت، تصمیم نهایی با کیست؟ فناوری امن از پاسخهای آماده به وجود نمیآید؛ از تمرین همین پرسشهای ناخوشایند به وجود میآید.
ارزش برنامه اروپا در این است که مسئله را درست صورتبندی میکند: AI در امنیت سایبری یک قابلیت منفرد نیست، بلکه یک زنجیره از مدل، داده، ابزار، هویت، دسترسی و تصمیم انسانی است. اگر این زنجیره با هم طراحی نشود، استفاده از AI ممکن است فقط حمله و دفاع را سریعتر کند، بدون آنکه کسی واقعاً کنترل بیشتری به دست آورده باشد. منبع: https://commission.europa.eu/news-and-media/news/new-eu-plan-address-risks-and-opportunities-advanced-ai-cybersecurity-2026-07-07_en
“خبر خوب، خبری است که کاربر بعد از خواندن آن تصمیم بهتری بگیرد.”
درباره نویسنده
سینا فرزان
نویسنده امنیت و کسبوکار دیجیتال
سینا روی امنیت سایبری، بلاکچین، اعتماد دیجیتال و کاربرد فناوری در کسبوکارهای کوچک تمرکز دارد.
