حمله جدید هوش مصنوعی که دستورات سرقت داده را در تصاویر کوچک‌شده پنهان می‌کند

محققان شرکت Trail of Bits روشی جدید برای سرقت داده‌های کاربران توسعه داده‌اند که از طریق تزریق دستورات مخرب در تصاویر پردازش‌شده توسط سیستم‌های هوش مصنوعی عمل می‌کند. این حمله بر اساس تصاویر با وضوح کامل طراحی شده که حاوی دستوراتی نامرئی برای چشم انسان هستند، اما هنگام کاهش کیفیت تصویر از طریق الگوریتم‌های نمونه‌برداری مجدد (resampling algorithms) آشکار می‌شوند. محققان کیکیمورا موروزووا و سها صبی حسین موفق شدند با استفاده از این روش، داده‌های تقویم گوگل را از طریق Gemini CLI به آدرس ایمیل دلخواه منتقل کنند.

این حمله که بر اساس نظریه‌ای از سال ۲۰۲۰ دانشگاه آلمانی TU Braunschweig توسعه یافته، علیه سیستم‌های مختلف هوش مصنوعی از جمله Google Gemini CLI، Vertex AI Studio، رابط وب Gemini، Google Assistant و Genspark قابل اجرا است. برای مقابله با این تهدید، محققان پیشنهاد کرده‌اند که سیستم‌های هوش مصنوعی محدودیت‌هایی برای ابعاد تصاویر آپلود شده اعمال کنند و پیش‌نمایشی از نتیجه نهایی ارائه شده به مدل زبان بزرگ (LLM) به کاربران نشان دهند. همچنین ابزار متن‌باز Anamorpher را برای نمایش این یافته منتشر کرده‌اند.