مایکروسافت روز چهارشنبه اعلام کرد که یک اسکنر سبکوزن ساخته که میتواند بکدورها (backdoors) را در مدلهای زبانی بزرگ با وزنهای باز (open-weight LLMs) شناسایی کند و اعتماد کلی به سیستمهای هوش مصنوعی را بهبود بخشد. تیم امنیت هوش مصنوعی این غول فناوری توضیح داد که این اسکنر از سه سیگنال قابل مشاهده استفاده میکند که میتوانند به طور قابل اعتماد وجود بکدورها را با حفظ نرخ پایین مثبت کاذب شناسایی کنند. این روش بر اساس دو یافته کلیدی عمل میکند: نخست اینکه عوامل خفته (sleeper agents) تمایل دارند دادههای مسمومسازی را به خاطر بسپارند، و دوم اینکه مدلهای مسمومشده الگوهای متمایزی در توزیع خروجی و سرهای توجه (attention heads) خود هنگام وجود محرکهای بکدور در ورودی نشان میدهند.
این اسکنر سه نشانه عملی را شناسایی میکند: الگوی توجه “مثلث دوگانه” مشخص در مدلهای مسموم، نشت دادههای مسمومسازی از طریق حافظه، و فعالسازی بکدور توسط محرکهای تقریبی متعدد. مایکروسافت تأکید کرد که این روش نیازی به آموزش اضافی مدل یا دانش قبلی از رفتار بکدور ندارد و در مدلهای رایج سبک GPT کار میکند. با این حال، محدودیتهایی دارد؛ از جمله اینکه روی مدلهای اختصاصی کار نمیکند و بهترین عملکرد را در بکدورهای مبتنی بر محرک با خروجیهای قطعی دارد. این توسعه همزمان با گسترش چرخه توسعه امن (SDL) مایکروسافت برای رسیدگی به نگرانیهای امنیتی ویژه هوش مصنوعی از جمله تزریق پرامپت (prompt injection) و مسمومسازی داده (data poisoning) صورت گرفته است.
کلمات کلیدی : مایکروسافت، بکدور، هوش مصنوعی، مدلهای زبانی، امنیت، مسمومسازی داده
نظر شما چیست؟
خوشحال میشویم نظر شما را بدانیم. نظری بنویسید.