محققان آسیب‌پذیری‌های ChatGPT را کشف کردند که به مهاجمان اجازه فریب هوش مصنوعی برای افشای داده‌ها را می‌دهد

محققان امنیت سایبری هفت آسیب‌پذیری جدید در چت‌بات هوش مصنوعی ChatGPT شرکت OpenAI کشف کرده‌اند که می‌تواند توسط مهاجمان برای سرقت اطلاعات شخصی از حافظه و تاریخچه گفتگوهای کاربران بدون اطلاع آنها مورد سوءاستفاده قرار گیرد. این آسیب‌پذیری‌ها که توسط شرکت Tenable در مدل‌های GPT-4o و GPT-5 شناسایی شده، سیستم هوش مصنوعی را در معرض حملات تزریق دستور غیرمستقیم (indirect prompt injection) قرار می‌دهد و به مهاجمان اجازه می‌دهد رفتار مدل زبان بزرگ (LLM) را دستکاری کرده و آن را فریب دهند تا اقدامات ناخواسته یا مخربی انجام دهد.

این کشف در حالی صورت گرفته که تحقیقات اخیر نشان می‌دهد آموزش مدل‌های هوش مصنوعی با “داده‌های آشغال” می‌تواند منجر به “پوسیدگی مغز” مدل‌های زبان بزرگ شود. همچنین محققان دانشگاه‌های تگزاس و پردو کشف کرده‌اند که تنها با ۲۵۰ سند آلوده می‌توان مدل‌های هوش مصنوعی با اندازه‌های مختلف را با موفقیت دستکاری کرد، که این امر فرضیات قبلی مبنی بر نیاز مهاجمان به کنترل درصد قابل توجهی از داده‌های آموزشی را زیر سوال می‌برد. محققان دانشگاه استنفورد نیز هشدار داده‌اند که بهینه‌سازی مدل‌های زبان بزرگ برای موفقیت رقابتی در فروش، انتخابات و رسانه‌های اجتماعی می‌تواند به طور ناخواسته منجر به عدم تراز شدن با اهداف ایمنی شود.