هوش مصنوعی تولیدی چشم‌انداز امنیت سایبری را به طور چشمگیری تغییر داده است. مهاجمان اکنون از مدل‌های زبانی بزرگ برای جعل هویت افراد مورد اعتماد و خودکارسازی تاکتیک‌های مهندسی اجتماعی در مقیاس وسیع استفاده می‌کنند. گزارش‌های اطلاعات تهدید نشان می‌دهند که حملات فیشینگ صوتی ۴۴۲ درصد افزایش یافته و بازیگران تهدید کره شمالی از فناوری دیپ فیک برای ایجاد هویت‌های مصنوعی در مصاحبه‌های شغلی آنلاین استفاده می‌کنند.

سه روند در حال همگرایی هستند که جعل هویت با هوش مصنوعی را به بردار تهدید بعدی تبدیل می‌کند: هوش مصنوعی فریب را ارزان و مقیاس‌پذیر می‌کند، همکاری مجازی شکاف‌های اعتماد را آشکار می‌سازد، و دفاع‌ها عموماً بر احتمال متکی هستند نه اثبات. فناوری‌های تشخیص سنتی که بر تحلیل رفتار مشکوک یا استفاده از هوش مصنوعی برای تشخیص جعلی بودن متکی هستند، کافی نیستند. پیشگیری واقعی نیازمند تأیید هویت رمزنگاری‌شده، بررسی یکپارچگی دستگاه، و نشانگرهای اعتماد قابل مشاهده است تا شرایطی ایجاد شود که جعل هویت غیرممکن باشد.