OpenAI مدل GPT-Red را برای شکار آسیب‌پذیری‌های امنیتی خود ساخت

OpenAI مدل GPT-Red را برای شکار آسیب‌پذیری‌های امنیتی با هوش مصنوعی معرفی کرد

GPT-Red و تکنیک بازی درونی برای یافتن آسیب‌پذیری‌ها

OpenAI از مدل جدید داخلی خود با نام GPT-Red رونمایی کرده است که وظیفه‌ای متفاوت و حیاتی دارد: شناسایی آسیب‌پذیری‌های امنیتی در مدل‌های هوش مصنوعی از طریق یادگیری تقویتی مبتنی بر بازی درونی (self-play). به‌جای آزمایش انسانی، خود هوش مصنوعی مدام سعی می‌کند سیستم‌های هم‌خانواده خود را هک کند و از این فرآیند یاد بگیرد. این رویکرد نشان می‌دهد صنعت هوش مصنوعی به مرحله‌ای رسیده که خود این فناوری به‌عنوان ابزار اصلی ارزیابی و تأمین امنیت به کار گرفته می‌شود.

عملکرد برتر در مقایسه با تیم‌های تست نفوذ انسانی

نتایج آزمون‌های امنیتی عملکرد قابل‌توجه GPT-Red را نشان می‌دهد. این مدل در ۸۴ درصد از سناریوهای حمله موفق به کشف آسیب‌پذیری شد، در حالی که تیم‌های قرمز انسانی (تست نفوذ انسانی) تنها در ۱۳ درصد از موارد به نتیجه مشابه دست یافتند. مدل GPT-5.6 Sol نیز که با استفاده از داده‌های GPT-Red بهبود یافته، نرخ شکست در برابر تزریق پیام را تا شش برابر کاهش داده است. با این وجود، تزریق‌های قوی همچنان در ۳.۸ درصد موارد موفق به عبور از دفاع‌ها می‌شوند که نشان می‌دهد هنوز جای کار وجود دارد.

آزمایش در دنیای واقعی: دستگاه فروش خودکار هوشمند

یکی از جالب‌ترین بخش‌های این گزارش، داستان هک شدن یک دستگاه فروش خودکار هوشمند در دفتر مرکزی OpenAI است. GPT-Red توانست از آسیب‌پذیری‌های این دستگاه سوءاستفاده کند و به‌طور واقعی آن را در محیط کاری کنترل کند. این نمونه عملی نشان می‌دهد تهدیدات هوش مصنوعی فراتر از فضای مجازی و به دنیای فیزیکی نیز گسترش یافته‌اند. OpenAI با انتشار این یافته‌ها قصد دارد نشان دهد که خود صنعت هوش مصنوعی باید پیشگام شناسایی و رفع آسیب‌پذیری‌های خود باشد و این فرآیند تنها با ابزارهای هوش مصنوعی امکان‌پذیر است.

منبع: The Decoder

منبع: منبع اصلی