مایکروسافت از ابزار امنیتی جدیدی رونمایی کرده است که هدف آن حفظ امنیت ابزارهای مولد هوش مصنوعی و ایمن برای استفاده است.
PyRIT ، مخفف Python Risk Identification Toolkit برای هوش مصنوعی مولد، به توسعه‌دهندگان کمک می‌کند تا به تهدیدات رو به رشدی که کسب‌وکارها در هر اندازه‌ای با آن‌ها مواجه هستند از سوی مجرمانی که به دنبال استفاده از تاکتیک‌های جدید هستند، پاسخ دهند.
همانطور که بسیاری از شما تاکنون می‌دانید، ابزارهای هوش مصنوعی مولد مانند ChatGPT توسط مجرمان سایبری برای ایجاد سریع کد برای بدافزارها ، تولید (و تصحیح) ایمیل‌های فیشینگ و موارد دیگر استفاده می‌شوند.
کار دستی هنوز مورد نیاز است
توسعه‌دهندگان با تغییر نحوه پاسخ‌دهی ابزار به اعلان‌های مختلف و تا حدودی محدود کردن قابلیت‌های آن پاسخ دادند و مایکروسافت اکنون تصمیم گرفته است که آن را یک قدم فراتر بردارد.
در طول سال گذشته، شرکت red «چند سیستم هوش مصنوعی مولد با ارزش» را قبل از اینکه وارد بازار شوند، تشکیل داد و در این مدت شروع به ساخت اسکریپت‌های یکباره کرد. مایکروسافت توضیح داد: «همانطور که ما رد انواع مختلفی از سیستم‌های هوش مصنوعی مولد را گرد هم می‌آوریم و ریسک‌های مختلف را تحلیل می‌کردیم، آپشن های ی را اضافه کردیم که مفید بودند. امروزه PyRIT یک ابزار قابل اعتماد در زرادخانه تیم مایکروسافت AI Red است.
غول نرم افزاری ردموند همچنین تاکید می کند که PyRIT به هیچ وجه جایگزینی برای تیم بندی قرمز دستی سیستم های هوش مصنوعی مولد نیست. در عوض، این شرکت امیدوار است که سایر تیم‌های قرمز بتوانند از این ابزار برای حذف کارهای خسته‌کننده و سرعت بخشیدن به کارها استفاده کنند.
مایکروسافت بیشتر توضیح می‌دهد: «PyRIT به نقاط داغی که خطر می‌تواند وجود داشته باشد، می‌تابد، که متخصصان امنیتی می‌توانند به طور دقیق آن‌ها را تحلیل کنند. "متخصص امنیتی همیشه کنترل استراتژی و اجرای عملیات تیم قرمز هوش مصنوعی را در دست دارد و PyRIT کد اتوماسیون را برای گرفتن مجموعه داده اولیه از دستورات مضر ارائه شده توسط متخصص امنیتی ارائه می دهد، سپس از نقطه پایانی LLM برای تولید پیام های مضر بیشتر استفاده می کند. "
مایکروسافت تأکید می‌کند که این ابزار همچنین سازگار است، زیرا می‌تواند تاکتیک‌های خود را بسته به پاسخ سیستم هوش مصنوعی مولد به سؤالات قبلی تغییر دهد. سپس ورودی بعدی را تولید می‌کند و حلقه را تا زمانی ادامه می‌دهد که اعضای تیم قرمز از نتایج راضی باشند.
ارسال نظر