هنگامی که محققان شرکت مدیریت نرم‌افزار، JFrog، مدل‌های AI/ML را که در اوایل سال جاری در Hugging Face آپلود شده بودند، اسکن کردند، کشف صد مدل مخرب در کانون توجه دسته‌ای از مشکلات امنیت سایبری قرار گرفت: مسمومیت و دستکاری داده‌ها .

مشکل مسمومیت داده‌ها، که داده‌های آموزشی مورد استفاده برای ساخت مدل‌های هوش مصنوعی (AI)/Machine Learning (ML) را هدف قرار می‌دهد، این است که تا آنجایی که حملات سایبری پیش می‌رود، غیرمعمول است و در برخی موارد، شناسایی یا توقف آن غیرممکن است. حمله به هوش مصنوعی از این طریق نسبتاً آسان است و حتی برای مسموم کردن یا دستکاری داده‌های آموزشی که مدل‌های زبان بزرگ (LLM) مانند ChatGPT به آن تکیه می‌کنند، هیچ هک به معنای سنتی مورد نیاز نیست.

از مسمومیت داده می توان برای وادار کردن مدل هوش مصنوعی به درخواست شما استفاده کرد. یا مدل‌های هوش مصنوعی را می‌توان متقاعد کرد که با تغییر داده‌های ارسال‌شده به یک مدل آموزش‌دیده، خروجی‌های اشتباهی ارائه دهند. اینها دو نوع حمله متفاوت هستند – یکی قبل از استقرار مدل هوش مصنوعی و دیگری بعد از استقرار انجام می شود. تشخیص و مراقبت از هر دو فوق العاده دشوار است.

JFrog در تجزیه و تحلیل خود بيان کرد که محموله «جذاب‌انگیز» تعبیه‌شده در این مدل به نظر چیزی است که محققان برای نشان دادن آسیب‌پذیری‌ها یا نمایش مدارک مفهومی آپلود می‌کنند. این مورد در مورد مدل های شرور بارگذاری شده در مخزن همکاری هوش مصنوعی Hugging Face صدق نمی کند. محققان ممکن است پشت آن بوده باشند زیرا محموله ها دارای پیوندهایی به آدرس های IP از KREOnet یا شبکه باز محیط تحقیقاتی کره بودند.

مشکلات هوش مصنوعی داخلی تشخیص را در حین بارورسازی اکسپلویت ها تشدید می کند

نمونه‌هایی از دستکاری داده‌های آموزشی را می‌توان در منشأ یادگیری ماشین جستجو کرد، با محققانی که حملات خصمانه ظریفی را به نتایج ورودی نشان می‌دهند که مدلی یک دهه پیش پاسخ نادرستی را با اطمینان بالا ارائه می‌دهد.

حتی ممکن است مدل‌های هوش مصنوعی مولد که اینترنت را حذف می‌کنند، در نهایت بتوانند خودشان را «مسموم» کنند، زیرا خروجی‌های آن‌ها به ورودی‌های مجموعه‌های آموزشی آینده تبدیل می‌شوند، در فرآیندی که به عنوان «فروپاشی مدل دژنراتیو» شناخته می‌شود.

چیزی که آب‌ها را بیشتر در هم می‌گیرد این است که تکرارپذیری مدل هوش مصنوعی به خودی خود یک چالش است، زیرا مجموعه‌ای از داده‌ها برای آموزش مدل‌ها استفاده می‌شود و محققان و دانشمندان داده حتی ممکن است دقیقا متوجه نباشند که چه چیزی در یک مدل آمده و چه چیزی در حال بیرون آمدن است، که این موضوع را تشدید می‌کند. شناسایی و ردیابی کدهای مخرب

از آنجایی که همه اینها در هجوم طلای هوش مصنوعی به نظر می رسد، ناخوشایند است، چشم پوشی از مسمومیت داده ها و دستکاری داده ها می تواند مهاجمان را ترغیب کند تا روی سوء استفاده های در پشتی مخفیانه نرم افزار هوش مصنوعی تمرکز کنند. نتایج می تواند اجرای کد مخرب باشد، مانند مورد Hugging Face، بردارهای جدید برای انجام موفقیت آمیز حملات فیشینگ، و خروجی های مدل طبقه بندی نادرست که بسته به اهداف مهاجم منجر به رفتارهای غیرمنتظره می شود.

در دنیایی که به طور فزاینده ای با اکوسیستمی از هوش مصنوعی، GenAI، LLM و API به هم پیوسته پوشیده شده است، صنعت امنیت سایبری جهانی باید لرزه جمعی را رها کند و برای محافظت در برابر افزایش حملات به مدل های هوش مصنوعی اقدام کند.

محافظت در برابر "غیر قابل دفاع"

کارشناسان چندین تکنیک را برای محافظت از سیستم های مبتنی بر هوش مصنوعی در برابر مسمومیت داده ها یا کمپین های دستکاری توصیه می کنند. بیشتر روی مرحله آموزش داده ها و خود الگوریتم ها تمرکز می کنند.

بنیاد منبع باز برای امنیت برنامه (OWASP) در فهرست "10 برنامه برتر برای LLM" خود، اقداماتی را برای جلوگیری از مسمومیت داده های آموزشی توصیه می کند، با توجه به زنجیره تامین داده های آموزشی با منبع داخلی و خارجی، با تأیید مداوم داده ها. منابع در سراسر مراحل قبل از آموزش، تنظیم دقیق، و جاسازی و علامت گذاری هر گونه سوگیری یا ناهنجاری.

OWASP همچنین توصیه می‌کند که داده‌ها را با روش‌های تشخیص ناهنجاری و پرت آماری «ضدعفونی» کنید تا هرگونه داده متخاصم را که به‌طور بالقوه وارد فرآیند تنظیم دقیق می‌شوند، شناسایی کنند.

اگر داده‌های آموزشی خراب باشد، می‌توان از الگوریتم‌های هوش مصنوعی جایگزین برای استقرار مدل تأثیرگذار استفاده کرد. می توان از بیش از یک الگوریتم برای مقایسه نتایج استفاده کرد و در صورت عدم موفقیت، می توان از خروجی های از پیش تعریف شده یا متوسط ​​استفاده کرد. توسعه‌دهندگان باید الگوریتم‌های AI/ML را که با دیگران تعامل یا تغذیه می‌کنند، از نزدیک تحلیل کنند، زیرا می‌تواند منجر به آبشاری از پیش‌بینی‌های غیرمنتظره شود.

کارشناسان صنعت همچنین پیشنهاد می‌کنند که تیم‌های امنیت سایبری استحکام و انعطاف‌پذیری سیستم‌های هوش مصنوعی خود را با آزمایش و شبیه‌سازی یک حمله مسمومیت داده تحلیل کنند.

یک مدل هوش مصنوعی 100٪ امن سایبری را می توان با استفاده از داده های آموزشی ساخته و مسموم کرد. هیچ دفاعی جز اعتبارسنجی تمام خروجی های پیش بینی وجود ندارد که از نظر محاسباتی بسیار گران است.

ساختن آینده ای انعطاف پذیر برای هوش مصنوعی

بدون اعتماد و قابل اعتماد بودن، بزرگترین نوآوری در فناوری ممکن است ترمز کند.

سازمان‌ها باید با در نظر گرفتن کل اکوسیستم و زنجیره‌های تامین که زیربنای GenAI، LLM و غیره هستند، به عنوان بخشی از جهان تهدید کلی، از تهدیدات درب پشتی در تولید کد هوش مصنوعی جلوگیری کنند.

با نظارت بر ورودی‌ها و خروجی‌های این سیستم‌ها و شناسایی ناهنجاری‌ها با اطلاعات تهدید، یافته‌ها و داده‌های حاصل از این تلاش‌ها می‌تواند به توسعه‌دهندگان کمک کند تا کنترل‌ها و حفاظت‌ها را در چرخه عمر توسعه نرم‌افزار هوش مصنوعی ارتقا دهند و از آن‌ها استفاده کنند.

به طور کلی، با تحلیل خطرات سیستم‌های هوش مصنوعی در فرآیندهای تجاری گسترده‌تر، از جمله تحلیل کل چرخه حیات حاکمیت داده، و نظارت بر نحوه رفتار هوش مصنوعی در برنامه‌های خاص، می‌توانید یک قدم جلوتر از یکی از چالش‌برانگیزترین مسائل پیش روی امنیت سایبری باشید.

ما بهترین نرم افزار پایگاه داده را معرفی کرده ایم.

این مقاله به عنوان بخشی از کانال Expert Insights TechRadarPro تهیه شده است که در آن بهترین و باهوش ترین ذهن ها در صنعت فناوری امروز را معرفی می کنیم. نظرات بیان شده در اینجا نظرات نویسنده است و لزوماً نظرات TechRadarPro یا Future plc نیست. اگر علاقه مند به مشارکت هستید، اطلاعات بیشتری را در اینجا بیابید: https://www.techradar.com/news/submit-your-story-to-techradar-pro