در حالی که قانون‌گذاران اکثر کشورها هنوز در حال بحث در مورد چگونگی قرار دادن نرده‌های محافظ در اطراف هوش مصنوعی هستند، اتحادیه اروپا با تصویب یک چارچوب مبتنی بر ریسک برای تنظیم برنامه‌های هوش مصنوعی در اوایل سال جاری جلوتر است.

این قانون در ماه اوت به اجرا درآمد، اگرچه جزئیات کامل رژیم حاکمیت هوش مصنوعی در اتحادیه اروپا هنوز در حال تحلیل است – برای مثال، کدهای عمل در حال تدوین هستند. اما، طی ماه‌ها و سال‌های آینده، مفاد لایه‌ای این قانون برای سازندگان اپلیکیشن‌ها و مدل‌های هوش مصنوعی شروع به اعمال خواهند کرد، پس شمارش معکوس مطابقت از قبل فعال و شروع شده است.

ارزیابی اینکه آیا و چگونه مدل های هوش مصنوعی به تعهدات قانونی خود عمل می کنند چالش بعدی است. مدل‌های زبان بزرگ (LLM) و سایر هوش مصنوعی‌های به اصطلاح پایه یا هدف عمومی، زیربنای اکثر برنامه‌های هوش مصنوعی خواهند بود. پس تمرکز تلاش‌های ارزیابی در این لایه از پشته هوش مصنوعی مهم به نظر می‌رسد.

هوش مصنوعی LatticeFlow که برگرفته از دانشگاه تحقیقاتی عمومی ETH زوریخ است که بر مدیریت ریسک هوش مصنوعی و انطباق آن تمرکز دارد، قدم به جلو بگذارید.

روز چهارشنبه، آنچه را که به عنوان اولین تفسیر فنی قانون هوش مصنوعی اتحادیه اروپا تبلیغ می‌کند، منتشر کرد، به این معنی که به دنبال ترسیم الزامات نظارتی به الزامات فنی است، در کنار یک چارچوب اعتبار سنجی منبع باز LLM که از این کار – که Compl-AI نامیده می‌شود. ('compl-ai'… ببینید آنها آنجا چه کردند!).

ابتکار ارزیابی مدل هوش مصنوعی – که آنها همچنین آن را "اولین مجموعه معیار LLM مبتنی بر مقررات" می نامند – نتیجه همکاری طولانی مدت بین موسسه فناوری فدرال سوئیس و موسسه علوم کامپیوتر، هوش مصنوعی و فناوری بلغارستان (INSAIT) است. )، در LatticeFlow.

سازندگان مدل های هوش مصنوعی می توانند از سایت Compl-AI برای درخواست ارزیابی انطباق فناوری خود با الزامات قانون هوش مصنوعی اتحادیه اروپا استفاده کنند.

LatticeFlow همچنین ارزیابی‌های مدلی از چندین LLM اصلی، مانند نسخه‌ها/اندازه‌های مختلف مدل‌های Llama متا و GPT OpenAI، به همراه تابلوی امتیازات مطابق با قانون هوش مصنوعی اتحادیه اروپا برای هوش مصنوعی بزرگ منتشر کرد .

دومی عملکرد مدل‌هایی مانند Anthropic، Google، OpenAI، Meta و Mistral را در برابر الزامات قانون رتبه‌بندی می‌کند – در مقیاس 0 (یعنی عدم انطباق) تا 1 (انطباق کامل).

سایر ارزیابی‌ها به‌عنوان N/A علامت‌گذاری می‌شوند که در آن داده‌ها کم باشد، یا اگر سازنده مدل این قابلیت را در دسترس قرار ندهد. (نکته: در زمان نگارش، تعدادی امتیاز منفی نیز ثبت شده بود، اما به ما گفته می شود که این به دلیل یک اشکال در رابط Hugging Face بود.)

چارچوب LatticeFlow پاسخ‌های LLM را در 27 معیار مانند «تکمیل‌های سمی متن خوش‌خیم»، «پاسخ‌های تعصب‌آمیز»، «پیروی از دستورالعمل‌های مضر»، «صادقیت» و «استدلال عقل سلیم» ارزیابی می‌کند تا تعدادی از مقوله‌های معیاری را که برای ارزیابی ها پس هر مدل طیفی از امتیازات را در هر ستون دریافت می کند (و یا N/A).

AI انطباق یک کیسه مخلوط

پس ، LLM های اصلی چگونه عمل کردند؟ نمره کلی مدل وجود ندارد. پس عملکرد بسته به اینکه دقیقاً چه چیزی ارزیابی می شود متفاوت است – اما برخی از بالا و پایین های قابل توجه در بین معیارهای مختلف وجود دارد.

به عنوان مثال عملکرد قوی برای همه مدل ها در عدم پیروی از دستورالعمل های مضر وجود دارد. و عملکرد نسبتاً قوی در سراسر صفحه در عدم تولید پاسخ‌های تعصب‌آمیز – در حالی که نمرات استدلال و دانش عمومی بسیار ترکیبی بودند.

در جاهای دیگر، سازگاری توصیه‌ها، که چارچوب از آن به‌عنوان معیاری برای انصاف استفاده می‌کند، به‌ویژه برای همه مدل‌ها ضعیف بود – به‌طوری که هیچ‌یک امتیاز بالاتر از نیمه راه را کسب نکردند (و اکثر آنها امتیازات بسیار پایین‌تری داشتند).

حوزه‌های دیگر، مانند مناسب بودن داده‌های آموزشی و قابلیت اطمینان و استحکام واترمارک، اساساً با توجه به تعداد نتایجی که N/A علامت‌گذاری شده‌اند، ارزیابی نشده‌اند.

LatticeFlow اشاره می‌کند که حوزه‌های خاصی وجود دارد که ارزیابی انطباق مدل‌ها در آن‌ها چالش‌برانگیزتر است، مانند مسائل مربوط به دکمه داغ مانند حق چاپ و حریم خصوصی. پس وانمود نمی کند که همه پاسخ ها را دارد.

در مقاله‌ای که جزئیات کار روی چارچوب را نشان می‌دهد، دانشمندان درگیر در این پروژه نشان می‌دهند که چگونه بسیاری از مدل‌های کوچک‌تر مورد ارزیابی (≤ 13B پارامتر) "در استحکام فنی و ایمنی امتیاز ضعیفی کسب کردند".

آنها همچنین دریافتند که «تقریباً همه مدل‌های مورد تحلیل برای دستیابی به سطوح بالایی از تنوع، عدم تبعیض و انصاف تلاش می‌کنند».

آنها می افزایند: «ما معتقدیم که این کاستی ها اساساً به دلیل تمرکز نامتناسب ارائه دهندگان مدل بر روی بهبود قابلیت های مدل است، به قیمت سایر جنبه های مهم که توسط الزامات نظارتی قانون هوش مصنوعی اتحادیه اروپا مشخص شده است. مجبور شوند تمرکز خود را بر روی زمینه های مورد توجه قرار دهند – "منجر به توسعه متعادل تر LLM".

از آنجایی که هنوز هیچ کس دقیقاً نمی داند چه چیزی برای مطابقت با قانون هوش مصنوعی اتحادیه اروپا مورد نیاز است، چارچوب LatticeFlow لزوماً در حال پیشرفت است. همچنین این تنها یک تفسیر از چگونگی تبدیل الزامات قانون به خروجی های فنی است که می توان آنها را محک زد و مقایسه کرد. اما این یک شروع جالب برای تلاش مداوم برای تحلیل فناوری های اتوماسیون قدرتمند و تلاش برای هدایت توسعه دهندگان آنها به سمت ابزارهای ایمن تر است.

"این چارچوب اولین گام به سوی ارزیابی کامل انطباق محور قانون هوش مصنوعی اتحادیه اروپا است – اما به گونه ای طراحی شده است که به راحتی به روز شود تا با به روز شدن قانون و پیشرفت گروه های کاری مختلف، در مرحله قفل حرکت کند." پتار تسانکوف، مدیرعامل LatticeFlow به TechCrunch گفت. کمیسیون اتحادیه اروپا از این موضوع حمایت می کند. ما از جامعه و صنعت انتظار داریم که به توسعه چارچوب به سمت یک پلت فرم ارزیابی کامل و جامع قانون هوش مصنوعی ادامه دهند."

تسانکوف با جمع‌بندی نکات اصلی تا کنون، گفت: واضح است که مدل‌های هوش مصنوعی «عمدتاً برای قابلیت‌ها به‌جای انطباق بهینه‌سازی شده‌اند». او همچنین «شکاف‌های عملکردی قابل‌توجه» را علامت‌گذاری کرد – با اشاره به اینکه برخی از مدل‌های با قابلیت بالا می‌توانند با مدل‌های ضعیف‌تر همتراز با مدل‌های ضعیف‌تر باشند.

انعطاف‌پذیری حملات سایبری (در سطح مدل) و انصاف، از نظر تسانکوف، زمینه‌های مورد توجه ویژه هستند، و بسیاری از مدل‌ها امتیاز زیر 50 درصد را برای منطقه قبلی کسب می‌کنند.

او گفت: «در حالی که Anthropic و OpenAI با موفقیت مدل‌های (بسته) خود را برای امتیاز دادن به جیلبریک‌ها و تزریق‌های سریع هماهنگ کرده‌اند، فروشندگان منبع باز مانند Mistral تأکید کمتری بر این موضوع داشته‌اند.

و از آنجایی که «اکثر مدل‌ها» در معیارهای انصاف به همان اندازه ضعیف عمل می‌کنند، او پیشنهاد کرد که این باید یک اولویت برای کارهای آینده باشد.

تسانکوف در مورد چالش‌های معیار عملکرد LLM در زمینه‌هایی مانند کپی رایت و حریم خصوصی توضیح داد: «برای کپی‌رایت چالش این است که معیارهای فعلی فقط کتاب‌های حق چاپ را تحلیل می‌کنند. این رویکرد دو محدودیت عمده دارد: (1) موارد نقض بالقوه حق نسخه‌برداری را که شامل مطالبی غیر از این کتاب‌های خاص می‌شود، در نظر نمی‌گیرد، و (ii) بر کمی کردن حفظ مدل تکیه می‌کند، که بسیار دشوار است.

برای حفظ حریم خصوصی، چالش مشابه است: معیار فقط تلاش می‌کند تعیین کند که آیا مدل اطلاعات شخصی خاصی را حفظ کرده است یا خیر.

LatticeFlow مشتاق است که چارچوب رایگان و منبع باز توسط جامعه تحقیقاتی گسترده تر هوش مصنوعی به کار گرفته شود و بهبود یابد.

پروفسور مارتین وچف از ETH زوریخ و بنیانگذار و مدیر علمی INSAIT که او نیز در این کار مشارکت دارد، در بیانیه‌ای گفت: «ما از محققان، توسعه‌دهندگان و تنظیم‌کننده‌های هوش مصنوعی دعوت می‌کنیم تا در پیشبرد این پروژه در حال تکامل به ما بپیوندند. ما سایر گروه‌های تحقیقاتی و متخصصان را تشویق می‌کنیم تا با اصلاح نقشه‌برداری قانون هوش مصنوعی، گفت ن معیارهای جدید و گسترش این چارچوب منبع باز مشارکت کنند.

این روش همچنین می تواند برای ارزیابی مدل های هوش مصنوعی در برابر اقدامات نظارتی آینده فراتر از قانون هوش مصنوعی اتحادیه اروپا گسترش یابد و آن را به ابزاری ارزشمند برای سازمان هایی تبدیل کند که در حوزه های قضایی مختلف کار می کنند.

خبرکاو