آنتروپیک در حال راه اندازی برنامه ای برای توسعه انواع جدیدی از معیارهایی است که قادر به ارزیابی عملکرد و تاثیر مدل های هوش مصنوعی، از جمله مدل های تولیدی مانند کلود خود هستند.

برنامه Anthropic که روز دوشنبه رونمایی شد، پرداخت‌هایی را به سازمان‌های شخص ثالث انجام می‌دهد که می‌توانند، همانطور که این شرکت در یک پست وبلاگ او میگوید ، «به طور مؤثر قابلیت‌های پیشرفته در مدل‌های هوش مصنوعی را اندازه‌گیری کنند». علاقه مندان می توانند درخواست های خود را برای ارزیابی به صورت دوره ای ارسال کنند.

آنتروپیک در وبلاگ رسمی خود نوشت: "سرمایه گذاری ما در این ارزیابی ها برای ارتقای کل حوزه ایمنی هوش مصنوعی، ارائه ابزارهای ارزشمندی که برای کل اکوسیستم مفید است، انجام می شود." "توسعه ارزیابی‌های با کیفیت بالا و مرتبط با ایمنی همچنان چالش برانگیز است و تقاضا از عرضه پیشی می‌گیرد."

همانطور که قبلاً اشاره کردیم، هوش مصنوعی یک مشکل بنچمارک دارد. معیارهایی که امروزه برای هوش مصنوعی ذکر می‌شوند، عملکرد ضعیفی در ثبت نحوه استفاده افراد عادی از سیستم‌های مورد آزمایش دارند. همچنین سؤالاتی وجود دارد که آیا برخی از معیارها، به ویژه آنهایی که قبل از طلوع هوش مصنوعی مولد مدرن منتشر شده اند، حتی با توجه به سن خود، آنچه را که مد نظر آنها اندازه گیری می شود اندازه گیری می کنند یا خیر.

راه حل بسیار سطح بالا و سخت تر از آن که آنتروپیک پیشنهاد می کند، معیارهای چالش برانگیزی را با تمرکز بر امنیت هوش مصنوعی و پیامدهای اجتماعی از طریق ابزارها، زیرساخت ها و روش های جدید ایجاد می کند.

این شرکت به‌طور خاص خواستار آزمایش‌هایی است که توانایی مدل را برای انجام وظایفی مانند انجام حملات سایبری، «تقویت» سلاح‌های کشتار جمعی (مانند سلاح‌های هسته‌ای) و دستکاری یا فریب مردم (مثلاً از طریق دیپ‌فیک یا اطلاعات غلط) ارزیابی می‌کند. در مورد خطرات هوش مصنوعی مربوط به امنیت و دفاع ملی، آنتروپیک او میگوید متعهد به توسعه یک «سیستم هشدار اولیه» برای شناسایی و ارزیابی خطرات است، اگرچه در پست وبلاگ مشخص نمی‌کند که چنین سیستمی چه چیزی ممکن است داشته باشد.

آنتروپیک همچنین او میگوید قصد دارد برنامه جدید خود را برای حمایت از تحقیقات در مورد معیارها و وظایف «پایان به انتها» که پتانسیل هوش مصنوعی را برای کمک به مطالعات علمی، مکالمه به زبان‌های مختلف و کاهش تعصبات ریشه‌ای و همچنین سمیت خودسانسوری تحلیل می‌کند، پشتیبانی کند.

برای دستیابی به همه اینها، آنتروپیک پلتفرم‌های جدیدی را پیش‌بینی می‌کند که به کارشناسان موضوع اجازه می‌دهد تا ارزیابی‌های خود و آزمایش‌های مقیاس بزرگ مدل‌هایی را که شامل «هزاران» کاربر است، توسعه دهند. این شرکت می گوید که یک هماهنگ کننده تمام وقت برای این برنامه استخدام کرده است و ممکن است پروژه هایی را بخرد یا توسعه دهد که معتقد است پتانسیل گسترش دارند.

آنتروپیک در این پست می‌نویسد: «ما طیف وسیعی از گزینه‌های تأمین مالی متناسب با نیازها و مرحله هر پروژه را ارائه می‌دهیم، هر چند سخنگوی آنتروپیک از ارائه جزئیات بیشتر در مورد آن گزینه‌ها خودداری کرد. تیم‌ها این فرصت را خواهند داشت که مستقیماً با کارشناسان دامنه Anthropic از تیم قرمز مرزی، تنظیم دقیق، اعتماد و ایمنی و سایر تیم‌های مرتبط تعامل داشته باشند.»

تلاش آنتروپیک برای حمایت از معیارهای جدید هوش مصنوعی ستودنی است – البته با این فرض که پول نقد و نیروی انسانی کافی پشت آن باشد. اما با توجه به جاه طلبی های تجاری این شرکت در مسابقه هوش مصنوعی، ممکن است اعتماد کامل به آن سخت باشد.

در پست وبلاگ، آنتروپیک در مورد این واقعیت که ارزیابی‌های خاصی را می‌خواهد تا با طبقه‌بندی ایمنی هوش مصنوعی که توسعه داده است (با برخی ورودی‌های اشخاص ثالث مانند سازمان غیرانتفاعی پژوهشی هوش مصنوعی METR) مطابقت داشته باشد، شفاف است. این به خوبی در اختیار شرکت است. اما همچنین ممکن است متقاضیان برنامه را مجبور به پذیرش تعاریف هوش مصنوعی "ایمن" یا "خطرناک" کند که ممکن است با آن موافق نباشند.

بخشی از جامعه هوش مصنوعی نیز احتمالاً با ارجاعات آنتروپیک به خطرات "فاجعه آمیز" و "فریبنده" هوش مصنوعی، مانند خطرات تسلیحات هسته ای، مخالفت خواهند کرد. بسیاری از کارشناسان می گویند که شواهد کمی وجود دارد که نشان دهد هوش مصنوعی به این زودی ها، و حتی زمانی که از دست رفته باشد، توانایی های جهانی را به دست خواهد آورد. این کارشناسان می‌افزایند که ادعای «ابر اطلاعات» قریب‌الوقوع فقط برای جلب توجه از مسائل نظارتی روز هوش مصنوعی، مانند تمایلات توهم‌آمیز هوش مصنوعی است.

آنتروپیک در پست خود می نویسد که امیدوار است برنامه اش به عنوان "کاتالیزوری برای پیشرفت به سوی آینده ای که ارزیابی جامع هوش مصنوعی یک استاندارد صنعتی است" باشد. این ماموریتی است که بسیاری از تلاش‌های باز و غیروابسته به شرکت‌ها برای ایجاد معیارهای هوش مصنوعی بهتر می‌توانند با آن شناسایی شوند. اما باید دید که آیا این تلاش ها مایل به پیوستن به نیروها با یک فروشنده هوش مصنوعی هستند که وفاداری در نهایت متعلق به سهامداران است یا خیر.

خبرکاو