به گفته فردی از آن تیم، به تیم Superalignment OpenAI، که مسئول توسعه راه‌هایی برای اداره و هدایت سیستم‌های هوش مصنوعی «فوق‌هوشمند» است، وعده دریافت 20 درصد از منابع محاسباتی شرکت داده شد. اما درخواست‌ها برای کسری از این محاسبه اغلب رد می‌شد و تیم را از انجام کار خود مسدود می‌ کرد.

این موضوع، در میان سایر موارد، چندین عضو تیم را در این هفته وادار به استعفا کرد، از جمله جان لیک، محقق سابق DeepMind که زمانی که در OpenAI درگیر توسعه ChatGPT، GPT-4 و سلف ChatGPT، InstructGPT بود.

لیکه صبح روز جمعه با دلایلی برای استعفای خود اعلام کرد. لیک در یک سری پست در X نوشت: "من مدت زیادی است که با رهبری OpenAI در مورد اولویت های اصلی شرکت مخالف بودم، تا اینکه بالاخره به نقطه شکست رسیدیم." برای نسل های بعدی مدل ها، در مورد امنیت، نظارت، آمادگی، ایمنی، استحکام دشمن، (فوق العاده) همسویی، محرمانه بودن، تأثیر اجتماعی، و موضوعات مرتبط. درست کردن این مشکلات بسیار سخت است و من نگرانم که در مسیری برای رسیدن به آن نباشیم.»

OpenAI بلافاصله درخواستی برای اظهار نظر در مورد منابع وعده داده شده و تخصیص یافته به آن تیم ارسال ن کرد.

OpenAI ژوئیه گذشته تیم Superalignment را تشکیل داد و رهبری آن را Leike و یکی از بنیانگذاران OpenAI Ilya Sutskever، که او نیز این هفته از شرکت کناره گیری کرد، بود. این هدف بلندپروازانه حل چالش های فنی اصلی کنترل هوش مصنوعی فوق هوشمند در چهار سال آینده بود. این تیم با پیوستن دانشمندان و مهندسان بخش قبلی OpenAI و همچنین محققانی از سایر سازمان‌ها در سراسر شرکت، در تحقیقاتی که ایمنی مدل‌های داخلی و غیرOpenAI را مطلع می‌کند و از طریق طرح‌هایی از جمله برنامه کمک هزینه تحقیقاتی مشارکت می‌کند. ، درخواست کنید و کار را با صنعت گسترده تر هوش مصنوعی به اشتراک بگذارید.

تیم Superalignment موفق شد مجموعه ای از تحقیقات ایمنی را منتشر کند و میلیون ها دلار کمک مالی را به محققان خارجی اختصاص دهد. اما، از آنجایی که راه اندازی محصول شروع به اشغال مقدار فزاینده ای از پهنای باند رهبری OpenAI کرد، تیم Superalignment متوجه شد که باید برای سرمایه گذاری های اولیه بیشتر بجنگد - سرمایه گذاری هایی که معتقد بود برای ماموریت اعلام شده شرکت برای توسعه هوش مصنوعی فوق هوشمند به نفع تمام بشریت حیاتی است. .

لیک ادامه داد: «ساخت ماشین‌های هوشمندتر از انسان یک تلاش ذاتی خطرناک است. اما در طول سال‌های گذشته، فرهنگ و فرآیندهای ایمنی به سمت محصولات براق رفته است.

نبرد Sutskever با مدیر عامل OpenAI سام آلتمن به عنوان یک حواس پرتی مهم بود.

Sutskever، همراه با هیئت مدیره قدیمی OpenAI، اواخر سال گذشته به دلیل نگرانی از اینکه آلتمن "به طور مداوم" با اعضای هیئت مدیره "صادقانه" نبوده، به طور ناگهانی آلتمن را اخراج کرد. تحت فشار سرمایه گذاران OpenAI، از جمله مایکروسافت، و بسیاری از کارمندان خود شرکت، آلتمن در نهایت به کار خود بازگردانده شد، بسیاری از اعضای هیئت مدیره استعفا دادند و Sutskever هرگز به کار خود بازنگشت.

به گفته منبع، Sutskever برای تیم Superalignment بسیار مفید بود – نه تنها در تحقیقات مشارکت داشت، بلکه به عنوان پلی برای سایر بخش‌ها در OpenAI عمل کرد. او همچنین به عنوان یک سفیر خدمت می کند و اهمیت کار تیم را بر تصمیم گیرندگان کلیدی OpenAI تحت تاثیر قرار می دهد.

پس از خروج لیک، آلتمن در X نوشت که او موافق است که «کارهای بیشتری برای انجام دادن وجود دارد» و آنها «متعهد به انجام آن هستند». او به توضیح طولانی‌تری اشاره کرد که یکی از بنیانگذاران آن، گرگ براکمن، صبح شنبه ارائه کرد:

اگرچه پاسخ براکمن در مورد سیاست‌ها یا تعهدات مشخص نیست، اما او بيان کرد که «ما باید یک حلقه بازخورد بسیار فشرده، آزمایش‌های دقیق، تحلیل دقیق در هر مرحله، امنیت در سطح جهانی و هماهنگی بین ایمنی و قابلیت‌ها داشته باشیم. ”

پس از جدایی Leike و Sutskever، جان شولمن، یکی دیگر از بنیانگذاران OpenAI، به سمت سرپرستی نوع کاری که تیم Superalignment انجام می‌داد، نقل مکان کرد، اما دیگر یک تیم اختصاصی وجود نخواهد داشت - در عوض، یک تیم کاملا مرتبط خواهد بود. گروهی از محققان که در بخش‌های مختلف شرکت جاسازی شده‌اند. یک سخنگوی OpenAI آن را به عنوان "ادغام [تیم] عمیق تر" توصیف کرد.

ترس این است که در نتیجه، توسعه هوش مصنوعی OpenAI آنقدر که می‌توانست بر ایمنی متمرکز نباشد.

ما در حال راه اندازی یک خبرنامه هوش مصنوعی هستیم! برای شروع دریافت آن در صندوق ورودی خود از 5 ژوئن اینجا ثبت نام کنید .

خبرکاو