مایکروسافت از راه‌اندازی ماشین‌های مجازی جدید Azure (VM) خبر داده است که به طور خاص با هدف افزایش قابلیت‌های ابر محاسباتی مبتنی بر هوش مصنوعی مبتنی بر ابر انجام می‌شود.
ماشین‌های مجازی جدید سری H200 v5 اکنون به طور کلی برای مشتریان Azure در دسترس هستند و شرکت‌ها را قادر می‌سازند تا با حجم کاری دست‌وپاگیر هوش مصنوعی مقابله کنند.
غول فناوری فاش کرد که با استفاده از سری جدید VM، کاربران می توانند آموزش مدل پایه و قابلیت های استنباط را افزایش دهند.
مقیاس، کارایی و عملکرد
مایکروسافت در یک پست وبلاگی بيان کرد که سری جدید VM در حال حاضر توسط تعداد زیادی از مشتریان و شرکا برای ارتقاء قابلیت‌های هوش مصنوعی مورد استفاده قرار گرفته است.
دیگر اخبار
این شرکت گفت: «مقیاس، کارایی و عملکرد پیشرفته ماشین‌های مجازی ND H200 v5 ما در حال حاضر باعث پذیرش مشتریان و خدمات هوش مصنوعی مایکروسافت، مانند Azure Machine Learning و Azure OpenAI Service شده است.
به گفته Trevor Cai، رئیس زیرساخت OpenAI، یکی از این موارد OpenAI است که از سری جدید VM برای هدایت تحقیق و توسعه و تنظیم دقیق ChatGPT برای کاربران استفاده می کند.
او گفت: "ما برای استفاده از ماشین های مجازی H200 جدید Azure هیجان زده هستیم." "ما دیدیم که H200 عملکرد بهبود یافته ای را با کمترین تلاش برای انتقال ارائه می دهد، ما مشتاقانه منتظر استفاده از این ماشین های مجازی برای تسریع تحقیقات خود، بهبود تجربه ChatGPT و پیشبرد ماموریت خود هستیم."
زیر کاپوت سری H200 v5
شرکت Azure H200 v5 VMS با رویکرد سیستمی مایکروسافت برای "افزایش کارایی و عملکرد" طراحی شده است و شامل هشت پردازنده گرافیکی Nvidia H200 Tensor Core است.
مایکروسافت بيان کرد که این یک شکاف رو به رشد برای کاربران سازمانی در رابطه با قدرت محاسباتی را برطرف می کند.
غول فناوری گفت: با رشد پردازنده‌های گرافیکی در قابلیت‌های محاسباتی خام با سرعتی سریع‌تر از حافظه متصل و پهنای باند حافظه، این امر باعث ایجاد گلوگاه برای استنباط هوش مصنوعی و آموزش مدل شده است.
مایکروسافت در ادامه گفت: ماشین‌های مجازی Azure ND H200 v5 افزایش 76 درصدی در حافظه با پهنای باند بالا (HBM) به 141 گیگابایت و افزایش 43 درصدی در پهنای باند HBM به 4.8 ترابایت بر ثانیه نسبت به نسل قبلی ماشین‌های مجازی Azure ND H100 v5 دارند. اعلام آن
این افزایش در پهنای باند HBM، GPUها را قادر می‌سازد تا به پارامترهای مدل سریع‌تر دسترسی پیدا کنند و به کاهش تأخیر کلی برنامه‌ها کمک می‌کند، که یک معیار مهم برای برنامه‌های بلادرنگ مانند عوامل تعاملی است.
علاوه بر این، سری جدید VM همچنین می‌تواند مدل‌های پیچیده‌تر زبان بزرگ (LLM) را در حافظه یک دستگاه جبران کند. این امر در نتیجه عملکرد را بهبود می بخشد و به کاربران امکان می دهد از هزینه های سربار در هنگام اجرای برنامه های کاربردی توزیع شده روی چندین ماشین مجازی جلوگیری کنند.
مایکروسافت معتقد است که مدیریت بهتر حافظه GPU برای وزن مدل و اندازه دسته‌ای نیز یک تمایز کلیدی برای سری جدید VM است.
محدودیت‌های فعلی حافظه GPU همگی تأثیر مستقیمی بر توان عملیاتی و تأخیر برای بارهای کاری استنتاج مبتنی بر LLM دارند و هزینه‌های اضافی را برای شرکت‌ها ایجاد می‌کنند.
با استفاده از ظرفیت بزرگتر HBM، ماشین های مجازی H200 v5 قادر به پشتیبانی از اندازه های دسته ای بزرگتر هستند، که مایکروسافت بيان کرد که به طور چشمگیری استفاده و توان پردازش گرافیکی را در مقایسه با تکرارهای قبلی بهبود می بخشد.
در آزمایش‌های اولیه، ما تا 35 درصد افزایش توان عملیاتی با ماشین‌های مجازی ND H200 v5 در مقایسه با سری ND H100 v5 برای بارهای کاری استنتاج با مدل LLAMA 3.1 405B (با اندازه جهانی 8، طول ورودی 128، طول خروجی 8 و حداکثر مشاهده کردیم. اندازه های دسته ای - 32 برای H100 و 96 برای H200)" این شرکت گفت.
ارسال نظر