AMD Instinct MI300X یک شتاب‌دهنده هوش مصنوعی فوق‌العاده قدرتمند است و شرکت‌های بزرگ ابری شروع به ادغام آن در زیرساخت‌های خود برای پشتیبانی از بارهای کاری فشرده هوش مصنوعی کرده‌اند.
Vultr اخیراً اعلام کرد که "هزاران" واحد MI300X سفارش داده است، و اکنون Oracle Cloud Infrastructure (OCI) می گوید که سخت افزار AMD را برای نمونه جدید OCI Compute Supercluster خود، BM.GPU.MI300X.8، پذیرفته است.
ابرخوشه جدید برای مدل های عظیم هوش مصنوعی با میلیاردها پارامتر طراحی شده است و تا 16384 پردازنده گرافیکی را در یک خوشه پشتیبانی می کند. این راه‌اندازی از همان فناوری پرسرعت مورد استفاده سایر شتاب‌دهنده‌های OCI بهره می‌برد و امکان آموزش هوش مصنوعی در مقیاس بزرگ و استنتاج ظرفیت حافظه و توان عملیاتی مورد نیاز برای سخت‌ترین کارها را فراهم می‌کند. این پیکربندی آن را به ویژه برای LLM ها و عملیات پیچیده یادگیری عمیق مناسب می کند.
تست پیش تولید
اندرو دیکمن، معاون شرکت و مدیر کل، مرکز داده GPU Business، AMD گفت: «نرم‌افزار باز AMD Instinct MI300X و ROCm همچنان به عنوان راه‌حل‌های قابل اعتماد برای تامین انرژی حیاتی‌ترین بارهای کاری هوش مصنوعی OCI شتاب بیشتری به دست می‌آورند. از آنجایی که این راه‌حل‌ها به سمت بازارهای رو به رشد مبتنی بر هوش مصنوعی گسترش می‌یابند، این ترکیب برای مشتریان OCI با عملکرد بالا، کارایی و انعطاف‌پذیری بیشتر طراحی سیستم مفید خواهد بود.»
اوراکل می گوید آزمایش MI300X به عنوان بخشی از تلاش های پیش تولید، عملکرد GPU را در سناریوهای دنیای واقعی تایید کرد. برای مدل Llama 2 70B، MI300X به تأخیر 65 میلی‌ثانیه‌ای «زمان تا اولین توکن» دست یافت و به‌طور مؤثر مقیاس‌بندی شد تا 3643 توکن در 256 درخواست کاربر همزمان تولید کند. در آزمایش دیگری با 2048 ورودی و 128 توکن خروجی، تأخیر سرتاسری 1.6 ثانیه را ارائه کرد که با معیارهای خود AMD مطابقت داشت.
نمونه OCI BM.GPU.MI300X.8 دارای 8 شتاب دهنده AMD Instinct MI300X است که 1.5 ترابایت حافظه GPU HBM3 با پهنای باند 5.3 ترابایت بر ثانیه، همراه با 2 ترابایت حافظه سیستم و 8 x 3.84 ترابایت NVMe را ارائه می دهد. اوراکل راه حل فلزی لخت را با قیمت 6 دلار در هر ساعت پردازنده گرافیکی ارائه خواهد کرد.
دونالد لو، معاون ارشد توسعه نرم‌افزار در Oracle Cloud Infrastructure او میگوید : «قابلیت‌های استنتاج شتاب‌دهنده‌های AMD Instinct MI300X به انتخاب گسترده OCI از نمونه‌های فلزی با کارایی بالا اضافه می‌کند تا سربار محاسبات مجازی‌سازی شده که معمولاً برای زیرساخت‌های هوش مصنوعی استفاده می‌شود، حذف شود. ما هیجان زده هستیم که انتخاب بیشتری را برای مشتریانی که به دنبال سرعت بخشیدن به حجم کاری هوش مصنوعی با قیمت رقابتی هستند، ارائه دهیم.
ارسال نظر