در کنفرانس re:Invent، AWS امروز تراشه‌های Trainium2 (T2) خود را برای آموزش و استقرار مدل‌های زبان بزرگ (LLM) در دسترس قرار داد. این تراشه‌ها که AWS برای اولین بار یک سال پیش معرفی کرد، چهار برابر سریع‌تر از تراشه‌های قبلی خود خواهند بود، با یک نمونه EC2 مجهز به Trainium2 با 16 تراشه T2 که تا 20.8 پتافلاپ عملکرد محاسباتی را ارائه می‌دهد. به گفته AWS، در عمل، این بدان معناست که اجرای استنباط برای مدل عظیم Llama 405B متا به عنوان بخشی از پلتفرم Bedrock LLM آمازون، می‌تواند «سه برابر توان تولید توکن بالاتر در مقایسه با سایر پیشنهادات موجود توسط ارائه‌دهندگان بزرگ ابر» ارائه دهد.

این تراشه‌های جدید همچنین در چیزی که AWS آن را «EC2 Trn2 UltraServers» می‌نامد، مستقر خواهند شد. این نمونه ها دارای 64 تراشه Trainium2 متصل به هم هستند که می توانند تا 83.2 پیک پتافلاپ محاسباتی را مقیاس دهند. یکی از سخنگویان AWS به ما اطلاع داد که این اعداد عملکرد 20.8 پتافلاپ برای مدل های متراکم و دقت FP8 است. مقدار 83.2 پتافلاپ برای FP8 با مدل های پراکنده است.

AWS خاطرنشان می کند که این UltraServer ها از اتصال NeuronLink برای پیوند دادن همه این تراشه های Trainium به یکدیگر استفاده می کنند.

این شرکت با Anthropic کار می‌کند، ارائه‌دهنده LLM AWS شرط‌بندی (مالی) خود را برای ایجاد یک خوشه عظیم از این UltraServer با «صدها هزار تراشه Trainium2» برای آموزش مدل‌های Anthropics قرار داده است. AWS او میگوید این خوشه جدید در مقایسه با خوشه Anthropic که برای آموزش نسل فعلی مدل‌هایش استفاده می‌شود، 5 برابر قدرتمندتر (از نظر اگزافلاپس محاسباتی) خواهد بود و، AWS همچنین خاطرنشان می‌کند، « انتظار داریم که بزرگترین خوشه محاسباتی هوش مصنوعی در جهان باشد. تا به امروز گزارش شده است. »

به طور کلی، این مشخصات نسبت به نسل فعلی پردازنده‌های گرافیکی انویدیا که تقاضای زیادی دارند و عرضه کمی دارند، بهبود یافته است. با این حال، آنها نسبت به آنچه انویدیا برای نسل بعدی تراشه های بلک ول خود وعده داده است (با حداکثر 720 پتافلاپ عملکرد FP8 در یک رک با 72 پردازنده گرافیکی بلک ول)، که باید - پس از اندکی تاخیر - در اوایل سال آینده وارد شوند، کوتوله هستند. .

Trainium3: 4 برابر سریعتر، در سال 2025 عرضه می شود

شاید به همین دلیل است که AWS نیز از این لحظه برای معرفی سریع نسل بعدی تراشه‌های خود یعنی Trainium3 استفاده کرد. برای Trainium3، AWS انتظار افزایش عملکرد 4 برابری دیگر برای UltraServer های خود را دارد، و قول می دهد که این تکرار بعدی را که بر اساس یک فرآیند 3 نانومتری ساخته شده است، در اواخر سال 2025 ارائه کند. این یک چرخه انتشار بسیار سریع است، اگرچه باید منتظر ماند. چه مدت تراشه های Trainium3 در پیش نمایش باقی می مانند و چه زمانی به دست توسعه دهندگان می رسند.

دیوید براون، معاون محاسبات و شبکه در AWS در این اطلاعیه گفت: «Trainium2 بالاترین عملکرد تراشه AWS است که تا به امروز ساخته شده است. «و با مدل‌هایی که به تریلیون‌ها پارامتر نزدیک می‌شوند، می‌دانستیم که مشتریان برای آموزش و اجرای آن مدل‌های عظیم به یک رویکرد جدید نیاز دارند. Trn2 UltraServers جدیدترین عملکرد آموزش و استنتاج در AWS را برای بزرگترین مدل های جهان ارائه می دهد. و با نسل سوم تراشه‌های Trainium3 خود، مشتریان را قادر می‌سازیم تا مدل‌های بزرگ‌تر را سریع‌تر بسازند و در هنگام استقرار آن‌ها، عملکرد عالی در زمان واقعی ارائه دهند.

نمونه‌های Trn2 اکنون به طور کلی در منطقه شرق ایالات متحده (اوهایو) AWS در دسترس هستند (با سایر مناطق به زودی راه‌اندازی می‌شوند)، در حالی که UltraServers در حال حاضر در پیش نمایش هستند.

خبرکاو