غول فناوری روسی Yandex ابزار منبع باز جدیدی را منتشر کرد تا به شرکت‌های هوش مصنوعی در صرفه‌جویی در هزینه و منابع در هنگام آموزش مدل‌های جدید کمک کند.
Yandex در اعلامیه خود می گوید ابزار جدید YaFSDP می تواند آموزش مدل زبان بزرگ ( LLM ) سریعتر و کارآمدتر را ارائه دهد و می تواند به صرفه جویی تا 20 درصد از منابع GPU کمک کند و در هزینه و زمان صرفه جویی کند.
Yandex همچنین منابعی را برای آزمایش YaFSDP در GitHub منتشر کرد تا همه بتوانند آن را مشاهده و آزمایش کنند.
چگونه LLM خود را آموزش دهیم
Yandex جزئیات فنی زیادی را در پست اعلامیه خود بیان می کند و می گوید که ابزار منبع باز جدید "موثرترین ابزار در دسترس عموم برای افزایش ارتباطات GPU و کاهش استفاده از حافظه در آموزش LLM" است و می تواند تا 26٪ سرعت بیشتری ارائه دهد. از FSDP، نسخه قبل از YaFSDP.
Yandex می گوید: «آموزش LLM فرآیندی زمان بر و منابع فشرده است. "مهندسین یادگیری ماشین و شرکت هایی که LLM های خود را توسعه می دهند، زمان و منابع GPU قابل توجهی - که برابر با پول است - برای آموزش این مدل ها سرمایه گذاری می کنند. هر چه مدل بزرگتر باشد، زمان و هزینه های مرتبط با آموزش آن بیشتر می شود."
این شرکت تخمین می‌زند که استفاده از YaFSDP برای آموزش مدلی با 70 میلیارد پارامتر می‌تواند در منابع تقریباً 150 پردازنده گرافیکی صرفه‌جویی کند، که در صورتی که همه چیز به خوبی پیش برود، حدود 0.5 تا 1.5 میلیون دلار (بسته به ارائه‌دهنده یا پلتفرم GPU مجازی) پس‌انداز ماهانه خواهد داشت.
Yandex با استفاده از مدل‌های Llama متا ، که به دلیل برخورداری از پیشرو بودن در کنار منبع باز مورد تحسین قرار گرفته‌اند، او میگوید «سرعت نهایی» به ترتیب در Llama 2 70B و Llama 3 70B به ترتیب 21 درصد و 26 درصد است.
YaFSDP اولین تلاش Yandex در ابزارهای هوش مصنوعی نیست، زیرا CatBoost، YTsaurus، AQLM و Petals را منتشر کرد ، که همگی در زمینه توسعه هوش مصنوعی نقش متفاوتی دارند.
این اقدام یاندکس پس از آن صورت گرفت که پس از تهاجم روسیه به اوکراین مجبور شد خود را واگذار کند و تجارت داخلی خود را به مدیریت قبلی خود در این کشور بفروشد .
بسیاری از شرکت‌های بزرگ فناوری نیز هوش مصنوعی را برای محصولات خود پایه‌گذاری می‌کنند که اخیراً اپل سرویس‌های Apple Intelligence خود را به عنوان بخشی از به‌روزرسانی آینده iOS 18 منتشر کرد .
ارسال نظر