در کنفرانس GTC خود، انویدیا امروز Nvidia NIM را معرفی کرد، یک پلت فرم نرم افزاری جدید که برای ساده سازی استقرار مدل های هوش مصنوعی سفارشی و از پیش آموزش دیده در محیط های تولید طراحی شده است. NIM کار نرم‌افزاری را که Nvidia در مورد استنتاج و بهینه‌سازی مدل‌ها انجام داده است، می‌گیرد و با ترکیب یک مدل معین با یک موتور استنتاج بهینه‌شده و سپس بسته‌بندی آن در یک ظرف، آن را به‌راحتی در دسترس قرار می‌دهد و آن را به عنوان یک میکروسرویس قابل دسترسی می‌کند.

انویدیا استدلال می‌کند که معمولاً برای توسعه‌دهندگان هفته‌ها - اگر نه ماه‌ها - طول می‌کشد تا کانتینرهای مشابه را ارسال کنند - و این در صورتی است که شرکت حتی استعداد هوش مصنوعی داخلی داشته باشد. با NIM، انویدیا به وضوح قصد دارد اکوسیستمی از کانتینرهای آماده هوش مصنوعی ایجاد کند که از سخت افزار آن به عنوان لایه اساسی با این میکروسرویس های نظارت شده به عنوان لایه نرم افزار اصلی برای شرکت هایی که می خواهند نقشه راه هوش مصنوعی خود را سرعت بخشند، استفاده کند.

NIM در حال حاضر از مدل‌های NVIDIA، A121، Adept، Cohere، Getty Images و Shutterstock و همچنین مدل‌های باز Google، Hugging Face، Meta، Microsoft، Mistral AI و Stability AI پشتیبانی می‌کند. انویدیا در حال حاضر با آمازون، گوگل و مایکروسافت کار می کند تا این میکروسرویس های NIM را به ترتیب در SageMaker، Kubernetes Engine و Azure AI در دسترس قرار دهد. آنها همچنین در چارچوب هایی مانند Deepset، LangChain و LlamaIndex ادغام خواهند شد.

اعتبار تصویر: Nvidia

ما معتقدیم که پردازنده گرافیکی انویدیا بهترین مکان برای اجرای استنتاج این مدل‌ها در […] است، و معتقدیم NVIDIA NIM بهترین بسته نرم‌افزاری، بهترین زمان اجرا است، برای توسعه‌دهندگان که می‌توانند روی آن تمرکز کنند تا بتوانند تمرکز کنند. مانوویر داس، رئیس محاسبات سازمانی، گفت: در برنامه‌های سازمانی - و فقط به انویدیا اجازه دهید تا کار تولید این مدل‌ها را برای آنها به کارآمدترین و در سطح سازمانی انجام دهد تا آنها بتوانند بقیه کار خود را انجام دهند. در انویدیا، طی یک کنفرانس مطبوعاتی قبل از اطلاعیه های امروز.

در مورد موتور استنتاج، انویدیا از سرور استنتاج Triton، TensorRT و TensorRT-LLM استفاده خواهد کرد. برخی از ریزسرویس‌های انویدیا که از طریق NIM در دسترس هستند، شامل Riva برای سفارشی‌سازی مدل‌های گفتار و ترجمه، cuOpt برای بهینه‌سازی مسیریابی و مدل Earth-2 برای شبیه‌سازی آب و هوا و آب و هوا هستند.

این شرکت قصد دارد قابلیت‌های بیشتری را در طول زمان اضافه کند، از جمله، به عنوان مثال، در دسترس قرار دادن اپراتور Nvidia RAG LLM به عنوان NIM، که قول می‌دهد ساخت ربات‌های چت هوش مصنوعی مولد را ایجاد کند که می‌تواند داده‌های سفارشی را بسیار آسان‌تر جذب کند.

این یک کنفرانس توسعه دهندگان بدون چند اعلامیه مشتری و شریک نخواهد بود. در میان کاربران فعلی NIM می‌توان به Box، Cloudera، Cohesity، Datastax، Dropbox اشاره کرد.
و NetApp.

جنسن هوانگ، بنیانگذار و مدیر عامل انویدیا، گفت: «پلتفرم‌های سازمانی مستقر در معدن طلایی از داده‌ها قرار دارند که می‌توانند به کمک‌های هوش مصنوعی مولد تبدیل شوند. این میکروسرویس‌های AI کانتینری که با اکوسیستم شریک ما ایجاد شده‌اند، بلوک‌های ساختمانی برای شرکت‌ها در هر صنعتی هستند تا به شرکت‌های هوش مصنوعی تبدیل شوند.

خبرکاو