نحوه اجرای LLM های منبع باز محلی با استفاده از Olama

این مقاله شما را از طریق دانلود و استفاده از Ollama، ابزاری قدرتمند برای تعامل با مدلهای متنباز زبان بزرگ (LLM) در دستگاه محلی شما راهنمایی میکند.
برخلاف مدلهای منبع بسته مانند ChatGPT، Olama شفافیت و سفارشیسازی را ارائه میدهد و آن را به منبعی ارزشمند برای توسعهدهندگان و علاقهمندان تبدیل میکند.
ما نحوه دانلود Ollama و تعامل با دو مدل LLM منبع باز هیجان انگیز را تحلیل خواهیم کرد: LLaMA 2، یک مدل مبتنی بر متن از Meta، و LLaVA، یک مدل چند وجهی که می تواند هم متن و هم تصاویر را مدیریت کند.
چگونه اوللاما را دانلود کنیم
برای دانلود Ollama به وب سایت رسمی Olama رفته و دکمه دانلود را بزنید.

Ollama از 3 سیستم عامل مختلف پشتیبانی می کند و نسخه ویندوز در حالت پیش نمایش است.

شما می توانید فایل اجرایی را با توجه به سیستم عامل خود انتخاب کنید و پس از دانلود موفقیت آمیز فایل اجرایی، با اجرای فایل اجرایی آن را نصب کنید.
برای کاربران لینوکس، به جای دانلود یک فایل اجرایی، باید دستوری را که روی صفحه نمایش داده می شود، اجرا کنید.
چگونه اولاما را اجرا کنیم
برای اینکه قدرت استفاده از LLM های منبع باز را به صورت محلی به شما نشان دهم، نمونه های متعددی را با مدل های متن باز مختلف با موارد استفاده متفاوت ارائه می کنم. این به شما کمک می کند تا از هر مدل منبع باز LLM آینده به راحتی استفاده کنید.
پس ، اجازه دهید با مثال اول شروع کنیم!
نحوه اجرای مدل LLama2 از متا
مدل Llama 2 یک مدل LLM منبع باز از متا است و ما با آن مانند ChatGPT (نسخه رایگان) تعامل خواهیم داشت، فقط تعامل مبتنی بر متن.
ابتدا مدل را با استفاده از دستور زیر دانلود می کنیم:
ollama run llama2
پس از دانلود مدل باید خروجی مشابه این را ببینید.
pulling manifest pulling 8934d96d3f08... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 3.8 GB pulling 8c17c2ebb0ea... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 7.0 KB pulling 7c23fb36d801... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 4.8 KB pulling 2e0493f67d0c... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 59 B pulling fa304d675061... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 91 B pulling 42ba7f8a01dd... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 557 B verifying sha256 digest writing manifest removing any unused layers success >>> Send a message (/? for help)
اکنون، باید از شما بخواهد که یک پیام یا درخواست ارسال کنید. بیایید از lama2 بپرسیم "چه کاری می توانید برای من انجام دهید؟" (هر چه می خواهید بپرسید).
اگر همان سوال بالا را پرسیدید، باید پاسخی مانند این دریافت کنید:
>>> What can you do for me? As a responsible AI language model, I am here to assist you with any questions or tasks you may have. Here are some examples of things I can help with: 1. Answering questions: I can provide information on a wide range of topics, from science and technology to history and culture. 2. Generating ideas: I can help you brainstorm ideas for creative projects, or provide suggestions for solving problems. 3. Writing assistance: I can help you with writing tasks such as proofreading, editing, and suggesting alternative words or phrases. 4. Translation: I can translate text from one language to another. 5. Summarizing content: I can summarize long pieces of text, such as articles or documents, into shorter, more digestible versions. 6. Creativity: I can help you generate creative ideas for stories, poems, or other forms of writing. 7. Language learning: I can assist you in learning a new language by providing grammar explanations, vocabulary lists, and practice exercises. 8. Chatting: I'm here to chat with you and provide a response to any question or topic you'd like to discuss. Please let me know if there is anything specific you would like me to help you with. >>> Send a message (/? for help)
پس این پاسخی است که من از lama2 دریافت کردم.
برای خروج از برنامه می توانید /exit
تایپ کنید.
بیایید اکنون یک مدل چند وجهی اجرا کنیم که در آن میتوانید یک تصویر ارسال کنید و بر اساس آن سؤال بپرسید.
نحوه اجرای مدل LLaVA
LLaVA یک مدل LLM چند وجهی منبع باز است. یک مدل چند وجهی میتواند ورودیهای مختلفی را دریافت کند و بر این اساس یک پاسخ تولید کند.
با استفاده از این مدل، اکنون قصد داریم تصویری را ارسال کنیم و بر اساس آن یک سوال بپرسیم.
پس ، ابتدا اجازه دهید مدل را دانلود کنیم:
ollama run llava
پس از دانلود موفقیت آمیز مدل، باید چیزی شبیه به این را در ترمینال مشاهده کنید:
pulling manifest pulling 170370233dd5... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 4.1 GB pulling 72d6f08a42f6... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 624 MB pulling 43070e2d4e53... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 11 KB pulling c43332387573... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 67 B pulling ed11eda7790d... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 30 B pulling 7c658f9561e5... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 564 B verifying sha256 digest writing manifest removing any unused layers success >>> Send a message (/? for help)
من از این تصویر از pexels.com استفاده خواهم کرد.
این خروجی است که از LLaVA گرفتم:
>>> What's in this image? ./Downloads/test-image-for-llava.jpeg Added image './Downloads/test-image-for-llava.jpeg' The image shows a person walking across a crosswalk at an intersection. There are traffic lights visible, and the street has a bus parked on one side. The road is marked with lane markings and a pedestrian crossing signal. The area appears to be urban and there are no visible buildings or structures in the immediate vicinity of the person. >>> Send a message (/? for help)
می بینید که توضیح دقیقی از تصویر است.
با خیال راحت چیز دیگری را امتحان کنید و از آن لذت ببرید.
نتیجه
خودشه! با Olama، می توانید LLM های قدرتمندی مانند LLaMA 2 و LLaVA را روی دستگاه خود آزمایش کنید.
Ollama را دانلود کنید و دنیای هیجان انگیز مدل های زبان بزرگ منبع باز را کشف کنید!
ارسال نظر