- Дней с нами
- 3.006
- Розыгрыши
- 0
- Сообщения
- 3.275
- Репутация
- 68
- Реакции
- 4.148
Может кто не знает про такой сайт как
это платформа от Meta для языковых моделей (LLM), которая устанавливается локально. То есть грубо говоря это платформа, на которую можно устанавливать языковые ИИ локально. Этих моделей там целый список:
если хотите попробовать, заходите сюда:
качаете для своей ОС, устанавливаете, далее напишу для винды: запускаете powershell и там пишете:
ollama run имя_модели
имя модели берёте из библиотеки на сайте, но в целом llama3 от meta там самая популярная, то есть в павершелле пишете:
ollama run llama3
если у вас ollama установилась нормально (в трее появился значок ламы и на 11434 порту висит её серсис), то llama3 начнёт скачиваться на ваш пк, когда докачается сразу запустится
всё, можете пробовать общаться, но с русским там модели дружат похуже чем с англ., в отличие от openai gpt., хотя в целом терпимо. Быстродействие ответов зависит от видюхи, но в целом и на проце можно пользоваться если с видюхой беда. Запускать тяжёлые модели (типа 70b) на слабых пк смысла нет, там оперативы нужно дохрена. Если вас не устраивает интерфейс командной строки, то олламу можно прикрутить к веб интерфейсу, например с сайта:
useanything.com
В целом вы получите экспириенс похуже чем от openai, но тот факт, что это всё можно делать локально, весьма привлекателен. Если шарите, там можно и замутить сервер с олламой и подключаться к нему с других устройств в сети. Короче неплохая развлекуха. Ну и если заинтересуетесь, там вроде и твикать модели можно под себя.
Если что задавайте вопросы, но я сам не прям шарю, особенно про линукс только самые базовые вещи смогу помочь. Инфы в сети много по ней, так что легко сами разберётесь. В целом если владеете англ. на уровне B1 и выше то лучше общаться с моделями на нём.
ollama run имя_модели
имя модели берёте из библиотеки на сайте, но в целом llama3 от meta там самая популярная, то есть в павершелле пишете:
ollama run llama3
если у вас ollama установилась нормально (в трее появился значок ламы и на 11434 порту висит её серсис), то llama3 начнёт скачиваться на ваш пк, когда докачается сразу запустится
всё, можете пробовать общаться, но с русским там модели дружат похуже чем с англ., в отличие от openai gpt., хотя в целом терпимо. Быстродействие ответов зависит от видюхи, но в целом и на проце можно пользоваться если с видюхой беда. Запускать тяжёлые модели (типа 70b) на слабых пк смысла нет, там оперативы нужно дохрена. Если вас не устраивает интерфейс командной строки, то олламу можно прикрутить к веб интерфейсу, например с сайта:
AnythingLLM | The ultimate AI business intelligence tool
AnythingLLM is the ultimate enterprise-ready business intelligence tool made for your organization. With unlimited control for your LLM, multi-user support, internal and external facing tooling, and 100% privacy-focused.
useanything.com
Если что задавайте вопросы, но я сам не прям шарю, особенно про линукс только самые базовые вещи смогу помочь. Инфы в сети много по ней, так что легко сами разберётесь. В целом если владеете англ. на уровне B1 и выше то лучше общаться с моделями на нём.
