Ollama — это программная платформа с открытым исходным кодом для выполнения больших языковых моделей (LLM) локально или в облаке. Она предлагает интерфейс командной строки (CLI) для загрузки, установки, использования и удаления моделей. Предоставляя единый интерфейс для поддерживаемых моделей, она позволяет пользователям использовать модели, с деталями которых они не знакомы. Ollama распространяется под свободной лицензией MIT.
Внутреннее устройство
В основе Ollama лежит локальный веб-сервер, предоставляющий унифицированный для всех моделей JSON REST API для управления и взаимодействия с ними. Программа Ollama запускает и управляет этим сервером, а также использует REST API для предоставления интерфейса командной строки для управления моделями и взаимодействия с ними.
Непосредственно для выполнения моделей Ollama использует движок llama.cpp.
Ollama не имеет собственного GUI, предоставляя пользователю интерфейс командной строки. При необходимости можно использовать интерфейс сторонних производителей, например, Open WebUI.
