简介

Ollama 是一个用于部署和管理机器学习模型的工具，旨在简化模型的本地和云端部署过程。它提供了一套工具和接口，帮助开发者和数据科学家更容易地将机器学习模型集成到生产环境中。

官网地址 Github地址

主要功能

模型管理:

模型注册和版本控制: 允许用户注册和管理多个版本的模型，便于更新和回滚。

模型存储: 提供存储和访问模型的机制，支持本地存储和云存储。

部署选项:

本地部署: 支持在本地环境中部署模型，方便开发和测试。

云端部署: 支持在云端部署，集成与云服务提供商的合作，如 AWS、GCP 等。

API 和 SDK:

API 接口: 提供 RESTful API 接口，方便与其他应用集成。

SDK 支持: 提供 Python 等多种语言的 SDK，简化模型调用和集成。

扩展性和集成:

插件系统: 允许通过插件扩展功能，如监控、日志记录等。

集成第三方工具: 支持与监控工具、数据处理管道等第三方工具的集成。

监控和日志:

实时监控: 提供实时监控模型性能和资源使用的功能。

日志记录: 记录模型的使用情况、错误日志等，有助于调试和优化。

应用场景：开发和测试: 在开发阶段，使用 Ollama 部署模型进行测试，确保模型在实际使用环境中的表现。

生产部署: 在生产环境中部署经过训练和验证的模型，支持大规模用户访问和请求处理。

模型管理: 在机器学习生命周期中，管理模型的不同版本和更新，确保模型的持续改进。

优势

简化部署流程: 通过提供统一的接口和工具，减少了模型部署的复杂性。
灵活性和可扩展性: 支持多种部署环境和集成选项，适应不同的业务需求。
易用性: 提供清晰的文档和用户界面，使得即使是非专业人员也能轻松使用。

下载安装

下载地址下载完成打开安装包直接点击install即可

默认模型下载路径C:\Users\用户名\.ollama\models\blobs

配置自定义的模型下载路径

打开windows的设置->系统—>高级系统设置->环境变量->系统变量->新增

变量名：OLLAMA_MODELS

变量值：自定义路径

下载模型地址

选择自己想要模型比如llama3.1，复制下载命令


ollama run llama3.1

打开命令行输入命令，等待安装即可出现success就是安装完成

导入自己的模型

魔搭社区下载模型选择.gguf结尾文件

在自定义的目录下创建Modelfile文件

FROM ./qwen2-1_5b-instruct-q5_k_m.gguf

cmd命令输入ollama create qwen2:1.5 -f Modelfile 加载模型，可自行指定模型名称和版本

Ollama使用

在终端选择需要模型比如：ollama run qwen2

出现：>>> send a message

直接输入问题即可

安装可视化界面Open WebUI

github地址这是docker部署的，请先去看docker部署教程这里不再说明

部署命令：

如果Ollama在您的计算机上，请使用以下命令:


docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

替换国内地址链接


docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/typ431127/open-webui:v0.3.8

如果Ollama位于其他服务器上，请使用以下命令：要连接到另一台服务器上的Ollama，请将Ollama_BASE_URL更改为服务器的URL:


docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

要运行支持Nvidia GPU的Open WebUI，请使用以下命令:


docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

替换国内地址链接


docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always swr.cn-north-4.myhuaweicloud.com/ddn-k8s/ghcr.io/open-webui/open-webui:cuda

安装带有捆绑 Ollama 支持的 Open WebUI

支持 GPU：通过运行以下命令来利用 GPU 资源：


docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

仅适用于 CPU：如果您未使用 GPU，请改用以下命令：


docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

这两个命令都有助于 Open WebUI 和 Ollama 的内置轻松安装，确保您可以快速启动并运行所有内容。

部署完成后在浏览器打开http://localhost:3000/

输入邮箱和密码，随便填

Ollama命令

命令	解释
serve	启动ollama
create	从模型文件创建模型
show	显示模型的信息
run	运行模型
pull	从 https://ollama.com/library 拉取模型
push	推送模型至 https://ollama.com/library
list	列出所有的模型
ps	列出正在运行的模型
cp	复制模型
rm	删除模型
help	关于任何命令的帮助
-h	为ollama提供帮助
-v	version显示版本信息