有小伙伴问，如果我想在本地搞个大模型玩玩，有什么解决方案？

Ollama，它来了，专为在本地机器便捷部署和运行大模型而设计。

也许是目前最便捷的大模型部署和运行工具，配合Open WebUI，人人都可以拥有大模型自由。

今天，就带着大家实操一番，从 0 到 1 玩转 Ollama。

相对简单，根据你电脑的不同操作系统，下载对应的客户端软件，并安装：

• macOS：https://ollama.com/download/Ollama-darwin.zip

• Windows：https://ollama.com/download/OllamaSetup.exe

推荐大家使用 Linux 服务器进行部署，毕竟大模型的对机器配置还是有一定要求。

裸机部署

step 1: 下载 & 安装

命令行一键下载和安装：

如果没有报错，它会提示你 ollama 的默认配置文件地址：

接下来，我们采用如下命令查看下服务状态， running 就没问题了：

查看是否安装成功，出现版本号说明安装成功：

step 2: 服务启动

浏览器中打开：，如果出现 ，说明服务已经成功运行。

step 3: 修改配置（可选）如果有个性化需求，需要修改默认配置：

配置文件在：，采用任意编辑器打开，推荐

1. 默认只能本地访问，如果需要局域网内其他机器也能访问（比如嵌入式设别要访问本地电脑），需要对 HOST 进行配置，开启监听任何来源IP

2. 如果需要更改模型存放位置，方便管理，需要对 OLLAMA_MODELS 进行配置：

不同操作系统，模型默认存放在：

3. 如果有多张 GPU，可以对 CUDA_VISIBLE_DEVICES 配置，指定运行的 GPU，默认使用多卡。

4.配置修改后，需要重启 ollama

注意：上面两条指令通常需要同时使用：只要你修改了任意服务的配置文件（如 .service 文件），都需要运行使更改生效。

Docker 部署

我们也介绍下 Docker 部署，无需配置各种环境，相对小白来说，更加友好。

step 1: 一键安装

如果是一台没有 GPU 的轻量级服务器：

简单介绍下这个命令的参数：

• docker run：用于创建并启动一个新的 Docker 容器。

• -d：表示以分离模式（后台）运行容器。

• -v ollama:/root/.ollama：将宿主机上的 ollama 目录挂载到容器内的 /root/.ollama 目录，便于数据持久化。

• -p 11434:11434：将宿主机的 11434 端口映射到容器的 11434 端口，使外部可以访问容器服务。

• –name ollama：为新创建的容器指定一个名称为 ollama，便于后续管理。

• –restart always：容器在退出时自动重启，无论是因为错误还是手动停止。

• ollama/ollama：指定要使用的 Docker 镜像，这里是 ollama 镜像。

宿主机上的数据卷 volume 通常在 ，可以采用如下命令进行查看：

如果拥有 Nvidia-GPU：

安装成功后，注意要给服务器打开 11434 端口的防火墙，然后浏览器打开 ，如果出现 ，说明服务已经成功运行。

step 2: 进入容器

如何进入容器中执行指令呢？

参数说明：

• exec：在运行中的容器中执行命令。

• -it：表示以交互模式运行，并分配一个伪终端。

• ollama：容器的名称。

• /bin/bash：要执行的命令，这里是打开一个 Bash shell。

执行后，你将进入容器的命令行，和你本地机器上使用没有任何区别。

如果不想进入容器，当然也可以参考如下指令，一键运行容器中的模型：

如果一段时间内没有请求，模型会自动下线。

Ollama 都有哪些指令？

终端输入 ：

我们翻译过来，和 docker 命令非常类似：

类似 Docker 托管镜像的 Docker Hub，Ollama 也有个 Library 托管支持的大模型。

传送门：https://ollama.com/library

从0.5B 到 236B，各种模型应有尽有，大家可以根据自己的机器配置，选用合适的模型。

同时，官方也贴心地给出了不同 RAM 推荐的模型大小，以及命令：

注：至少确保，8GB的 RAM 用于运行 7B 模型，16GB 用于运行 13B 模型，32GB 用于运行 33B 模型。这些模型需经过量化。

因为我的是一台没有 GPU 的轻量级服务器，所以跑一个 0.5B 的 qwen 模型，给大家做下演示：

如果要使用的模型不在 Ollama 模型库怎么办？

GGUF (GPT-Generated Unified Format)模型

GGUF 是由 llama.cpp 定义的一种高效存储和交换大模型预训练结果的二进制格式。

Ollama 支持采用 Modelfile 文件中导入 GGUF 模型。

下面我们以本地的 llama3 举例，详细介绍下实操流程：

step 1: 新建一个文件名为 Modelfile 的文件，然后在其中指定 llama3 模型路径：

step 2: 创建模型

step 3: 运行模型

终端出现 ，开启和 Ollama 的对话旅程吧~

下面是几个常用案例：

• 多行输入：用"""包裹

• 多模态模型：文本 + 图片地址

• 将提示作为参数传递

PyTorch or Safetensors 模型

Ollama 本身不支持 PyTorch or Safetensors 类型，不过可以通过 进行转换、量化处理成 GGUF 格式，然后再给 Ollama 使用。

关于 的使用，小伙伴可以前往官方仓库：https://github.com/ggerganov/llama.cpp。下载后需要编译使用，成功后会在目录下生成三个可执行文件：

不过我们只能需要用到它的模型转换功能，还是以 llama3 举例：首先安装项目依赖，然后调用 实现模型转换：

提示词实现模型定制

刚才我们介绍了 Modelfile，其中我们还可以自定义提示词，实现更个性化的智能体。

假设现在你从模型库下载了一个 llama3:

然后我们新建一个 Modelfile，其中输入：

Ollama 实现模型量化

Ollama 原生支持 FP16 or FP32 模型的进一步量化，支持的量化方法包括：

在编写好 Modelfile 文件后，创建模型时加入 标志：

除了本地运行模型以外，还可以把模型部署成 API 服务。

执行下述指令，可以一键启动 REST API 服务：

下面介绍两个常用示例：

1、生成回复

2、模型对话

更多参数和使用，可参考 API 文档：https://github.com/ollama/ollama/blob/main/docs/api.md

前段时间，我们已经完成了 oneAPI 的部署，oneAPI 也支持 Ollama 模型，我们只需在 oneAPI 中为 Ollama 添加一个渠道。

创建好之后，点击 一下，右上角出现提示，说明已经配置成功，接下来就可以采用 OpenAI 的方式调用了。

Open WebUI 是一个可扩展的自托管 WebUI，前身就是 Ollama WebUI，为 Ollama 提供一个可视化界面，可以完全离线运行，支持 Ollama 和兼容 OpenAI 的 API。

🚀 一键直达：https://github.com/open-webui/open-webui

Open WebUI 部署

我们直接采用 docker 部署 Open WebUI：

因为我们已经部署了 Ollama，故采用如下命令：

其中： 是为了添加一个主机名映射，将 host.docker.internal 指向宿主机的网关，方便容器访问宿主机服务

假设你之前没有安装过 Ollama，也可以采用如下镜像（打包安装Ollama + Open WebUI）：

Open WebUI 使用

在打开主机 3000 端口的防火墙之后，浏览器中输入：，注册一个账号：

可以发现界面和 ChatGPT 一样简洁美观，首先需要选择一个模型，由于我们只部署了 ，于是先用它试试：

右上角这里可以设置系统提示词，以及模型参数等等：

管理员面板这里，有更多探索性功能，比如图像生成，如果你部署了 StableDiffusion，这里同样支持调用：

不得不说，Open WebUI 的功能真的非常强大，更多功能可参考官方文档：https://docs.openwebui.com/

至此，我们一起走完了 Ollama 的部署和实战流程。

在我看来，Ollama 也许是目前最便捷的大模型部署和使用工具，对小白非常友好。

简单的命令行操作，用户即可快速启动和管理模型，极大降低了技术门槛，用户可以专注于模型的应用，而无需关注底层技术细节。此外，Ollama 的离线运行也为数据安全提供了保障。

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• prompt 攻击和防范
• …

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 Javascript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。