目录

1、ollama

ollama的一些操作命令：

使用的方式：

2、fastgpt

快速部署：

修改配置：

config.json:

docker-compose.yml:

运行fastgpt：

访问OneApi:

添加令牌和渠道：

登陆fastgpt，创建知识库和应用

3、总结：

附录：

1. 11434是ollama的端口：

2. m3e 测试 404 说明：

---

定义： ollama 是一个本地的大模型运行框架

下载地址：Ollama

其他方式

定义：FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排，从而实现复杂的问答场景！

docker快速部署参考：Docker Compose 快速部署 | FastGPT

config.json:

config.json 修改 llmModels（大语言模型） 和 vectorModels （向量模型）的配置。

例如：大语言模型我使用了qwen2:latest，则有如下配置：

向量模型我使用了m3e，则有如下配置：

在fastgpt中，大语言模型和向量模型都可以配置多个。

大语言模型的名称可以查询ollama下的模型列表（ollama list）找到：

上面的m3e向量模型在ollama中没有，所以我们需要下载和运行。命令如下：

可以根据自己电脑是否有GPU运行的条件决定使用哪个启动命令。

docker-compose.yml:

docker-compose.yml 需要修改如下内容：（若其他镜像配置的端口有冲突，也需要修改）

解释：

• OPENAI_BASE_URL参数：
  • 端口3001是OneApi设置的端口。
  • host.docker.internal 是docker容器内访问宿主机的地址，相当于IP地址，当在不同的网络下工作时尤其有用。

注意：host.docker.internal 尽量避免手敲，手敲也要仔细检查，避免出现单词拼写错误的情况。

• CHAT_API_KEY参数：
  • 需要启动OneApi后，从令牌处复制过来。（这里先跳过）

• m3e向量模型是我们另外加进来的，所以这里也需要加上相关配置。

笔者修改后的配置：

config.json

docker-compose.yml

访问OneApi:

地址：http://localhost:3001/

账号/密码： root/123456

注意：账号密码可能会更新，若登陆失败。可以去官网查找最新的账号密码。

添加令牌和渠道：

添加令牌：

名称可以随便设置，模型范围、IP限制、过期时间及额度根据个人情况设置，提交。

之后就可以点击“复制”按钮复制key 到 docker-compose.yml 文件中的 CHAT_API_KEY，保存。

添加渠道：

我们需要给ollama 和 m3e各配置一个渠道。

配置 ollama 渠道：

端口问题详见附录.1。

渠道测试：

配置m3e渠道：

渠道测试：

报错了，错误是 404。这个说明是正常的，原因是fastgpt最初是针对chatgpt开发的，默认的请求路径是到chatgpt的API的路径。

说明详见附录.2

地址：localhost:3000

账号/密码：root/1234

手动输入知识库文本物料：

修改配置：

导入外部文件：

输入应用名称，选择"知识库+对话引导"，点击确认

点击发布。开启知识库的问答！

模型回答的准确性有待提高，在选择模型和训练模型的时候需要尤其注意。

访问测试：http://localhost:11434/

1. 打开docker中 fastgpt内 m3e 的日志

2.重新点击 OneApi 中 m3e 渠道的测试按钮