目录
引言
一、ChatGLM3大模型本地部署
二、部署M3E模型
三、部署One-API
四、部署FastGPT
-
知识延迟问题是训练大模型需要一定的时间，从而训练数据就不可能具有实时性，而且相当耗费资源。
-
幻想问题问题则由于LLM采用的概率模型，即预测生成下一个字符概率是多少，所有或多或少的它在生成结果的时候都有定的可能出现错误。
使用python api_server.py启动后使用postman工具进行测试。
api_server.py启动后监听8000端口
Postman工具使用post方式进行测试
ChatGLM3返回报文
测试请求体：
M3E 是 Moka Massive Mixed Embedding 的缩写，其中：
-
Moka，此模型由 MokaAI 训练，开源和评测，训练脚本使用 uniem ，评测 BenchMark 使用 MTEB-zh
-
Massive，此模型通过千万级 (2200w+) 的中文句对数据集进行训练
-
Mixed，此模型支持中英双语的同质文本相似度计算，异质文本检索等功能，未来还会支持代码检索
-
Embedding，此模型是文本嵌入模型，可以将自然语言转换成稠密的向量
M3E模型使用场景主要是中文，少量英文的情况，多语言使用场景，并且不介意数据隐私的话，建议使用 openai text-embedding-ada-002。
项目地址：moka-ai/m3e-base · Hugging Face，把项目拉下来即可使用。把项目地址在ChatGLM中openai_api_demo/api_server.py相应修改。
One-API使用Docker进行快速部署，One-API和FastGPT建议使用Linux系统进行部署，本文采用虚拟机安装了CentOS进行部署。
先安装Docker，Docker部署命令：
One-API部署命令：
由于FastGPT也是使用3000端口，这里One-API改用3080端口。
利用docker ps查看One-API是否启动
启动后在本地浏览器打开One-API，地址为本地IP地址+3080端口，登录页初始账号为root，密码123456。
One-API登录界面
由于是本地部署的模型，需要在“渠道”里配置ChatGLM大模型和M3E向量模型的地址。其中Base URL是能访问大模型的地址，密钥是自定义的，可以随意填写。
配置大模型渠道
配置M3E模型渠道
配置好后测试两个模型是否可以调用，点击测试按钮即可。
测试响应
设置令牌，后面在配置FastGPT时会用到。
配置令牌
FastGPT功能结构示意图
先来了解下 FastGPT 是如何进行知识库检索的。首先了解几个基本概念：
- 向量：将人类直观的语言（文字、图片、视频等）转成计算机可识别的语言（数组）。
- 向量相似度：两个向量之间可以进行计算，得到一个相似度，即代表：两个语言相似的程度。
- 语言大模型的一些特点：上下文理解、总结和推理。
结合上述 3 个概念，便有了 “向量搜索 + 大模型 = 知识库问答” 的公式。下图是 FastGPT V3 中知识库问答功能的完整逻辑：
FastGPT本文在Linux系统下使用Docker进行部署，目前这也是官方推荐的部署方式，官网介绍链接
依次执行下面命令，创建 FastGPT 文件并拉取和，执行完后目录下会有 2 个文件。
接下来修改docker-compose.yml文件：
主要修改fastgpt/environment下的OPENAI_BASE_URL和CHAT_API_KEY
前者填入One-API的地址和端口号，后者填写设置好的令牌口令。数据库的账号密码可以后面再重新设定。
同时修改config.json文件：
主要修改“llmModels”键值对中“model”和“name”的名字和其它需要的配置，如果不用其它的模型，保留这样一个字典就行，同时也要修改一下向量模型 "vectorModels"的“model”和“name”。
修改后启动容器：
在 docker-compose.yml 同级目录下执行。同时确保版本最好在2.17以上，否则可能无法执行自动化命令。
用docker ps查看是否正常启动
若oneapi没正常启动
正常启动后在浏览器上访问fastgpt，本地ip：3000端口。
账号root，初始密码1234。创建应用后即可测试是否正常使用本地部署的大模型。
那么，如何系统的去学习大模型LLM？
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。
但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。