AI大模型技术
方案
目录
1. 概述 1
1.1. 编
写目的 1
1.2. 背景 1
1.3. 软件
设计目标 1
1.4. 术语定义 1
2. 运行环境 2
2.1. 运行软件环境 2
2.2. 运行硬件环境 2
3. 总体技术
方案 2
3.1. 预训练模型 2
3.2. 分词算法 4
3.3. 领域词表扩充 4
3.3.1. BPE词表构建 5
3.3.2. 新词发现 5
3.4. 后预训练 6
3.4.1. 数据处理 6
3.4.2. 训练
方法 7
3.5. 指令微调 8
3.5.1. 数据处理 8
3.5.2. 训练
方法 12
3.6. 指令对齐 14
3.6.1. 奖励数据集 15
3.6.2. 奖励模型训练 15
3.6.3. 强化学习 16
3.7. 下游任务适配 16
3.7.1.
设计P
rompt 16
3.7.2. 参数高效微调 17
3.8. 模型能力评估 19
3.8.1. 通用领域评估 19
3.8.2. 垂直领域评估 20
3.9. 模型量化 20
3.9.1. 后训练量化(PTQ) 20
3.10. 模型部署 21
3.10.1. KV Cache 22
