分享好友 最新动态首页 最新动态分类 切换频道
通过阿里云 Milvus 和 LangChain 快速构建 LLM 问答系统
2024-12-28 06:45

阿里云向量检索 Milvus 版是一款云上全托管服务,确保了与开源Milvus的100%兼容性,并支持无缝迁移。在开源版本的基础上增强了可扩展性,能提供大规模 AI 向量数据的相似性检索服务。相比于自建,目前阿里云Milvus具备易用性、可用性、安全性、低成本与生态优势。凭借其开箱即用的特性、灵活的扩展能力和全链路监控告警,阿里云Milvus 云服务成为多样化 AI 应用场景的理想选择,包括多模态搜索、检索增强生成(RAG)、搜索推荐、内容风险识别等。您还可以利用开源的 Attu 工具进行可视化操作,进一步促进应用的快速开发和部署。

通过阿里云 Milvus 和 LangChain 快速构建 LLM 问答系统

本文介绍如何通过整合阿里云向量检索服务Milvus版、阿里云百炼DashScope Embedding模型与阿里云PAI(EAS)模型服务,构建一个由LLM(大型语言模型)驱动的问题解答应用,并着重演示了如何搭建基于这些技术的RAG对话系统。

  • 已创建Milvus实例。

进入阿里云Milvus页面(https://www.aliyun.com/product/milvus),登录阿里云Milvus控制台(https://milvus.console.aliyun.com/#/overview)。并在左侧导航栏,单击Milvus实例,并继续创建实例

  • 已开通PAI(EAS)并创建了默认工作空间。

登录PAI控制台(https://pai.console.aliyun.com),在左上角选择需要开通的地域后,进行认证、授权并开通服务,待开通成功后,便可进入控制台进行AI开发。

  • 已开通百炼服务并获得API-KEY。

登陆阿里云百炼大模型服务平台(https://bailian.console.aliyun.com),在页面右上角的下拉菜单中单击API-KEY,进行创建。

  • Milvus实例和PAI(EAS)须在相同地域下。
  • 请确保您的运行环境中已安装Python 3.8或以上版本,以便顺利安装并使用DashScope。

该方案架构如下图所示,主要包含以下几个处理过程:

  • 知识库预处理:您可以借助LangChain SDK对文本进行分割,作为Embedding模型的输入数据。
  • 知识库存储:选定的Embedding模型(DashScope)负责将输入文本转换为向量,并将这些向量存入阿里云Milvus的向量数据库中。
  • 向量相似性检索:Embedding模型处理用户的查询输入,并将其向量化。随后,利用阿里云Milvus的索引功能来识别出相应的Retrieved文档集。
  • RAG(Retrieval-Augmented Generation)对话验证:您使用LangChain SDK,并将相似性检索的结果作为上下文,将问题导入到LLM模型(本例中用的是阿里云PAI EAS),以产生最终的回答。此外,结果可以通过将问题直接查询LLM模型得到的答案进行核实。
  1. 进入模型在线服务页面。
  1. 登录PAI控制台(https://pai.console.aliyun.com/)。
  2. 在左侧导航栏单击工作空间列表,在工作空间列表页面中单击待操作的工作空间名称,进入对应工作空间内。
  3. 在工作空间页面的左侧导航栏选择模型部署>模型在线服务(EAS),进入模型在线服务(EAS)页面。
  1. 模型在线服务页面,单击部署服务
  2. 部署服务页面,选择大模型RAG对话系统
  3. 部署大模型RAG对话系统页面,配置以下关键参数,其余参数可使用默认配置,更多参数详情请参见大模型RAG对话系统(https://help.aliyun.com/zh/pai/user-guide/deploy-a-rag-based-dialogue-system)。
  1. 单击部署

服务状态变为运行中时,表示服务部署成功。

  1. 获取VPC地址调用的服务访问地址和Token。
  1. 单击服务名称,进入概览页面。
  2. 基本信息区域,单击查看调用信息
  3. 调用信息对话框的VPC地址调用页签,获取服务访问地址和Token,并保存到本地。
  1. (可选)在ECS控制台创建并启动一个开通公网的ECS实例,用于运行Python文件,详情请参见通过控制台使用ECS实例(快捷版)(https://help.aliyun.com/zh/ecs/getting-started/create-and-manage-an-ecs-instance-by-using-the-ecs-console)。

您也可以在本地机器执行Python文件,具体请根据您的实际情况作出合适的选择。

  1. 执行以下命令,安装相关依赖库。
  1. 执行以下命令,创建文件。

文件内容如下所示。

以下参数请根据实际环境替换。

  1. 执行以下命令运行文件。

返回如下类似信息。

  • 更多关于Milvus的介绍,请参见什么是向量检索服务Milvus版(https://help.aliyun.com/zh/milvus/product-overview/what-is-the-vector-retrieval-milvus-version)。
  • Milvus最新动态:
  • 预付费包年折扣:1年85折、2年7折、3年5折;
  • 产品动态:

如有疑问,可加入向量检索 Milvus 版用户交流钉群59530004993咨询。

最新文章
微信投票 抓包(fiddler 微信投票)
微信投票作为一种常见的社交功能,被广泛应用于各类群体活动中。随着网络技术的不断发展,人们对于微信投票的可信度和安全性产生了一定的质疑。通过抓包分析微信投票的机制和数据传输过程,可以更好地了解其运作原理,并提出相应的改进措施
黑神话悟空获TGA最佳动作游戏,创作团队上台中文致辞
北京时间12月13日,被誉为游戏界“”的TGA 2024颁奖典礼在美国洛杉矶举办,由游戏科学开发的《》荣获年度最佳动作游戏,击败了剑星、绝地潜兵2、使命召唤:黑色行动6、战锤40k:星际战士2。创作团队上台中文致辞。据了解,《黑神话:悟空》在
知识图谱课程学习-2-2人工智能历史发展长河中的知识表示
古老的知识表示研究:    时间:    1960-1970s:语义网络(Semantic Net)    1970s-1980:产生式规则(Production Rule)    1980s-1990s:框架系统(Frame Sy
网站SEO,SEO优化,网站优化,用户体验
1、提供高质量的内容:确保网站上的内容具有相关性、有用性和吸引力,以满足用户的需求。同时,确保内容易于阅读和理解,并使用清晰的标题和段落结构。2、提高网站的加载速度:用户通常不喜欢等待过长时间来加载网页。通过优化图片、压缩文
线上seo优化哪家好(在线优化seo)
大家好,今天小编关注到一个比较有意思的话题,就是关于线上seo优化哪家好的问题,于是小编就整理了3个相关介绍线上seo优化哪家好的解答,让我们一起看看吧。如何利用大数据更好地促进SEO优化服务?线上营销拓客引流方案?网上有什么好的项
揭秘网站建设成本,做网站一般多少钱?,网站建设成本大揭秘,常见网站建设价格全解析
网站建设成本揭秘:费用因项目规模、功能需求、开发团队等因素而异。一般而言,小型网站建设费用在几千至几万元不等;中型网站在几万元至十几万元;大型网站则可能需要几十万元甚至更多。具体费用需根据实际情况进行详细评估。网站建设成本
ss怎么打断施法
每个玩家在玩《英雄联盟》(League of Legends)的过程中都会遇到各种技巧和战术。其中一个重要的技巧是怎样利用SS技能(Summoner Spell)来打断敌方的施法。在本文中,我们将会讨论SS的使用方法和策略,以及如何在游戏中正确地打断敌方的
网站建设工具有哪些,数据实施导向_苹果款22.36.96
摘要:,,本文介绍了网站建设中常用的工具,包括数据实施导向的ॣ
百度快照六大常见问题整理(seo必读)
一、什么是百度快照?每个被百度收录的网页,在百度的服务器上都存有一个纯文本的备份,称为百度快照。 百度快照作为网站遇到故障或某些原因,不能显示的时候,可以通过点击百度快照进行浏览。简单来说,百度快照只是网页的一个纯文本备份。
豪华品牌汽车的智能驾驶技术谁更领先?
在豪华品牌汽车的智能驾驶技术领域,沃尔沃、奔驰、特斯拉、华为等品牌各有千秋。沃尔沃 XC60 的 Pilot Assist 智能领航辅助系统实用性强,能实现自适应巡航、车道保持等一系列功能,驾驶辅助时速高达 130km/h,且基于大量事故数据研发,安
相关文章
推荐文章
发表评论
0评