(使用人工智能生成。)
作为一个人工智能时代的普通用户,你可能用过或听说过 ChatGPT、文心一言这样的生成式人工智能工具。但如果你是一个开发者或使用人工智能的企业,那你大概率听说过或正在使用开源模型。《福布斯》就推荐了七大“当今最好的开源生成式人工智能模型”,我们来看看都有哪些。
开发者和企业在开始使用生成式人工智能时,选择开源而不是专有工具的原因有很多。
这可能是因为成本、定制和优化的机会、透明度,或者仅仅是因为社区提供的支持。
当然,开源也有缺点。
对于一般软件来说,“开源”一词仅仅意味着源代码是公开的,可以免费用于几乎任何目的。
但说到人工智能模型,人们对其确切含义还存在一些争议,我们将在讨论本文涉及的各个模型时对此进行探讨。那么,让我们开始吧。
Stable Diffusion
作为最强大、最灵活的图像生成模型之一,当然也是使用最广泛的开源图像模型,Stable Diffusion 3(当前的最新版本)支持文本到图像以及图像到图像的生成,并以其创建高度逼真、细节丰富的图像的能力而闻名。
与常见的开源软件一样,使用 Stable Diffusion 并不像使用 ChatGPT 等商业专有工具那么简单。它没有自己的 Web 界面,而是通过商业实体开发的第三方工具来访问,包括 DreamStudio 和 Stable Diffusion Web。另一种方法是在本地自行编译和运行,这就需要提供自己的计算资源和技术知识。
Meta Llama 3
这是一系列具有各种规模的语言模型,使其适合不同的应用程序,从轻量级移动客户端到全规格云部署。在其社交媒体平台上为 Meta AI 助手提供动力的同一个模型,任何人都可以将其用于多种用途,包括自然语言生成和创建计算机代码。它的强项之一是能够在功率相对较低的硬件上运行。不过,与本文涉及的其他一些模型一样,由于 Meta 公司没有披露其训练数据的确切细节,因此对于它是否能真正被视为开源模型还存在一些争议。
Mistral AI
Mistral 是一家法国初创公司,开发了多种生成式人工智能模型,并以开源许可的方式提供。其中包括 Mistral 7B,其设计轻巧且易于在低功耗硬件上部署,以及功能更强大的 Mistral 8x22B。它拥有强大的用户社区提供支持,并将自己定位为高度灵活和可定制的生成语言模型。
GPT-2
OpenAI 已经开源了其大型语言模型的第二个版本——本质上是现在用于为 ChatGPT 提供动力的引擎的早期版本。虽然它不像后来的 GPT-3.5 或 GPT-4 那么大、强大或灵活(与 GPT-4 的一万亿个参数相比,它建立在 12 亿个参数上),但它仍被认为完全可以胜任许多基于语言的任务,如生成文本或为聊天机器人提供动力。GPT-2 由 OpenAI 根据 MIT 许可提供,通常被认为符合开源原则。
BLOOM
BLOOM 被称为世界上最大的开放式多语言语言模型,建立在 1760 亿个参数的基础上。开发工作由 Hugging Face 领导,Hugging Face 是一个开源人工智能资源库,与 1000 多名研究人员组成的团队合作,是一个名为 BigScience 的全球合作项目的一部分。其目的是创建一个真正开放、透明的大型语言模型,任何人只要同意该项目的“负责任的人工智能许可”条款,都可以使用。从技术上讲,这意味着它并不完全开源,但只要不将其用于许可证条款定义的有害目的,就可以免费使用和分发。这使得它在开发和传播道德人工智能这一至关重要的领域成为一个非常有趣的实验。
Grok.AI
这个大型语言模型还声称是世界上最大的开源模型,尽管对于它在技术上是否符合真正开源的所有标准,还是存在一些争议。
Grok 是由 X.ai 设计和构建的,X.ai 是埃隆·马斯克在与 OpenAI 分离后成立的一家初创公司。据报道,这一分裂是由于对人工智能模型“开放”的确切含义存在分歧造成的。
X 没有使用“大型语言模型”这一术语,而是将 Grok 描述为“专家混合”(mixture of experts)模型,这反映了这样一个事实:即基础模型被设计为更具通用性,而不是专门为创建对话而训练的,例如 ChatGPT。
与 Llama 一样,人们对 Grok 的开源地位持怀疑态度的原因是基于这样一个事实:虽然 X.ai 公开了模型的权重和架构,但它并未披露所有代码或训练数据。
Falcon
该大语言模型架构的两个模型已由其开发者——阿布扎比政府成立的研究机构“技术创新研究所”免费提供。这两种型号——更便携的 Falcon 40B 和更强大的 180B 都已作为开放源代码发布,据报道在 Open Face 的大型语言模型性能排行榜上仅次于 GPT-4。虽然较小的模型是根据 Apache 2.0 许可证发布的——通常被认为符合开源的定义——但较大的模型在使用和分发方面附加了一些条件。
对开源生成式人工智能工具领域的探索揭示了可供选择的多样化模型阵列,并强调了这些技术对渴望利用人工智能力量的开发者和企业所具有的变革潜力,同时也体现了透明度、成本效益和强大的社区支持。🅠
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。