文章目录
- 1. 写在前面
- 2. 效率工具
- 3. 聊天机器人
- 4. 应用开发工具
- 5. Prompt工具与社区
- 6. 通用基础大模型
- 7. 训练框架
- 8. 开源数据集
- 9. 推理与部署平台及工具
在数字化时代，人工智能（AI）正成为推动创新和变革的引擎。从高效的工具和聊天机器人到强大的训练框架和开源数据集，AI 大模型产品正在改变我们看待和使用技术的方式
本文作者将汇总AI大模型领域最前沿的效率工具、应用开发工具、Prompt 技术、训练框架、开源数据集、数据服务，以及推理与部署平台，建议大家收藏起来～总会有用的
devv.ai是一款面向开发者的下一代AI搜索引擎
CodeFuse是一款为国内开发者提供智能研发服务的产品，该产品是基于蚂蚁集团自研的基础大模型进行微调的代码大模型。具备代码补全、添加注释、解释代码、生成单测，以及代码优化功能，以帮助开发者更快、更轻松地编写代码
简单AI提供全面的AI社区服务，包括AI作图、文生图prompt社区、AI文案、AI头像、AI素材、AI设计等。 以“快人一步，轻松玩转AI” 为理念，致力于让每一个用户都能便捷地使用和理解人工智能
看看这些生成的图，惟妙惟肖的
AutoDraw是由Google推出的一个在线绘图工具，它利用机器学习和人工智能技术来帮助用户绘制图形。主要特点是识别用户所绘制的简单图形，并提供相关的预定义图形供用户选择，从而快速转换手绘图为更精确的图形。这个工具通过智能识别和建议功能，使得用户无需具备专业绘图技能，就能轻松创建出美观的图形
Fliki是一个文本转视频工具，通过使用AI语音将创意转化为引人注目的内容。该工具可能允许用户输入文本，然后使用人工智能生成声音并将其合成到视频中，从而帮助用户快速而轻松地创建视觉和听觉上的内容
Midjourney是第一个快速生成AI制图并开放予大众申请使用的平台！只需要输入关键字，就能够通过AI算法生成相对应的图片，还可以选择不同艺术家的风格，识别特定镜头或摄影术语，效果炸裂
Notion是一款多功能协作工具，它将笔记、项目管理、文档编辑、知识库等多种功能集成在一个应用程序中！通过AI的方式我们可以快速整理笔记、写文章、条列大纲、制作表格、检查文法等
Amazon CodeWhisperer是亚马逊推出的实时AI编程助手，是一项基于机器学习的服务，它可以分析开发者在集成开发环境（IDE）中的注释和代码，并根据其内容生成多种代码建议
笔灵AI是一款面向专业写作领域的AI写作工具，一键生成工作计划，营销方案等100种真实案例写作内容
ChatGPT当属第一！它是OpenAI训练的对话式大规模语言模型，是InstructGPT的兄弟模型，二者同属GPT-3.5系列的主力模型。 模型采用对话格式，可以跟进回答问题、承认错误、挑战不正确的前提并拒绝不正当的请求，且支持中文
豆包是你的智能小助手，可以为你答疑解惑，提供灵感，辅助创作，也可以和你畅聊任何你感兴趣的话题
DevOpsGPT是一款开源人工智能驱动的软件开发自动化解决方案，做为AI驱动的智能软件开发平台，DevOpsGPT将LLM（大语言模型）和DevOps工具相结合，通过利用Chat-GPT等大型语言模型的能力，将自然语言需求转化为可工作的软件。这一创新功能极大地提高了开发效率、缩短了开发周期、降低了沟通成本，从而带来更高质量的软件交付
xTuring提供了对LLMs（如LLaMA、GPT-J、Galactica等）快速、高效、简单的微调服务。通过易用的界面，用户可以根据自己的数据和应用来微调LLMs，方便定制和控制。整个过程可以在个人电脑或私有云中完成，确保数据的隐私和安全性
FlowiseAI是一个开源的用户界面可视化工具，使用Node Typescript/Javascript编写，通过LangchainJS来构建定制的大型语言模型（LLM）流程。该工具以图形化方式简化了AI模型的创建和管理，使用户能够更方便地定制和使用人工智能技术
Dify是一个易用的LLMOps平台，基于不同的大型语言模型能力，让更多人可以简易地创建可持续运营的原生AI应用。Dify提供多种类型应用的可视化编排，应用可开箱即用，也能以“后端即服务”的API提供服务
LlamaIndex是一个简单、灵活的数据框架，用于将自定义数据源连接到大型语言模型
LangChain是一个基于语言模型开发应用程序的框架
FlowGPT是一个专注于分享ChatGPT聊天指令问答模板的在线社区网站。在这里，用户可以浏览大量由FlowGPT社区上传的ChatGPT提示词，以及查找当前最流行且有用的提示词
Prompt Engine一个帮助开发者为大型语言模型制作提示的库
Gemini是Google开发的跨模态的、真正通用的AI模型，可以无缝地处理文本、视觉、音频、图像和视频等多种输入和输出
Yi是李开复博士创办的AI2.0公司零一万物开源发布的首款预训练大模型
MistralAI团队发布了Mistral 7B，这是迄今为止最强大的小型语言模型。Mistral 7B是一个拥有73亿参数的模型，其在所有基准测试中均超过了Llama 2 13B，在许多基准测试中超过了Llama 1 34B，接近CodeLlama 7B在代码任务的表现，同时还擅长英语任务。该模型采用了分组查询注意力（GQA）和滑动窗口注意力（SWA）以实现更快的推理和处理更长的序列。Mistral 7B已在Apache 2.0许可下发布，可以无限制使用，并且易于微调以适应任何任务
Alpaca斯坦福大学的项目旨在构建并分享一种遵循指令的LLaMA模型。项目的代码库包含：用于微调模型的52K数据，生成数据的代码，微调模型的代码，以及从发布的权重差异中恢复Alpaca-7B权重的代码
GPT-4是由 OpenAI 开发的多模态大型语言模型，是 GPT 基础模型系列的第四个版本。它于2023年3月14日首次发布，并通过付费聊天机器人产品 ChatGPT Plus 和 OpenAI 的 API 向公众提供服务。作为一个基于 Transformer 的模型，GPT-4 采用了一种范式，即使用公共数据和“从第三方供应商许可的数据”进行预训练，以预测下一个标记。在此步骤之后，模型通过人类和人工智能的强化学习反馈进行了微调，以实现与人类对齐和符合政策的目标
Llama2是Meta（Facebook的母公司）的AI团队开发的一系列预训练和微调的大型语言模型（LLMs），参数规模从70亿到700亿不等。这些模型被设计用于在人工智能领域进行各种任务，如自然语言理解、文本生成和机器翻译等
书生·浦语 InternLM是一个开源的轻量级训练框架，旨在支持大模型训练而无需大量的依赖。通过单一的代码库，它支持在拥有数千个GPU的大型集群上进行预训练，并在单个GPU上进行微调，同时实现了卓越的性能优化。在1024个GPU 上训练时，InternLM可以实现近90%的加速效率。 基于InternLM训练框架，我们已经发布了两个开源的预训练模型：InternLM-7B和 InternLM-20B
Qwen通义千问是阿里推出的超大规模语言模型
Ray是一种高性能的分布式执行框架，主要针对大规模的机器学习和强化学习应用。它通过在全局控制存储中抽象系统的控制状态，并保持所有其他组件无状态，实现了可扩展性和容错性。Ray利用共享内存的分布式对象存储有效处理大数据，并采用自下而上的分层调度架构实现低延迟和高吞吐量的调度。它使用基于动态任务图和参与者的轻量级API，以灵活的方式表达各种应用
MindSpore是一种适用于端边云场景的新型开源深度学习训练/推理框架。 MindSpore提供了友好的设计和高效的执行，旨在提升数据科学家和算法工程师的开发体验，并为Ascend AI处理器提供原生支持，以及软硬件协同优化
Colossal-AI为您提供了一系列并行组件。我们的目标是让您的分布式 AI 模型像构建普通的单 GPU 模型一样简单。我们提供的友好工具可以让您在几行代码内快速开始分布式训练和推理
OneFlow是一个旨在用户友好、可扩展和高效的深度学习框架。使用OneFlow，可以轻松地通过类似PyTorch的API编写模型，利用全局张量将模型扩展到n维并行执行，并通过图编译器加速/部署模型。OneFlow提供了简洁而强大的工具，使开发者能够更轻松地构建和训练深度学习模型，并且具备灵活性和可扩展性
Megatron是NVIDIA应用深度学习研究团队开发的大型强大的Transformer模型。该项目致力于大规模训练Transformer语言模型的研究。我们开发了高效的模型并行（张量、序列和管道）以及使用混合精度的多节点预训练方法，适用于GPT、BERT和T5等基于Transformer的模型
飞桨是一个开源的深度学习框架，由百度推出。它包含了各种深度学习模型和工具，可以帮助开发者更快速、高效地构建和训练深度学习模型。Paddle 支持多种深度学习模型，包括卷积神经网络 (CNN)、循环神经网络 (RNN)、生成对抗网络 (GAN)、自动编码器 (AE) 等。它还提供了多种预训练模型，可以直接使用，满足各种不同应用场景的需求
JAX是Google开发的用于变换数值函数的Python机器学习框架。它结合了修改版本的Autograd（自动通过函数的微分获得其梯度函数），和TensorFlow的XLA（加速线性代数）。它被设计为尽可能的遵从NumPy的结构和工作流程，并协同工作于各种现存的框架如TensorFlow和PyTorch
ONNX是一种针对机器学习所设计的开放式的文件格式，用于存储训练好的模型。它使得不同的人工智能框架（如Pytorch、MXNet）可以采用相同格式存储模型数据并交互
TensorFlow是一个端到端开源机器学习平台。它拥有一个全面而灵活的生态系统，其中包含各种工具、库和社区资源，可助力研究人员推动先进机器学习技术的发展
PyTorch是一个开源的Python机器学习库，基于Torch，底层由C++实现，应用于人工智能领域，如计算机视觉和自然语言处理。它主要由Meta Platforms的人工智能研究团队开发
RedPajama-Data-v2是一个开放的数据集，发布了RedPajama-V2版本，包含来自84个CommonCrawl数据集的30万亿个经过过滤和去重处理的标记（原始数据超过100万亿个），涵盖了5种语言：英语、法语、西班牙语、德语和意大利语
LLMDataHub致力于收集LLM高质量训练语料库的项目，提供了一系列专门用于聊天机器人训练的数据集
Hugging Face Datasets提供的开源数据集服务
OpenVINO是英特尔开发的一款功能强大的深度学习工具包，可实现跨多个硬件平台的优化神经网络推理。在本文中，我们讨论了 OpenVINO 的特性和优势，以及它如何与领先的计算机视觉平台 Viso Suite 集成，以构建和交付可扩展的应用程序
OpenLLM是一个用于在生产中操作大型语言模型 (LLM) 的开放平台，可以轻松地微调、服务、部署和监控任何LLM大模型
jina使用云原生技术构建多模式人工智能应用程序，Jina 为服务 ML 模型提供了流畅的 Python 体验，从本地部署过渡到 Docker-Compose、Kubernetes 或 Jina AI Cloud 等高级编排框架。Jina 使每个开发人员都可以使用先进的解决方案工程和云原生技术
好了，到这里又到了跟大家说再见的时候了。创作不易，帮忙点个赞再走吧。你的支持是我创作的动力，希望能带给大家更多优质的文章
一、大模型全套的学习路线
学习大型人工智能模型，如GPT-3、BERT或任何其他先进的神经网络模型，需要系统的方法和持续的努力。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。
以上的AI大模型学习路线，不知道为什么发出来就有点糊，高清版可以微信扫描下方CSDN官方认证二维码免费领取【】
二、640套AI大模型报告合集
这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。
三、大模型经典PDF籍
随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。