昨日,Meta公司发布了人工智能模型——Llama 3.1。
那么Llama 3.1 405B的效果怎么样?我们来对比一张图,横向对比一下GPT-4。
可以看出,Llama 3.1 405B在各类任务中的表现可以与GPT-4等顶级的模型相差无几。
那么,我们怎样才能用到这款强大的Llama 3.1 405B模型呢?最直接的方式是通过Meta.ai平台,但目前这一途径仅对美丽国的用户开放。
那有无适合平民用的大模型嘞。
接下来我们将在本地部署Llama 3.1 8B(环境所迫)
1.环境准备
(1)Windows10系统及以上的计算机
(2)内存要求:8GB内存可运行7B模型,16GB可运行13B模型,32GB运行可33B模型
(3)网络环境:不需要科学上网(翻墙)
(4)小谢此次搭建的电脑环境如图,又无GPU,这配置只能搭个入门级别的大模型。若有GPU,响应速度则更快。
2.部署安装过程:
(1)从官网进行下载:https://ollama.com/download 选择windows系统版本,也可以看到它也同时支持mac系统和Linux系统。
但似乎它的下载速度对我来说太不友好了。于是进行科学上网下载了安装包,如有需要后台私信回复Ollama即可获取百度网盘下载地址。
安装包下载完成点击安装
在此界面直接运行命令ollama run llama3.1,此时国内网络速度就非常快
耐心等待进度条跑完即可。
当然你想要其他的大模型可以回到官网,点击Models
部署完成后可直接发送消息提问
所以它能做什么呢?
我们来看看它的自述:
I’m a large language model, my capabilities include:
1. Answering questions: I can provide information on a wide range of topics, from science and history to
entertainment and culture.
2. Translation: I can translate text from one language to another (currently supporting 100+ languages).
3. Text summarization: I can summarize long pieces of text into concise and easily digestible content.
4. Conversation: I can engage in natural-sounding conversations, using context and understanding to respond to
questions and statements.
5. Content generation: I can generate text based on a prompt or topic, such as articles, stories, or even
entire scripts.
6. Language analysis: I can analyze and understand the structure and meaning of language, including syntax,
semantics, and pragmatics.
7. Text classification: I can classify text into categories, such as spam vs. non-spam emails or
positive/negative reviews.
8. Sentiment analysis: I can determine the emotional tone behind a piece of text, such as happy, sad, or
neutral.
那咱们来看它的效果!我向它抛出了一个问题:
为防止长期摸鱼导致变笨,特此准备了几道题考考你!
1.至今思项羽,不()过江东。
2.阳春布()泽,万物生光辉。
3.书籍是人类进步的阶梯。——高尔( )
4.世人笑我太()癫,我笑他人看不穿。
5.老夫聊发少年(),左牵黄,右擎苍。
6.危楼高百尺,手可摘()辰。
7.君问归期未有( ),巴山夜雨涨秋池。
8.( )面边声连角起,千嶂里,长烟落日孤城闭。
9.料峭春风吹酒醒,( )冷,山头斜照却相迎。
10.( )闻琵琶已叹息,又闻此语重唧唧。
11.锦瑟无端()()弦,一弦一柱思华年。
我们先来看一下部署在本地的大模型Llama 3.1 8B,看来效果不错。
对比一下“小谢取证”的回答:
“小谢取证”直接出答案,部署在本地的大模型Llama 3.1 8B提供了更为详细的翻译。但是两者给出的答案都有些许错误。当然,这也取决于他们的模型是否强大。
我们可以看到,我们部署到本地的界面是cmd界面下运行的,如果我们想可视化呢?先上效果图。
具体是用到Ollama Web UI,这边咱们直接使用大佬已集成好的环境直接使用。需要软件可后台私信。
在我们使用完后,关闭该模型。那么我们下次如何重新打开呢
直接点击“开始”菜单,选择字母“O”,启动Ollama
此时它就会自动调用命令。可以看到访问端口是3000
再使用http://localhost:3000/在浏览器访问即可。
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓
对于0基础小白入门:
如果你是零基础小白,想快速入门大模型是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。
👉1.大模型入门学习思维导图👈
要学习一门新的技术,作为新手一定要先学习成长路线图,方向不对,努力白费。
👉2.AGI大模型配套视频👈
很多朋友都不喜欢晦涩的文字,我也为大家准备了视频教程,每个章节都是当前板块的精华浓缩。
👉3.大模型实际应用报告合集👈
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(全套教程文末领取哈)
👉4.大模型落地应用案例PPT👈
光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。(全套教程文末领取哈)
👉5.大模型经典学习电子书👈
👉6.大模型面试题&答案👈
截至目前大模型已经超过200个,在大模型纵横的时代,不仅大模型技术越来越卷,就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道,我总结了大模型常考的面试题。(全套教程文末领取哈)
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习