在线教程|零门槛部署 Llama 3,70B 版本只占 1.07G 存储空间,新用户免费体验 8B 版本

4 月 18 日,Meta 宣布开源 Llama 3,这个号称「迄今为止最好的开源大模型」一经发布,立刻引爆科技圈!

图片

发布当天恰逢斯坦福大学教授、AI 顶尖专家吴恩达的生日,作为 AI 开源倡导者,他激动地发文表示:这是我收到过最好的生日礼物,谢谢 Meta。
图片

Meta 首席科学家、图灵奖获得者 Yann LeCun也在自己的账号上硬核推荐了自己的最新开源模型——支持 8k 长文本,在 24k GPU 集群上使用超过 15T tokens 进行训练,在多项评测基准中表现优异, 部分任务中,Llama 3-8B 的表现优于 Llama 2-70B。更多版本将在数月后发布。
据其官网显示,Llama 3 采用了包括监督微调 (SFT)、近端策略优化 (PPO) 和直接策略优化 (DPO) 在内的先进指令调优技术,与 Llama 2 相比有质的飞跃。在安全性上,采用 Llama Guard 2、Code Shield、CyberSec Eval 2 的新版信任和安全工具,比 Llama 2 有更好的「错误拒绝表现」。
值得一提的是,Llama 3 发布时,Meta 还在官方博客上表示,其正在训练一款超过 400B 参数的新版本模型。英伟达高级科学家 Jim Fan 认为,未来可能推出的 Llama 3-400B 标志着开源社区或能用上 GPT-4 级别模型,这会改变许多研究工作和基层初创公司的计算方式。
图片

为了评估 Llama 3 在真实世界场景中的性能, Meta 特意开发了一个全新的高质量人类评估数据集,覆盖的实际用例包括但不限于:征求建议、集体讨论、分类、封闭式问答、编程、创意写作、信息抽取、角色扮演、开放式问答、逻辑推理、文本重写以及总结等。
结果表明,在与 Claude Sonnet、Mistral Medium 和 GPT-3.5 的比较中,Meta Llama 70B 占据优势地位。
图片

性能超越  GPT-3.5、直逼 GPT-4,相信大家现在都迫不及待地想要上手体验 Llama 3 了。为了帮助大家减少漫长的下载等待时间,节省计算资源,降低模型部署难度,HyperAI超神经在教程页面上线了「使用 Ollama 和 Open WebUI 部署 Llama3-8B-Instruct」和「使用 Ollama 和 Open WebUI 部署 Llama3-70B」教程。

Ollama 和 Open WebUI 分别提供了强大的后端模型管理和前端界面交互功能,结合使用这两个工具,可以轻松完成大模型的部署和管理。
Llama3-70B 只占用 1.07GB 的存储空间, 一键克隆即可启动!
HyperAI超神经教程地址:

8B:https://hyper.ai/tutorials/31129

70B:https://hyper.ai/tutorials/31155

小编已经根据教程部署了 Llama 3 模型,帮大家浅试了一下实际效果。
小编故意引导了一下 Llama 3,结果它没被骗到。但是同样的问题却骗过了 GPT-3.5!看它一本正经地回答问题,小编忍不住快要相信了。
图片

图片

  • 五一快要来了,假期去哪里玩,这么多地方选哪个呢?

图片

  • 数学问题它也能解决哦,再也不用头疼给家里的小朋友辅导功课了!
    图片

  • 还可以翻译,解决我大麻烦了!
    图片

  • 睡前小故事,又一个技巧 get 到了。
    图片

Demo 运行

  1. 登录 hyper.ai,在「教程」页面,选择「使用 Ollama 和 Open WebUI 部署 Llama3-8B-Instruct」或「用 Ollama 和 Open WebUI 部署 Llama3 70B」。
    接下来小编将以「使用 Ollama 和 Open WebUI 部署 Llama3-70B」教程为例介绍。
    图片

  2. 点击「在线运行此教程」,页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。
    图片

图片

  1. 点击右下角「下一步:选择算力」。
    图片

  2. 跳转后,选择「NVIDIA RTX A6000 48GB 」、选择镜像「PyTorch」,点击「下一步:审核」。新用户使用下方邀请链接注册,还可获得 4 小时 RTX 4090 + 5 小时CPU的免费算力时长!

HyperAI超神经专属邀请链接(直接复制到浏览器打开即可注册):https://openbayes.com/console/signup?r=6bJ0ljLFsFh_Vvej

注意:如果运行的是「使用 Ollama 和 Open WebUI 部署 Llama3-8B-Instruct」教程,选择「NVIDIA GeForce RTX 4090」运行即可。

图片

  1. 点击「继续执行」,等待分配资源,当状态变为「运行中」后,点击「打开工作空间」。
    图片

图片

  1. 打开工作空间后,在启动页新建一个终端会话,然后在命令行里输入以下内容,启动 Ollama。
OLLAMA_MODELS=/openbayes/home/ollama-models ./ollama serve

图片

图片

  1. 再新建一个终端页面,然后在命令行里输入以下内容,启动 Open WebUI。
bash /openbayes/input/input1/open-webui/backend/start.sh

图片

  1. 稍等片刻,当命令行出现「INFO:Uvicorn running on http://0.0.0.0:8080」后,拷贝右侧 API 地址到浏览器地址栏中,即可打开 Open WebUI 页面。请注意,用户需在实名认证后才能使用 API 地址访问功能。
    图片

效果展示

  1. 打开 Open WebUI 界面后,登录账号。账号:admin@example.com密码:adminadmin
    图片

2.选择 Llama 3-70B 模型。
图片

3.输入问题,即可使用啦。图片

目前,HyperAI超神经官网已上线了数百个精选的机器学习相关教程,并整理成 Jupyter Notebook 的形式。
点击链接即可搜索相关教程及数据集:https://hyper.ai/tutorials

以上就是小编本次分享的全部内容了,希望这次的内容对您有所帮助。如果大家还想学习其他好玩的教程,欢迎留言或私信告诉我们项目地址,小编将会为你量身打造课程,教你如何玩转 AI。
参考资料:

1.https://mp.weixin.qq.com/s/bw1-e9Nou7CeR-9iaGNLNA 2.https://mp.weixin.qq.com/s/GoxWufZhemddpvCkOwYAKg 3.https://mp.weixin.qq.com/s/tkMb2RRblCvOpxP7yBTl-w

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/583973.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

CogAgent:开创性的VLM在GUI理解和自动化任务中的突破

尽管LLMs如ChatGPT在撰写电子邮件等任务上能够提供帮助,它们在理解和与GUIs交互方面存在挑战,这限制了它们在提高自动化水平方面的潜力。数字世界中的自主代理是许多现代人梦寐以求的理想助手。这些代理能够根据用户输入的任务描述自动完成如在线预订票务…

【doghead】ubuntu构建libuv

按照官方的文档2024年3月的版本。首先构建libuv 最终构建的还得了test 构建过程 zhangbin@DESKTOP-1723CM1:/mnt/d/XTRANS/thunderbolt/ayame/zhb-bifrost$ ls Bifrost-202403 README.md draw player-only worker 大神的带宽估计.png zhangbin@DESKTOP-1723CM1:/mnt/d/XTRANS/…

计算机网络 备查

OSI 七层模型 七层模型协议各层实现的功能 简要 详细 TCP/IP协议 组成 1.传输层协议 TCP 2.网络层协议 IP 协议数据单元(PDU)和 封装 数据收发过程 数据发送过程 1. 2.终端用户生成数据 3.数据被分段,并加上TCP头 4.网络层添加IP地址信息…

React + 项目(从基础到实战) -- 第十期

目标 学会react 状态管理工具 使用redux管理用户状态 Context 跨层级传递,不像props层层传递类似于Vue的provide/inject用于:切换主题颜色,切换语言 useReducer useState 的替代方案 简化版的redux MobX 1. MobX 介绍 MobX 中文文档 声明式的修改数据 , 像vue state ac…

【算法基础实验】图论-UnionFind连通性检测之quick-union

Union-Find连通性检测之quick-union 理论基础 在图论和计算机科学中,Union-Find 或并查集是一种用于处理一组元素分成的多个不相交集合(即连通分量)的情况,并能快速回答这组元素中任意两个元素是否在同一集合中的问题。Union-Fi…

55.基于SpringBoot + Vue实现的前后端分离-旅游管理系统(项目 + 论文)

项目介绍 本站是一个B/S模式系统,采用SpringBoot Vue框架,MYSQL数据库设计开发,充分保证系统的稳定性。系统具有界面清晰、操作简单,功能齐全的特点,使得基于SpringBoot Vue技术的旅游管理系统设计与实现管理工作系统…

【Node.js工程师养成计划】之express框架

一、Express 官网:http://www.expressjs.com.cn express 是一个基于内置核心 http 模块的,一个第三方的包,专注于 web 服务器的构建。 Express 是一个简洁而灵活的 node.js Web应用框架, 提供了一系列强大特性帮助你创建各种 Web 应用&…

docker学习笔记3:VmWare CentOS7安装与静态ip配置

文章目录 一、安装CentOS71、下载centos镜像2、安装二、设置静态ip三、xshell连接centos本专栏的docker环境是在centos7里安装,因此首先需要会安装centos虚拟机。 本篇博客介绍如何在vm虚拟机里安装centos7。 一、安装CentOS7 1、下载centos镜像 推荐清华源,下载如下版本 …

使用量排名前50的GPTs趋势和特征

Chatgpt的gpt商店已经有几千gpts了。目前哪些gpts比较受欢迎呢?有哪些趋势和投资呢? 根据whatplugin.ai(截止日期为2024年3月),使用量最多的50个gpts数据分析结果如下: GPTs类型的分布情况如下: 图像生成…

案例-部门管理-删除

黑马程序员JavaWeb开发教程 文章目录 一、查看页面原型二、查看接口文档三、开发1、Controller2、Service(1)service接口层(3)service实现层 3、Mapper4、Postman 一、查看页面原型 二、查看接口文档 三、开发 1、Controller 因…

Keepalived+LVS实现Nginx集群配置

Nginx1和Nginx2组成集群,为了实现负载均衡,在集群的前端配置了LVS服务,但是一台LVS容器产生单点故障,因此需要过Keepalived实现LVS的高可用集群 192.168.136.55node1keepalived192.168.136.56node2keeplived192.168.136.57 node3n…

Excel 中用于在一个范围中查找特定的值,并返回同一行中指定列的值 顺序不一样 可以处理吗

一、需求 Excel 中,在一列(某范围内)查找另一列特定的值,并返回同一行中另一指定列的值, 查找列和返回列的顺序不一样 二、 实现 1、下面是一个使用 INDEX 和 MATCH 函数的例子: 假设你有以下数据&…

CI/CD:基于kubernetes的Gitlab搭建

1. 项目目标 (1)熟悉使用k8s环境搭建Gitlab (2)熟练应用Gitlab基本配置 2. 项目准备 2.1. 规划节点 主机名 主机IP 节点规划 k8s-master 10.0.1.1 kube_master k8s-node1 10.0.1.2 kube_node k8s-node2 10.0.1.3 k…

影响外汇交易盈利的因素有哪些?

外汇交易就是通过汇率的差价来赚取相应的利润。在外汇交易中,投资者是否可以盈利,主要取决于是否正确的判断了市场趋势和行情。投资者在交易过程中受到主观和客观的因素影响,具体包含这些内容。 影响外汇交易盈利的因素有哪些? 1、…

【酱浦菌-爬虫项目】爬取学术堂论文信息

1. 首先,代码定义了一个名为 url 的变量,它是一个包含三个网址的集合(或者说是一个集合的字典)。这些网址分别是: - ‘http://www.xueshut.com/lwtimu/127966.html’ - ‘http://www.xueshut.com/lwtimu/12…

nmap扫描工控设备的脚本支持

参考资料 转自(http://www.360doc.com/content/15/1201/11/26186435_517125254.shtml) 介绍 NMAP是一款强大的网络扫描工具,除了普通的TCP/IP网络扫描之外,NMAP的扩展脚本功能为我们提供了更为广阔的应用范围。 针对脚本学习可…

Python使用设计模式中的建筑模式将数据写入Excel且满足条件内容标红

对于这个任务,适合使用"Builder"设计模式。Builder模式的主要目的是将对象的构建与其表示分离,以便相同的构建过程可以创建不同的表示。在这个情况下,我们需要一个构建器来逐行构建Excel表格,并根据给定的数据添加相应的…

C++中auto关键字的用法详解

1.简介 auto作为一个C语言就存在的关键字,在C语言和C之间却有很大区别。 在C语言中auto修饰的变量,是具有自动存储器的局部变量,但因为局部变量默认类别默认是auto修饰导致一直没有人去使用它。 C11中,标准委员会赋予了auto全新…

【MySQL | 第八篇】在MySQL中,如何定位慢查询以及对应解决方法?

文章目录 8.在MySQL中,如何定位慢查询以及对应解决方法?8.1MySQL慢查询日志8.1.1开启慢查询(1)修改配置文件(2)设置全局变量 8.1.2日志记录在表上(实践)8.1.3日志记录在文件上&#…

android studio 4.2.1运行java文件报错

当运行某个带main函数的java文件报这个错误的时候 Could not create task :app:Test.main(). > SourceSet with name main not found. 解决办法&#xff1a;在工程的.idea下的.gradlew.xml文件下添加 <option name"delegatedBuild" value"false"…