零代码本地搭建AI大模型,详细教程!普通电脑也能流畅运行,中文回答速度快,回答质量高...

你好,我是郭震

这篇教程主要解决:

1). 有些读者朋友,电脑配置不高,比如电脑没有配置GPU显卡,还想在本地使用AI;

2). Llama3回答中文问题欠佳,想安装一个回答中文问题更强的AI大模型。

3). 想成为AI开发者,开发一款AI大模型的应用和产品,如何选择API的问题。

我相信,大家平时主要还是以中文问答为主,安装一个中文回答更强的AI,就显得更很有必要。

这篇教程主要解决上面两个问题

1 通义千问大模型的优势

近日阿里云正式发布通义千问2.5,模型性能全面赶超GPT-4 Turbo,成为地表最强中文大模型

76fb5eaceb34ad61ff95c41a9362c472.png

从初代模型升级至2.5版本,2.5版模型的理解能力、逻辑推理、代码能力分别提升9%、16%、10%,中文能力更是持续领先业界

38736248be5b7cf1a71494f14aa0a80e.png

通义千问2.5相对于前代版本还有以下几方面的重大升级:

  1. 文档处理能力增强:通义千问2.5能够处理单次长达1000万字、100个文档的大量数据,支持包括PDF、Word、Excel在内的多种文件格式,并能解析标题、段落、图表等多种数据结构。

  2. 音视频理解能力提升:融合了语音、大规模语言模型(LLM)、多模态和翻译能力,实现了实时语音识别、说话人分离,能够从音视频内容中提取全文摘要、总结发言要点、提取关键词,同时支持同时上传处理50个音视频文件。

  3. 智能编码能力集成:集成通义灵码,使得用户能够在移动设备上编写、阅读代码及学习编程技能,进一步提升了代码相关的交互和处理能力。

因此,如果你的日常以中文回复为主,在本地搭建一个通义千问用于回复中文问题,是最好的选择。并且,通义千问开源免费,在自己电脑可以直接搭建一个,使用起来非常方便。再看看通义千问回答问题的速度,很快:

ce3ecd6cf3e330978ed3aaf49a77dc18.gif

如果,你想更友好的使用通义千万,这篇教程还会帮助你,搭建一个前端网站,零代码,按照教程逐步搭建好,使用通义千问,就更加方便,下面是带界面问答使用效果:

e6aca827fb6cb700cb93fc965960dec8.gif

因为阿里通义千问是在本地运行,数据安全,并且开源免费,不用花钱充值买流量,开箱即用,良心好用。

2 下载通义千问大模型

推荐使用ollama工具,一行命令就能下载千问。现在还没有安装ollama工具的读者,请在我的公众号回复:ollama,自动获取ollama软件,支持一键安装:

千问尺寸提供多种,如果你的电脑配置一般,比如是5年前的电脑,可以安装一个小尺寸的,从下面的尺寸列表中:

  • ollama run qwen:0.5b

  • ollama run qwen:1.8b

  • ollama run qwen:4b

  • ollama run qwen:7b

下面,已安装1.8b尺寸为例演示:

第一步,执行下面一行命令:

22e133226ed7a7c31512804003317151.png

下面就开始安装,看到这个模型只有1.1G大小:

93c0ea77b2f3bf72d52507db38bb1726.png

出现success,表明安装成功:

6aa8f154ab48733b74680b87f78f3da4.png

接下来,就直接可以提问通义千问,如下图所示:

e53928c9813c30e8d8c6541b124ab1a7.png

AI时代,很多读者都想学习一点编程,下面我们提问它文章开头的那个问题,下面是GIF演示,回答很快,回答中文是真的好,用过llama3的读者有体会,每次提问后缀都要带上:请用中文回答,但是通义千问就不需要,对中文支持更好。

ebb6a2286e0ed5a3b85f73e476edb245.gif

3 前端网页配置

第一步,安装docker,之前教程已经总结,在这里不再重复,还未看到此教程的读者,下面我的公众号里回复:AI,详细的docker软件获取,安装步骤教程都在这里。

315764a9d21896d8e4d16dc27d225a1e.png

第二步,docker拉取lobe镜像,无论windows还是mac,都是打开命令窗口,输入下面命令:

1dfc94bd09fab61a0a44f054a01edbf9.png

这条命令用于从 Docker Hub 上拉取最新的 lobehub/lobe-chat 镜像。

执行这条命令后,Docker 会将 lobehub/lobe-chat 镜像的最新版本下载到你的本地系统,以便你可以使用它创建和运行 Docker 容器。

第三步,再运行一条命令就可以了:

c000a12a7ce450c66a937f0dee149637.png

解释下这条命令,不想看的读者直接跳过:docker run:启动并运行一个新的 Docker 容器。-d:在后台(守护进程模式)运行容器,不会占用当前终端。--name lobe-chat:给容器分配一个名称 lobe-chat。这有助于以后通过名称管理容器。-p 10084:3210:将主机的 10084 端口映射到容器的 3210 端口。这样,主机的 10084 端口的请求会被转发到容器的 3210 端口。-e ACCESS_CODE=lobe66:设置环境变量 ACCESS_CODE 的值为 lobe66,这通常是用于在容器内配置应用程序的参数。

这时,你再访问网页:http://localhost:10084,就会进入到AI网站界面,选择千问的英文字符:qwen,配置一下就可以畅享使用了。

4 通义千问应用案例

1)生成同意词汇:

6ccb73df0e9640033cb965917e3c6cb2.png

答案部分截图

2)AI学习辅助:

b12f67a0523d3fcf278f192a1d0d77e7.png

答案部分截图

3)编程变量命名辅助:

184977384c4f6a2b0af6cd20a22929b8.png

答案部分截图

4)通义千问中还内置效率利器,比如下面都能帮助我们很大提升效率:

5395be31801bc6536765ad819fd28961.png

下面是文档阅读,支持多种格式的文件上传,1000页的PDF可以直接上传,真的太强:

9586ec1eec02b7a29e633aed489e23b1.png

5 个人开发者调用通义千问费用对比

上面我们介绍了本地搭建千问大模型步骤,这个小节面向AI个人开发者,什么意思呢,就是说你如果想基于千问AI做一个产品、app、网站或桌面软件,那么这个小节就对你很有帮助。选择通义千问,就是一个很好的选择。在5月21日,阿里云宣布通义千问9款模型齐降价,其中GPT-4级主力模型Qwen-Long,API输入价格从0.02元/千tokens降至0.0005元/千tokens,直降97%,这款模型最高支持1千万tokens长文本输入,降价后约为GPT-4价格的1/400。

千问API模型,最高支持1千万tokens,这是一个什么概念?我给大家打个比方。一本书的长度可以用token来衡量。例如:普通小说:平均每页大约有250-300个单词。假设每个单词平均为1.2个token(考虑到标点符号和分词),那么我们可以得到以下估算:普通小说(50,000个单词)大约为60,000个tokens。现在我们来计算一下1千万tokens相当于多少本书:普通小说:1千万tokens / 60,000 tokens/本 ≈ 167本书

也就是说一次提问Qwen-Long一次可处理167本书,这个有点吓人。通过API调用无须购买任何硬件成本、电力成本、材料消耗等成本,问题来了,有的读者如果坚持要本地自建这样的AI模型,需要投入多少成本呢?

我们来算笔账。以一般规模Qwen-7b、一般用户(每天满载4小时,闲置20小时)为例,前期硬件投入成本:总成本:3万元(其中GPU成本2万元,其余硬件成本1万元):硬件折旧费用::625元,网络费用:200元,自建服务器每月综合成本:897元(36元电费 + 625元硬件折旧 + 200元网络费用)

91f61fe39ffec8c3d583f144204ca8e1.png

而使用千问API,也就是百炼平台,方案的对比成本:Qwen 7b的使用成本如下:输入:1元/100W tokens,输出:1元/50W tokens,每月tokens消耗和成本:百炼成本:194.4元,约为自建成本的22.5%,也就是节省了80%的费用

大家注意,这个还只是7b,那么如果是Long模型,本地自建的成本可能远超3万元,自建成本就更高了,更能凸显通过调用百炼API的成本节省以及它的价值。

并且,调用API是按需付费,不像自建AI需要前期固定几万的投入。所以,各个角度来看,如果你打算基于AI做应用和产品,通过调用百炼API才是首选,而不是自建AI。

如果你是创业者,开公司的老板,走千问API更是一种好的选择。


更多千万API应用大家可以去百炼平台探索,希望通过这个教程帮助你解决了:电脑配置不高,比如电脑没有配置GPU显卡,还想在本地使用AI;想安装一个回答中文问题更强的AI大模型;AI开发者基于千问API与自建AI成本对比。如需要体验通义千问API,可以访问百炼官网:https://www.aliyun.com/product/bailian?spm=5176.29250174.0.0

老铁,原创教程不易,求点赞、在看、转发或留言,这样对我创作下一个良心教程会有莫大的动力!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/669307.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Frida使用与解题

对于 Android 逆向,首先需要熟悉对于 adb 基本命令使用 1.C:\Users\sun>adb shell ASUS_I003DD:/ # getprop ro.product.cpu.abi x86_64 查看架构 exit 退出 2. adb push "E:\reverse\ida\IDA_Pro_7.7\IDA_Pro_7.7\IDA_Pro_7.7\dbgsrv\android_x86_ser…

通用代码生成器应用场景四,跨编程语言翻译

通用代码生成器应用场景四,跨编程语言翻译 如果您有一个Java工程,想把它移植到Rust或Golang语言中去,希望尽可能加快研发速度。 如果您的系统是通用代码生成器开发的,保留了系统的SGS源文件或者SGS2的Excel模板,您可…

【Redis】 使用Java操作Redis的客户端

文章目录 🍃前言🌴项目的创建🎋引入依赖🌳配置端⼝转发🌲更改 Redis 配置文件🎄连接 Redis Server⭕总结 🍃前言 我们使用 Java 操作 Redis 客户端时我们需要进行以下操作。 注意:J…

安装软件缺少dll文件怎么办,分享多种解决dll问题的方法

在计算机使用过程中,我们经常会遇到安装软件时提示缺少dll文件的问题。这种情况通常会导致软件无法正常运行或启动。为了解决这个问题,我总结了以下五种方法,希望对大家有所帮助。 一,了解DLL文件是什么 动态链接库(D…

AI 学习神器!大学生必备的 22个 AI 提示词模板

AI 学习神器!大学生必备的 22个 AI 提示词模板 博主猫头虎的技术世界 🌟 欢迎来到猫头虎的博客 — 探索技术的无限可能! 专栏链接: 🔗 精选专栏: 《面试题大全》 — 面试准备的宝典!《IDEA开发秘…

车载电子电器架构 —— 智能座舱技术范围(万字长文精讲)

车载电子电器架构 —— 智能座舱技术范围 我是穿拖鞋的汉子,魔都中坚持长期主义的汽车电子工程师。 老规矩,分享一段喜欢的文字,避免自己成为高知识低文化的工程师: 屏蔽力是信息过载时代一个人的特殊竞争力,任何消耗你的人和事,多看一眼都是你的不对。非必要不费力证明…

DASK==python并行计算

文档10 Minutes to Dask — Dask documentation demo代码 import numpy as np import pandas as pd import dask.dataframe as dd import dask# 设置调度器为多线程 dask.config.set(schedulerthreads) # 创建一个示例的Pandas DataFrame index pd.date_range("2021-09…

云技术最全详解

目录 云技术 1.定义 2.特点 2.类型 2.1IaaS(基础设置即服务) 2.2PaaS(平台即服务) 2.3SaaS(软件即服务) 3.云技术模型 3.1公有云 3.2私有云 3.3混合云 云技术 1.定义 云技术是一种云计算和存储…

最新版ERP进销存网络多仓版WEB源码

安装说明 环境要求: PHP5.6MYSQL5.6 1.恢复数据库.sql数据 2.配置sql参数连接路径:application\config\database.php 3.前台登录用户名:admin 密码:admin 源码免费下载地址抄笔记 (chaobiji.cn)

一键AI抠图,证件照换背景,可部署成自己的应用

1 开发背景 AI抠图技术已经非常成熟,并且有效果非常好的开源模型。 日常中可以用于替换证件照背景 但是网上许多的证件照替换背景 竟然需要收费 鉴于此,便将目前最好的(SOTA)开源抠图模型 BRIA Background Removal v1.4 Model …

【AIGC-数字人】V-Express:渐进式训练的数字人视频生成技术

介绍 在人像视频生成领域,使用单张图像生成人像视频已经变得越来越普遍。一种常见的方法涉及利用生成模型来增强适配器以实现受控生成。然而,控制信号的强度可能会有所不同,包括文本、音频、图像参考、姿态、深度图等。其中,较弱的…

奇偶校验位

描述 题目描述: 现在需要对输入的32位数据进行奇偶校验,根据sel输出校验结果(1输出奇校验,0输出偶校验) 信号示意图: 波形示意图: 输入描述: 输入信号 bus sel 类型 wi…

gitlab之cicd的gitlab-runner集成-dockerfile构建环境

目录 概述离线资源docker-compose问题 docker-compose问题1问题2 gitlab-runner集成gitlab 概述 cicd引文目录是想通过dockerfile构建 maven、jdk、docker环境的 gitlab-runner 运行环境。但docker最后测试的时候有点问题,且最后使用 kubectl 时有麻烦,所…

牛客网刷题 | BC103 金字塔图案

目前主要分为三个专栏,后续还会添加: 专栏如下: C语言刷题解析 C语言系列文章 我的成长经历 感谢阅读! 初来乍到,如有错误请指出,感谢! 描述 KiKi学习了循环&am…

共计3万字!从零开始创建一个小规模的稳定扩散模型!

节前,我们星球组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、参加社招和校招面试的同学。 针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 合集&#x…

知识运维概述

文章目录 知识运维研究现状技术发展趋势 知识运维 由于构建全量的行业知识图谱成本很高,在真实的场景落地过程中,一般遵循小步快走、快速迭代的原则进行知识图谱的构建和逐步演化。知识运维是指在知识图谱初次构建完成之后,根据用户的使用反馈…

“手撕”链表的九道OJ习题

目录 1. 第一题 2. 第二题 3. 第三题 4. 第四题 5. 第五题 6. 第六题 7. 第七题 8. 第八题 9. 第九题 1. 第一题 删除链表中等于给定值 val 的所有节点。OJ链接 思路如下: 相当于链表的removeAll();制定prev和cur,prev记录前一个节点&#xff…

2024最新VMware Workstation Pro下载教程

自从2024年5月份之后,VMware workstation player就不能直接在vm官网下载,需要到broadcom博通网站上下载 下面介绍最新下载步骤: 百度直接搜索vmware 进入官网点击Workstation Pro链接 博通注册对应的账号 现在下载都需到博通注册对应的账号 登录邮…

网络原理-TCP/IP --应用层

T04BF 👋专栏: 算法|JAVA|MySQL|C语言 🫵 今天你敲代码了吗 目录 3.网络原理 -TCP/IP3.1 应用层 3.网络原理 -TCP/IP 3.1 应用层 应用层是程序员打交道最多的一层,与应用程序直接相关 而应用层的协议,实际上就规定了你写的程序,通过网络传输的时候,按…

使用 Scapy 库编写 IP 地址欺骗攻击脚本

一、介绍 1.1 概述 IP地址欺骗(IP Spoofing)是一种网络攻击技术,攻击者伪造其数据包的源IP地址,使其看起来像是从其他合法地址发送的。这种技术常用于各种攻击中,例如DDoS攻击、Man-in-the-Middle(MITM&a…