大模型笔记03--快速体验dify

大模型笔记03--快速体验dify

  • 介绍
  • 部署&测试
    • 部署 dify
    • 测试dify
      • 对接本地ollama大模型
      • 对接阿里云千问大模型
      • 在个人网站中嵌入dify智能客服
  • 注意事项
  • 说明

介绍

Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和 LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。
dify平台用户体验好，配置简单，且内置了大量应用模板和工具，通过dify我们可以快速对接各种大模型，创建自己的知识库，按需选择工具构建形式多样的应用。除此之外，还能快速对接到第三方应用，将ai的能力赋能给其它场景和行业。
本文基于docker compose快速部署dify平台，对接ollama和阿里云千问大模型，并将生成的智能聊天机器人嵌入到业务网站中。

部署&测试

部署 dify

dify 官方提供了多种部署方式，我们直接用 docker compose的方式快速拉起服务

git clone https://github.com/langgenius/dify.git
cd dify/docker
cp .env.example .env # 如果机器上有端口冲突，按需更改这个.env中的端口即可
docker compose up -d

部署成功后我们可以看到三个服务(api / worker / web) 和六个组件(weaviate / db / redis / nginx / ssrf_proxy / sandbox) 都正常运行，如下图:
在这里插入图片描述

初始界面，需要按需配置账号信息：
本地通过 http://localhost/install 配置，服务器直接通过 http://your_server_ip/install 配置即可.
在这里插入图片描述

登录界面主界面
在这里插入图片描述在这里插入图片描述

对比fastgpt，dify 已经内置了很多常见应用模板和通用工具:

通用模板常用工具
在这里插入图片描述在这里插入图片描述

测试dify

对接本地ollama大模型

需要在本地或者服务器上安装ollama，部署方式可以参考 大模型笔记01–基于ollama和open-webui快速部署chatgpt，并拉起相关模型，笔者已经提前下载好 qwen2:7b 和 nomic-embed-text:v1.5 两个模型。

对接ollama添加qwen2:7b模型
在这里插入图片描述在这里插入图片描述

添加成功后可以发现 Ollama下有2个可用模型，如下图
在这里插入图片描述
模型准备就绪后可以参考官方步骤按需创建应用了
创建应用：
通过 工作室->创建空白应用 来创建一个聊天助手
在这里插入图片描述
对聊天助手限制提示词、配置可用的模型，也可以按需加上下午、知识库等功能，配置完成后点发布即可
在这里插入图片描述
发布成功后就可以开始聊天之旅了：
在这里插入图片描述

对接阿里云千问大模型

dify可以通过多种方式对接本地大模型，也可以直接对接云厂商的大模型，例如 openai,阿里云,aws,azure 等厂商的大模型。
此处以阿里云的通义千问为例，我们需要在 阿里云百炼 -> apiKey -> 创建key， 然后在dify中设置该key即可
百炼创建key
在这里插入图片描述
dify 上配置通义千问的key
在这里插入图片描述
配置好后，我们基于模板创建一个旅游规划助手
在这里插入图片描述
创建后我们将默认的gpt-4更换为qwen-max模型，然后发布即可
在这里插入图片描述
注意： 这个agent应用了3个工具，大模型会理解我们的内容，然后调用api获取目标数据
在这里插入图片描述
进入应用初始界面， 输入基础信息，然后可以按需通过聊天获取目标旅游规划了
在这里插入图片描述
如下图， 当用户提出 "您好，我想去北京玩一周，帮我制定一份详细的攻略，需要推荐入住的酒店和知名景点，并给出交通路线"的需求后，机器人先搜索维基百科、然后搜索google，拿到目标数据后总结出5天的行程安排和攻略。
答案中包括酒店、景点和出行方式，比较符合预期。
在这里插入图片描述

在个人网站中嵌入dify智能客服

在 tooplate 模板网站下载一个 Gotto Job 的案例网站。
在聊天助手中选择发布->嵌入网站->选择嵌入网站的方式，选择后将脚本代码添加到html网页中，然后刷新网页即可在网页中使用dify提供的智能聊天助手了。

在这里插入图片描述
将脚本添加到代码中
在这里插入图片描述
打开网站主页，把上述代码粘贴到html中，重新刷新网页就多出了一个聊天的按钮，点击后即可正常聊天了，如下图我们已经把智能聊天助手对接到个人网站了。

在这里插入图片描述
在这里插入图片描述
至此，我们已经能把智能聊天机器人挂到自己的网站了。

注意事项

  1. dify工包含了很多工具，通过这种方式我们可以在自己的ai机器人具备很多种能力，实际使用的时候按需填写各个产品的key即可。
  2. dify可以对接很多种本地大模型，但良好的体验需要强大的机器资源来支持，因此如果没有足够的机器资源，推荐使用ai大模型厂商的服务即可(毕竟当前token已经相对比较便宜了).
  3. dify能快速将智能应用嵌入到网站中，从而快速实现网站智能客户。对于网站客服类机器人，我们可以对接各类表格，将用户的需求数据拆机出来存到各种表格中，方便内部人员基于收集的数据回访或者开展相关业务。

说明

  1. 系统
    ubuntu 24.04 Desktop
    dify 0.8.2
    ollama 0.3.9
  2. 参考文档
    dify 官方文档
    如何在几分钟内创建一个带有业务数据的官网 AI 智能客服
    从零开始之Dify部署篇
    主流ai知识库工具FastGPT、Dify、Coze横评

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/878674.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

使用mlp算法对Digits数据集进行分类

使用mlp算法对Digits数据集进行分类

程序功能 这个程序使用多层感知机（MLP）对 Digits 数据集进行分类。程序将数据集分为训练集和测试集，创建并训练一个具有两个隐藏层的 MLP 模型。训练完成后，模型对测试数据进行预测，并通过准确率、分类报告和混淆矩阵…
阅读更多...
鸿蒙 ArkUI组件二

鸿蒙 ArkUI组件二

ArkUI组件（续） 文本组件 在HarmonyOS中，Text/Span组件是文本控件中的一个关键部分。Text控件可以用来显示文本内容，而Span只能作为Text组件的子组件显示文本内容。 Text/Span组件的用法非常简单和直观。我们可以通过Text组件来显…
阅读更多...
Spring-IOC容器-ApplicationContext

Spring-IOC容器-ApplicationContext

IOC:Inversion of Control 控制反转，是一种设计原则，spring 中通过DI（dependency Injection）来具体实现。 比如原本对象的实例化，是通过程序主动New出来，IOC中的对象实例交给Spring框架来实例化&#xff0…
阅读更多...
TDengine 与 SCADA 强强联合：提升工业数据管理的效率与精准

TDengine 与 SCADA 强强联合：提升工业数据管理的效率与精准

随着时序数据库（Time Series Database）的日益普及，越来越多的工业自动化控制（工控）人员开始认识到其强大能力。然而，时序数据库在传统实时数据库应用领域，特别是在过程监控层的推广仍面临挑战&a…
阅读更多...
使用docker配置wordpress

使用docker配置wordpress

docker的安装 配置docker yum源 sudo yum install -y yum-utils sudo yum-config-manager \ --add-repo \ http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo下载最新版本docker sudo yum install -y docker-ce docker-ce-cli containerd.io docker-buildx-…
阅读更多...
门磁模块详解（防盗感应开关 STM32）

门磁模块详解（防盗感应开关 STM32）

目录 一、介绍 二、程序设计 main.c文件 gate_guard.h文件 gate_guard.c文件 三、实验效果 四、资料获取 项目分享 一、介绍 MC-38常闭式门磁开关是作为IO开关输入数字信号的，原理是合在一起信号是导通的 , 配合有线主机使用 不能单独使用。适用于非铁质&a…
阅读更多...
Linux——应用层自定义协议与序列化

Linux——应用层自定义协议与序列化

目录 一应用层 1再谈 "协议" 2序列化与反序列化 3理解read,write,recv,send 4Udp vs Tcp 二网络版本计算器 三手写序列和反序列化 四进程间关系与守护进程 1进程组 1.1什么是进程组 1.2组长进程 2会话 2.1什么是会话 2.2会话下的前后台进程 3作业控…
阅读更多...
08_Python数据类型_字典

08_Python数据类型_字典

Python的基础数据类型 数值类型：整数、浮点数、复数、布尔字符串容器类型：列表、元祖、字典、集合 字典 字典（Dictionary）是一种可变容器模型，它可以存储任意类型对象，其中每个对象都存储为一个键值对。…
阅读更多...
C++ | Leetcode C++题解之第407题接雨水II

C++ | Leetcode C++题解之第407题接雨水II

题目&#xff1a; 题解&#xff1a; class Solution { public:int trapRainWater(vector<vector<int>>& heightMap) {int m heightMap.size(), n heightMap[0].size();int maxHeight 0;int dirs[] {-1, 0, 1, 0, -1};for (int i 0; i < m; i) {maxHei…
阅读更多...
python中的各类比较与计算

python中的各类比较与计算

运算符 1.算数运算符2.关系运算符3.逻辑运算符4.关于短路求值5.赋值运算符1&#xff09;的使用链式赋值多元赋值 2)复合赋值运算符 6.位运算符7.成员运算符8.身份运算符 1.算数运算符 # 加 print(1 2) # 减 print(2 - 1) # 乘 print(1 * 2) # 余数 4%31余数为1 print(4 % 3…
阅读更多...
【Redis】之Geo

【Redis】之Geo

概述 Geo就是Geolocation的简写形式&#xff0c;代表地理坐标。在Redis中&#xff0c;构造了能够存储地址坐标信息的一种数据结构&#xff0c;帮助我们根据经纬度来检索数据。 命令行操作方法 GEOADD 可以用来添加一个或者多个地理坐标。 GEODIST 返回一个key中两个成员之…
阅读更多...
F12抓包11：UI自动化 - Recoder（记录器）

F12抓包11：UI自动化 - Recoder（记录器）

课程大纲 使用场景&#xff08;导入和导出&#xff09;: ① 测试的重复性工作&#xff0c;本浏览器录制并进行replay&#xff1b; ② 导入/导出录制脚本&#xff0c;移植后replay&#xff1b; ③ 导出给开发进行replay复现bug&#xff1b; ④ 进行前端性能分析。 1、录制脚…
阅读更多...
微软数据库的SQL注入漏洞解析——Microsoft Access、SQLServer与SQL注入防御

微软数据库的SQL注入漏洞解析——Microsoft Access、SQLServer与SQL注入防御

说明：本文仅是用于学习分析自己搭建的SQL漏洞内容和原理，请勿用在非法途径上，违者后果自负，与笔者无关；本文开始前请认真详细学习《‌中华人民共和国网络安全法》‌及其相关法规内容【学法时习之丨网络安全在身边一图了解网络安全法_中央网络安全和信息化委员会办公室】 。…
阅读更多...
pytorch快速入门（一）—— 基本工具及平台介绍

pytorch快速入门（一）—— 基本工具及平台介绍

前言 该pytorch学习笔记应该配合b站小土堆的《pytorch深度学习快速入门教程》使用 环境配置&#xff1a;Anaconda Python编译器&#xff1a;pycharm、jupyter 两大法宝函数 dir&#xff08;&#xff09;&#xff1a;知道包中有什么东西&#xff08;函数 / 属性..…
阅读更多...
llama网络结构及源码

llama网络结构及源码

目录 模型初始化 config lm_head transformer wte h rms_1/rms_2 attn c_attn c_proj 线性层mlp ln_f rope_cache mask_cache kv_caches tokenizer tokenizer初始化 tokennizer.encoder 位置编码和mask 确定最大文本长度 建立rope_cache 建立mask_cache …
阅读更多...
信奥初赛解析：1.1-计算机概述

信奥初赛解析：1.1-计算机概述

目录 前言 知识要点 一、发展史 二、计算机的分类 三、计算机的基本特征 四、计算机的应用 课堂练习 题目列表 定项选择题 不定项选择题 参考答案 定项选择题 不定项选择题 前言 从今天开始&#xff0c;我们要重点讲初赛内容&#xff0c; 预计讲半年&#xff0c;信…
阅读更多...
Linux下编译Kratos

Linux下编译Kratos

本文记录在Linux下编译Kratos的流程。 零、环境 操作系统Ubuntu 22.04.4 LTSVS Code1.92.1Git2.34.1GCC11.4.0CMake3.22.1Boost1.74.0oneAPI2024.2.1 一、依赖与代码 1.1 安装依赖 apt-get update apt-get install vim openssh-server openssh-client ssh \build-essential …
阅读更多...
Oracle发邮件功能：设置的步骤与注意事项？

Oracle发邮件功能：设置的步骤与注意事项？

Oracle发邮件配置教程&#xff1f;如何实现Oracle发邮件功能&#xff1f; Oracle数据库作为企业级应用的核心&#xff0c;提供了内置的发邮件功能&#xff0c;使得数据库管理员和开发人员能够通过数据库直接发送邮件。AokSend将详细介绍如何设置Oracle发邮件功能。 Oracle发邮…
阅读更多...
电气自动化入门01：电工基础

电气自动化入门01：电工基础

视频链接&#xff1a;1.1 电工知识&#xff1a;电工基础_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1PJ41117PW?p2&vd_sourceb5775c3a4ea16a5306db9c7c1c1486b5 1.电能和电力系统 2.电工常用物理量及其应用 2.1电阻&#xff1a; 2.2电流&#xff1a; 2.3电压&…
阅读更多...
面试官问：请描述一次你成功解决问题的经历？

面试官问：请描述一次你成功解决问题的经历？

面试官为什么要这么问&#xff1f; 面试官问你描述一次成功解决问题的经历&#xff0c;主要是为了评估你的几个关键方面&#xff1a; 问题解决能力&#xff1a;了解你在面对挑战时的思维方式和应对策略。 决策能力&#xff1a;考察你在压力下做出明智决定的能力。 沟通技巧&am…
阅读更多...
最新文章

Copyright @ 2022~2023