QAnything-1.4.01.4.1版本更新！使用指北！

久等了各位！时隔一个多月，我们在4月26日和5月20日接连发布了v1.4.0和v1.4.1两个版本，带来了问答性能，解析效果等多方面的改进，并新增了大量的新功能和新特性

详见：releases 以及 使用说明

最新特性表

图片

开发背景：

在v1.0.x->v1.3.x的版本迭代过程中，通过分析用户反馈，我们发现绝大部分的问题都是在使用本地大模型时产生的，因此我们把相当一部分工作重心放在了本地大模型的适配上

在这个目标下做了一系列的工作：

  • 自动检测显卡的型号，计算能力和内存大小，并根据情况自动调整默认启动参数，以提供用户最佳体验，并给予相关提示。

  • 支持Nvidia下全系列显卡，并根据用户硬件条件推荐本地大模型Size（3B，7B等）。

  • 提供3种LLM推理运行后端：包括FasterTransformer（默认）、huggingface和vllm，通过FastChat Server API支持加载各种开源大模型。

  • 提供纯python版本，自动根据运行环境切换本地大模型，模型自动下载等。

确实解决了一部分问题，但是随后我们发现这种做法类似于打地鼠，我们写的自动化逻辑本意是帮助用户减少手动操作的时间，尽量自动化运行QAnything，这个过程中添加了繁杂的检测和判断逻辑，但是相比用户使用场景的复杂性还远远不够，截止至v1.3.3版本发布，最多的问题仍然是本地模型运行过程中与系统软硬件环境产生的冲突，同时我们还发现大量用户存在使用自定义模型的需求，并不需要我们内置本地大模型（我们考虑到大部分个人用户的硬件条件，内置大模型主要是3B和7B的，实际使用效果欠佳），因此我们及时改变策略，将大模型这块独立出来，仅提供基础的本地大模型，同时提供更方便的使用其他开源大模型的接口，把工作重心放在增加更多的大模型衍生功能，同时进一步降低用户使用门槛上。

新发布的V1.4.0&V1.4.1将新增如下新特性：

  • 新增联网检索

  • 支持FAQ问答

  • 支持自定义Bot

  • 支持语音文件

  • 支持文件溯源

  • 支持问答日志检索

  • 支持国产OS（OpenCloudOS）

  • 支持所有与OpenAI-API兼容的大模型服务（包含ollama，通义千问DashScope等）

  • 支持多卡推理

  • PDF文件解析效果优化（包含表格效果）

以及部分使用上的改进，包括服务启动时间优化，资源占用优化，修复已知问题等

联网检索

注意：联网检索依赖于第三方库：GitHub - deedy5/duckduckgo_search

duckduckgo_search使用依赖外网VPN，如无法获取外网VPN请在前端页面关闭联网检索功能，防止报错。

未开启联网检索：

图片

开启联网检索：

图片

API调用：


import sys

import requests

import time



def send_request():

    url = 'http://{your_host}:8777/api/local_doc_qa/local_doc_chat'

    headers = {

        'content-type': 'application/json'

    }

    data = {

        "user_id": "zzp",

        "kb_ids": ["KBf652e9e379c546f1894597dcabdc8e47"],

        "question": "介绍一下韦小宝",

        "networking": True  # True开启联网检索

    }

    try:

        start_time = time.time()

        response = requests.post(url=url, headers=headers, json=data, timeout=60)

        end_time = time.time()

        res = response.json()

        print(res['response'])

        print(f"响应状态码: {response.status_code}, 响应时间: {end_time - start_time}秒")

    except Exception as e:

        print(f"请求发送失败: {e}")





if __name__ == '__main__':

    send_request()

FAQ问答

FAQ问答流程和普通问答一致，区别在于FAQ文件需要单独在问答集页面上传，支持手动输入以及excel文件上传两种方式

手动输入：

图片

Excel上传：

图片

编辑FAQ内容

图片

此时针对知识库的问答会同时检索文档集和问答集:

图片

API调用：

import os

import requests



url = "http://{your_host}:8777/api/local_doc_qa/upload_faqs"

folder_path = "./xlsx_data"  # 文件所在文件夹，注意是文件夹！！

data = {

    "user_id": "zzp",

    "kb_id": "KB6dae785cdd5d47a997e890521acbe1c9_FAQ",

}



files = []

for root, dirs, file_names in os.walk(folder_path):

    for file_name in file_names:

        if file_name.endswith(".xlsx"):

            file_path = os.path.join(root, file_name)

            files.append(("files", open(file_path, "rb")))



response = requests.post(url, files=files, data=data)

print(response.text)

备注：

FAQ上传单次默认最多处理1000行，可手动修改这个限制，仅影响请求处理速度，太多可能会超时

支持自定义Bot

图片

图片

分享页面：

图片

API调用:

创建Bot

获取Bot信息

修改Bot信息

删除Bot信息

支持语音文件

支持解析MP3和WAV格式文件（依赖faster_whisper，解析速度慢，建议控制语音时长在60秒内）

图片

支持文件溯源

目前仅支持以下格式的文件溯源：

pdf，docx，xlsx，txt，jpg，png，jpeg，联网检索网络链接等，其他类型后续将尽快支持

图片

图片

支持问答日志检索（API）

目前仅支持API检索，后续将提供前端页面操作：检索API

import requests

import json



url = "http://{your_host}:8777/api/local_doc_qa/get_qa_info"

headers = {

    "Content-Type": "application/json"

}

data = {

    "user_id": "zzp",

    "kb_ids": [

        "KBe3f7b698208645218e787d2eee2eae41"

    ],

    "time_start": "2024-04-01",

    "time_end": "2024-04-29",

    "query": "韦小宝住址",

    "need_info": ["user_id"]

}



response = requests.post(url, headers=headers, data=json.dumps(data))



print(response.status_code)

print(response.text)

支持国产OS（OpenCloudOS）

OpenCloudOS是腾讯自研的国产操作系统：官网

OpenCloud 需要在 Docker 容器中运行，请先安装 Docker：Docker 版本 >= 20.10.5 且 docker-compose 版本 >= 2.23.3

git clone -b qanything-python https://github.com/netease-youdao/QAnything.git

cd QAnything

docker-compose up -d

docker attach qanything-container

pip install -r requirements.txt



# 随后启动方式与正常使用一致：

https://github.com/netease-youdao/QAnything/blob/master/QAnything%E4%BD%BF%E7%94%A8%E8%AF%B4%E6%98%8E.md#%E5%9C%A8windows-wsl%E6%88%96linux%E7%8E%AF%E5%A2%83%E4%B8%8B%E8%BF%90%E8%A1%8C3b%E5%A4%A7%E6%A8%A1%E5%9E%8Bminichat-2-3b%E8%A6%81%E6%B1%82%E6%98%BE%E5%AD%9810gb

支持所有与OpenAI-API兼容的大模型服务（包含ollama，通义千问DashScope等）

docker版OpenaiAI接口兼容

bash ./run.sh -c cloud -i 0

# 手动输入api_key，base_url，model_name，context_length，除了api_key外均有默认值，且用户输入会自动保存，下次启动不用再次输入

图片

支持任意与OpenaAI接口兼容的服务

通义千问DashScope支持：通义千问DashScopeAPI

# 示例

openai_api_key = "sk-xxx"

openai_api_base = "https://dashscope.aliyuncs.com/compatible-mode/v1"

openai_model_name = "qwen1.5-72b-chat"

ollama支持：本地启动ollama服务

# 例如，当本地运行ollama run qwen:32b

openai_api_key = "ollama"

openai_api_base = "http://localhost:11434/v1"

openai_api_model_name = "qwen:32b"

python版OpenaiAI接口兼容

支持任意与OpenaAI接口兼容的服务


# Linux或WSL上，注意cpu模式需要加-c参数

bash scripts/base_run.sh -s "LinuxOrWSL" -w 4 -m 19530 -q 8777 -o -b 'https://api.openai.com/v1' -k 'sk-xxx' -n 'gpt-3.5-turbo' -l '4096'



# Mac上

bash scripts/base_run.sh -s "M1mac" -w 2 -m 19530 -q 8777 -o -b 'https://api.openai.com/v1' -k 'sk-xxx' -n 'gpt-3.5-turbo' -l '4096'

通义千问DashScope支持：通义千问DashScopeAPI 自定义

scripts/run_for_openai_api_xxx.sh内容为：

# Linux或WSL上，注意cpu模式需要加-c参数

bash scripts/base_run.sh -s "LinuxOrWSL" -w 4 -m 19530 -q 8777 -o -b 'https://dashscope.aliyuncs.com/compatible-mode/v1' -k 'sk-xxx' -n 'qwen1.5-72b-chat' -l '4096'



# Mac上

bash scripts/base_run.sh -s "M1mac" -w 2 -m 19530 -q 8777 -o -b 'https://dashscope.aliyuncs.com/compatible-mode/v1' -k 'sk-xxx' -n 'qwen1.5-72b-chat' -l '4096'

ollama支持：本地启动ollama服务 自定义scripts/run_for_openai_api_xxx.sh内容为：

# Linux或WSL上，注意cpu模式需要加-c参数

bash scripts/base_run.sh -s "LinuxOrWSL" -w 4 -m 19530 -q 8777 -o -b 'http://localhost:11434/v1' -k 'ollama' -n 'qwen:32b' -l '4096'



# Mac上

bash scripts/base_run.sh -s "M1mac" -w 2 -m 19530 -q 8777 -o -b 'http://localhost:11434/v1' -k 'ollama' -n 'qwen:32b' -l '4096'

支持多卡推理（仅支持docker版）：

# 当使用默认后端时：（bash run.sh启动时不指定-b参数或-b参数为default）

无法使用多卡推理大模型，仅支持使用两张卡省显存

bash ./run.sh -c local -i 0,1 -b defaul  # 此时的显存使用逻辑为第一张卡部署大模型，第二张卡部署embedding，rerank，和ocr模型，实际意义不大

# 当使用huggingface或vllm后端时支持多卡推理大模型

# 以下示例为两张卡启动，默认embedding，部署在第一张卡上，rerank，ocr模型部署在第二张卡上，两张卡剩余显存均会用于LLM推理

bash ./run.sh -c local -i 0,1 -b default  # 指定0,1号GPU启动，请确认有多张GPU可用，注意设备数量必须是1，2，4，8，16，否则显存无法正常分配

说明：多卡部署是指大模型运行平均分配显存到多张显卡上，但是由于embedding，rerank和ocr模型也需要占用显存（共需4G+显存，启动时占用2G显存，运行后会逐渐上涨至4G左右），目前这三个模型默认会分配到前两个设备上，所以第一张，第二张显卡的显存占用会比其他卡多2G以上，默认启动参数-r(gpu_memory_utilization)=0.81，如果手动设置为0.9以上可能会存在前两张卡显存不足无法启动或启动后运行时显存不足报错的情况

PDF文件解析效果优化（包含表格效果）

表格优化前：

图片

表格优化后：

图片

文字优化前：

图片

文字优化后：

图片

所有上传的文档以及文档解析后的结果均会保存在项目根目录下的QANY_DB文件夹中，示例如下，可自行查看解析结果：

> pwd

/Users/liujunxiong/workspace/ai_team/qanything-open-source/QANY_DB/content/zzp/e396215cddf44df9bdde7ef3dbf75ad4

> ls -R

QAnything使用说明.pdf     QAnything使用说明_1716194377

./QAnything使用说明_1716194377:

QAnything使用说明.json     QAnything使用说明_md

./QAnything使用说明_1716194377/QAnything使用说明_md:

QAnything使用说明.md

注意：优化的PDF解析器需要手动开启：详情

更多信息可见：QAnything开源代码地址：GitHub - netease-youdao/QAnything: Question and Answer based on Anything.

线上直接体验：https://qanything.ai

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/675682.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Android 调试桥_ADB命令

Android 调试桥_ADB命令

Android 调试桥 ADB全称 【Android Debug Bridge】 是Android SDK中的一个命令行工具，adb命令可以直接操作管理Android模拟器或真实的Android设备（手机） ADB的工作原理 启动一个 adb 客户端时，此客户端首先检查是否有已运行的 …
阅读更多...
1961. 检查字符串是否为数组前缀 - 力扣

1961. 检查字符串是否为数组前缀 - 力扣

1. 题目 给你一个字符串 s 和一个字符串数组 words ，请你判断 s 是否为 words 的 前缀字符串 。 字符串 s 要成为 words 的 前缀字符串 ，需要满足：s 可以由 words 中的前 k（k 为 正数 ）个字符串按顺序相连得到&#xf…
阅读更多...
kaggle竞赛系列基于图像对水稻分类代码案例

kaggle竞赛系列基于图像对水稻分类代码案例

目录 依赖环境 代码 导入依赖包 定义数据集路径： 创建训练集、验证集和测试集的文件夹： 代码的作用： 设置新的数据集路径与类别名称 代码的作用： 定义数据预处理和增强变换： 代码的作用： 定义数…
阅读更多...
Appium自动化环境搭建保姆级教程

Appium自动化环境搭建保姆级教程

APP自动化测试运行环境比较复杂，稍微不注意安装就会失败。我见过不少朋友，装了1个星期，Appium 的运行环境还没有搭好的。 搭建环境本身不是一个有难度的工作，但是 Appium 安装过程中确实存在不少隐藏的比较深的坑，如果…
阅读更多...
kafka-集群搭建（在docker中搭建）

kafka-集群搭建（在docker中搭建）

文章目录 1、kafka集群搭建1.1、下载镜像文件1.2、创建zookeeper容器并运行1.3、创建3个kafka容器并运行1.3.1、9095端口1.3.2、9096端口1.3.3、9097端口 1.4、重启kafka-eagle1.5、查看 efak1.5.1、查看 brokers1.5.2、查看 zookeeper 1、kafka集群搭建 1.1、下载镜像文件 d…
阅读更多...
Vuforia AR篇（五）— 地平面检测

Vuforia AR篇（五）— 地平面检测

目录 前言一、什么是地平面识别？二、使用步骤三、示例代码四、效果五、总结 前言 在增强现实（AR）应用程序的开发中，地平面识别是一项关键技术，它允许虚拟对象与现实世界的地面进行互动。Vuforia 是一个功能强大的 AR …
阅读更多...
javacv ffmpeg使用笔记 (补充中...)

javacv ffmpeg使用笔记 (补充中...)

javacv ffmpeg使用笔记 一、maven依赖二、示例代码1. 获取视频时长 三、小技巧 一、maven依赖 使用javacv ffmpeg并指定classifier之后，就不需要额外安装ffmpeg软件（jar包中已经内置）了。 全量依赖包（不推荐）安装包总大…
阅读更多...
6、架构-服务端缓存

6、架构-服务端缓存

为系统引入缓存之前，第一件事情是确认系统是否真的需要缓 存。从开发角度来说，引入缓存会提 高系统复杂度，因为你要考虑缓存的失效、更新、一致性等问题；从运维角度来说，缓存会掩盖一些缺 陷，让问题在更久的…
阅读更多...
HashMap的get和put方法

HashMap的get和put方法

在 JDK 1.8 中，HashMap 是一个常用的实现了 Map 接口的哈希表，它允许存储键值对，并且键和值都可以为 null。HashMap 的主要特点是其基于哈希表的实现，提供了快速的查找和插入操作。以下是 HashMap 中 get 和 put 方法的介绍及其实…
阅读更多...
Flink状态State | 大数据技术

Flink状态State | 大数据技术

⭐简单说两句⭐ ✨ 正在努力的小叮当~ 💖 超级爱分享，分享各种有趣干货！ 👩‍💻 提供：模拟面试 | 简历诊断 | 独家简历模板 🌈 感谢关注，关注了你就是我的超级粉丝啦！ &a…
阅读更多...
使用J-LINK COMMANDER检查极海APM32F072烧录

使用J-LINK COMMANDER检查极海APM32F072烧录

键入 connect: 此时会显示默认设备，如果之前设置过会有，为了演示，我不选 键入 ？ 然后会弹出设备选择界面： 根据自己的设备搜索型号： 我这里搜索“APM32F072VB”,点击OK: 选择接口类型： 如果要…
阅读更多...
用Python优雅地写LaTeX

用Python优雅地写LaTeX

latexify用于生成 LaTeX 数学公式的 Python 库。LaTeX 是一种基于 ΤΕΧ 的排版系统，对于展示复杂的数学公式表现极为出色。该项目可以用 Python 函数，轻松生成复杂的 LaTeX 数学公式描述。 安装库 查看版本号 0.4.2 案例演示 我们需要以装饰器的形式…
阅读更多...
jquery发ajax自动302、xhrredirect，莫名弹出登录窗口。tomcat部署情况下

jquery发ajax自动302、xhrredirect，莫名弹出登录窗口。tomcat部署情况下

效果如下： 原因如下： 跟tomcat自带的一个项目同名了，只要前缀跟那个项目同名 都被拦截。 解决方案： 我直接改了一个接口名字，只要不和tomcat自带项目名字一样即可
阅读更多...
Linux基础 （十二）：Linux 线程的创建与同步

Linux基础 （十二）：Linux 线程的创建与同步

本篇博客详细介绍与线程有关的内容，这部分也是笔试面试的重点，需要我们对线程有深刻的理解，尤其是线程的并发运行以及线程同步的控制！接下来，让我们走进线程的世界，去理解线程，使用线程&#xf…
阅读更多...
RocketMQ学习(3) 秒杀实战

RocketMQ学习(3) 秒杀实战

学习完RocketMQ的用法，现在用它来做一个简单的秒杀项目练练手。 关于秒杀，我之前其实有专门的学习过其中的一些业务逻辑和常见问题，我在这篇博客中有写过多并发场景下的秒杀场景，需要考虑哪些问题？也可以学习一下 除了RocketMQ，本文还需要会springBoot + Redis + Mysql…
阅读更多...
隐藏 IP 地址的重要性是什么？

隐藏 IP 地址的重要性是什么？

在当今的数字时代，保护我们的在线身份至关重要。从保护个人信息到保护隐私，互联网用户越来越多地寻求增强在线安全性的方法。保持匿名和保护敏感数据的一个关键方面是隐藏您的 IP 地址。在这篇博文中，我们将深入探讨隐藏 IP 地址的重要性&…
阅读更多...
项目：消息队列的前置知识

项目：消息队列的前置知识

文章目录 写在前面环境安装 Protubuf基本介绍 Muduo基本介绍 SQLite3异步操作实现线程池 本篇是对于一个仿RabbitMQ实现的消息队列项目的前置知识的说明文档 写在前面 环境安装 Protubuf 基本介绍 项目所需要的比较重要模块有Protubuf模块，那么下面先对于这个模…
阅读更多...
28 _ WebComponent：像搭积木一样构建Web应用

28 _ WebComponent：像搭积木一样构建Web应用

在上一篇文章中我们从技术演变的角度介绍了PWA，这是一套集合了多种技术的理念，让浏览器渐进式适应设备端。今天我们要站在开发者和项目角度来聊聊WebComponent，同样它也是一套技术的组合，能提供给开发者组件化开发的能力。 那什么…
阅读更多...
微信支付(可复用)

微信支付(可复用)

3.1微信支付 本项目选择小程序支付 参考：产品中心 - 微信支付商户平台微信支付商户平台提供各类支付产品满足商家通过微信支付收款的需求；平台提供智慧经营，现金红包，代金券等运营工具，助力商家更好的玩转营销&#x…
阅读更多...
重生奇迹mu格斗家介绍

重生奇迹mu格斗家介绍

出生地：勇者大陆 性 别：男 擅 长：近距离攻击、技能以PVP为主战斗风格 转 职：格斗大师（3转） 介 绍：以PVP战斗模式为主的格斗家，依角色养成配点不同，可发展成以力量体力…
阅读更多...
最新文章

Copyright @ 2022~2023