Dragonfly 最新正式版本 v2.0.9 已经发布！

作者：戚文博-蚂蚁集团

Dragonfly 最新正式版本 v2.0.9 已经发布！感谢 Dragonfly 的贡献者们，同时也感谢默默支持 Dragonfly 项目的各个公有云团队。欢迎访问 d7y.io [ 1] 网站来了解详情，下面具体介绍 v2.0.9 版本带来了那些更新。

在这里插入图片描述

功能

  • 下载任务可以根据优先级(Priority)进行下载。优先级可以在下载任务时 cli 中作为参数传入，也可以在 Manager Console 设置对应应用关联的优先级。具体不同优先级的功能可以参考文档 priority protoc definition [ 2] 。
  • Scheduler 配置新增 PieceDownloadTimeout 字段，做用是当某个 Piece 下载超过 Timeout 时，设置对应的 Task 状态变更为失败。防止异常 Task 元信息残留在 Scheduler 中。
  • GRPC 服务新增 Health Service 和 Reflection 服务。
  • Manager 支持 Redis 哨兵模式(sentinal model)。
  • 重构 Dynconfig 模块移除 json.Unmarshal 操作，提高 Dynconfig 模块运行时效率。并且支持通过健康检查的方式过滤异常地址服务。
  • 修复当无可用服务时，GRPC 未构建哈希环所造成的异常。
  • 早期版本当同一个 Task 的多个 Piece 并发下载时，Scheduler 会调度多个 Parent 给当前 Peer 进行下载，但多个 Piece 基本都会从单个 Parent 进行下载。当前版本更改多个 Piece 可以从不同的 Parent 并发下载，可以防止流量集中在部分热点 Parent，提高下载效率同时也提高了带宽平均利用率。
  • Peer 调用 Manager 获取匹配的 Scheduler Cluster 的时候，如果没有匹配到任何 Scheduler Cluster，那么 Manager 会返回所有的 Scheduler Cluster 提供给 Peer。Peer 会使用 Health Check 通过的 Scheduler Cluster 地址供后续下载调度使用。
  • 支持 ORAS [ 3] 客户端的回源下载协议，扩展容器镜像生态支持。
  • 增加 UDP Ping 包的支持和虚拟网络拓扑的 GRPC Protoc 定义。未来会新增基于网络探测构建虚拟网络拓扑结构，提高调度算法的精确度。
  • 完成 V2 版本的 P2P 协议 [ 4] 的定义。Scheduler 和 Manager 对应实现了 V2 版本的 P2P 协议的功能。未来会基于 V2 版本的 P2P 协议和 Rust 语言重写 Dfdaemon，提高客户端性能的同时能够依赖更加标准且扩展性更强的 V2 版本的 P2P 协议。
  • OSS 客户端回源协议新增基于 STS 临时访问凭证来访问 OSS 源站。
  • Scheduler 新增 hostTTL and hostGCInterval 配置，主要作用于 Host 元数据的释放。可以保证在 Peer 主机异常退出的情况下，仍然可以释放掉异常的 Host 元数据，防止脏数据残留。
  • Manager 的 Searcher 模块新增根据 CIDR [ 5] 条件去筛选当前 Peer 匹配的 Scheduler Cluster，提供更精确的匹配计算方式。
  • 重构 V1 版本 P2P 协议的 Metric，并且新增 V2 版本 P2P 协议的 Metric，并且根据新的 Metrics 更新 Helm Charts [ 6] 的 PrometheusRule 对应的告警规则。并且重新整理 Dragonfly Grafana Dashboards [ 7] 方便用户可以一键导入 Dashboards 观测 P2P 网络流量以及服务相关数据。具体文档可以参考 Monitoring [ 8] ， Grafana Dashboard 维护在项目 dragonflyoss/monitoring [ 9] 中。

版本更新包含的更多细节可以参考 CHANGELOG [ 10] 。

破坏性变更

老版本 Manager 由于使用了默认的 JWT Key 生成 JWT Token 会引起安全性问题，具体可以参考 security issues [ 11] 。所以 Manager 服务配置文件新增了 JWT 配置 [ 12] 。所以当老版本 Manager 升级过程中需要在新版本 Manager 的配置文件中新增 JWT Key 配置，并且 JWT Key 是需要用户自己生成，具体 JWT Key 如何配置可以参考 setting it in the Manager configuration [ 13] 。

公有云厂商支持

  • Alibaba Cloud(阿里云) - 阿里云提供安装 Dragonfly 1.x 在容器镜像仓库 Container Registry [ 14] ，使用文档可以参考 Use P2P Acceleration in ASK [ 15] 。推荐使用更加高效且稳定的 Dragonfly 2.0 [ 16] ，部署文档参考 Setup Dragonfly in Kubernetes [ 17] 。
  • Google Cloud Platform(GCP) - GCP 提供一键点击部署 Dragonfly 在 Google Kubernetes Engine(GKE) [ 18] 的 Marketplace [ 19] ，具体文档可以参考 Click to Deploy Dragonfly [ 20] 。
  • Volcano Engine(火山引擎) - 火山引擎在容器服务(VKE) and 和镜像仓库(CR)中集成了 CNCF 孵化项目 Dragonfly，欢迎访问 VKE [21 ] & CR [ 22] 了解更多。
  • Baidu AI Cloud(百度智能云) - 百度智能云提供在 Cloud Container Engine(CCE) [2****3] 一键部署 P2P 加速服务，其能力来自于 Dragonfly。

参考链接

  • Dragonfly 官网

https://d7y.io/

  • Dragonfly 仓库

https://github.com/dragonflyoss/Dragonfly2

  • Dragonfly Charts 仓库

https://github.com/dragonflyoss/helm-charts

  • Dragonfly Monitor 仓库

https://github.com/dragonflyoss/monitoring

  • 阿里云容器仓库

https://www.alibabacloud.com/product/container-registry

  • 阿里云容器服务(ACK)

https://www.alibabacloud.com/product/kubernetes

  • Google Kubernetes Engine(GKE)

https://cloud.google.com/kubernetes-engine

  • Google Cloud Platform(GCP) Dragonfly Marketplace

https://console.cloud.google.com/marketplace/product/google/dragonfly

  • 火山引擎容器服务(VKE)

https://www.volcengine.com/product/vke

  • 火山引擎容器仓库(CR)

https://www.volcengine.com/product/cr

  • 百度智能云容器服务(CCE)

https://intl.cloud.baidu.com/product/cce.html

**
**

相关链接：

[1] Dragonfly 官网

https://d7y.io/

[2] priority protoc definition

https://github.com/dragonflyoss/api/blob/main/pkg/apis/common/v2/common.proto#L74

[3] ORAS

https://github.com/oras-project/oras

[4] V2 版本的 P2P 协议

https://github.com/dragonflyoss/api/tree/main/proto

[5] CIDR

https://en.wikipedia.org/wiki/Classless_Inter-Domain_Routing

[6] Helm Charts

https://github.com/dragonflyoss/helm-charts

[7] Dragonfly Grafana Dashboards

https://grafana.com/grafana/dashboards/?search=dragonfly

[8] Monitoring

https://d7y.io/docs/concepts/observability/monitoring

[9] Dragonfly Monitor

https://github.com/dragonflyoss/monitoring

[10] CHANGELOG

https://github.com/dragonflyoss/Dragonfly2/blob/main/CHANGELOG.md

[11] security issues

https://github.com/dragonflyoss/Dragonfly2/security/advisories/GHSA-hpc8-7wpm-889w

[12] JWT 配置

https://github.com/dragonflyoss/Dragonfly2/pull/2161

[13] setting it in the Manager configuration

https://github.com/dragonflyoss/d7y.io/blob/main/docs/reference/configuration/manager.md?plain=1#L56

[14] 阿里云镜像仓库

https://www.alibabacloud.com/product/container-registry

[15] Use P2P Acceleration in ASK

https://www.alibabacloud.com/help/en/container-registry/latest/use-the-p2p-acceleration-feature-in-ask-and-ack-clusters

[16] Dragonfly 仓库

https://github.com/dragonflyoss/Dragonfly2

[17] Setup Dragonfly in Kubernetes

https://d7y.io/docs/getting-started/quick-start/kubernetes/

[18] Google Kubernetes Engine(GKE)

https://cloud.google.com/kubernetes-engine

[19] Google Cloud Platform(GCP) Marketplace

https://console.cloud.google.com/marketplace/product/google/dragonfly

[20] Google Cloud Platform(GCP) Dragonfly Marketplace*https://console.cloud.google.com/marketplace/product/google/dragonfly*

[21] 火山引擎容器服务(VKE)

https://www.volcengine.com/product/vke

[22] 火山引擎镜像仓库(CR)

https://www.volcengine.com/product/cr

[23] 百度智能云容器服务(CCE)

https://intl.cloud.baidu.com/product/cce.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/5290.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【Redis】十大数据类型（下篇）

【Redis】十大数据类型（下篇）

文章目录redis位图(bitmap) --- 底子还是string基本命令图示setbit key offset value setbit 键 偏移位 只能零或者1getbit key offset 查看获取字符串长度 strlen统计key中包含1的个数 bitcount keybitop 统计两个比特key是否都为1技术落地：打卡签到，频…
阅读更多...
【C语言蓝桥杯每日一题】——等差数列

【C语言蓝桥杯每日一题】——等差数列

【C语言蓝桥杯每日一题】——等差数列😎前言🙌等差数列🙌解题思路分析：😍解题源代码分享：😍总结撒花💞😎博客昵称：博客小梦 😊最喜欢的座右铭&…
阅读更多...
让ChatGPT帮我写shell脚本, 结局很感人

让ChatGPT帮我写shell脚本, 结局很感人

七问ChatGPT, 剑指shell脚本编写 step1: 初问step2: 再问step3: 三问step4: 四问step5: 五问step6: 问个derstep7: 解决问题step8: 小问一下关于ChatGPT思考昨天浏览一篇关于脚本的技术文章的时候, 偶然看见一篇文章中写道关于mysql备份的脚本. 但是这个脚本时基于本地的MySQL服…
阅读更多...
Idea+maven+spring-cloud项目搭建系列--13 整合MyBatis-Plus多数据源dynamic-datasource

Idea+maven+spring-cloud项目搭建系列--13 整合MyBatis-Plus多数据源dynamic-datasource

前言：对于同一个系统，不同的租户需要自己独立分隔的数据库（每个数据库的表结构可以是相同的），同时也要支持跨数据源的查询；并且支持分布式事务，如果这里不使用分库分表插件，需要怎样…
阅读更多...
使用dd复制将乌班图系统（Ubuntu22.04）完整迁移到新硬盘并扩容

使用dd复制将乌班图系统（Ubuntu22.04）完整迁移到新硬盘并扩容

我的折磨历程 开始的时候用乌班图的时候，不懂事，根目录太小了，后来就满了，就就感觉完全没法用，看着现在硬盘贼便宜，去狗东买了个新的硬盘。感觉挂载硬盘并不能解决我的问题，最后选择了保留系统数…
阅读更多...
ython和PyTorch实现ChatGPT批量AI智能写作

ython和PyTorch实现ChatGPT批量AI智能写作

怎么实现用chatgpt批量写作 ChatGPT是一种针对文本生成的自然语言处理工具，它可以用于生成大量的文本内容。但是，由于ChatGPT需要的计算资源较大，处理时间较长，因此在批量写作时需要考虑花费的时间和资源。 以下是一些步骤&…
阅读更多...
又一个免费GPT-4工具 Cursor，程序员写代码将被颠覆

又一个免费GPT-4工具 Cursor，程序员写代码将被颠覆

每天都被openai震撼到， 他们家被广为人知的产品是chatgpt，就是那个聊天工具。现在已经开始有越来越多的产品集成openai，比如微软的office，bing。现在又一个工具出现，一个叫Cursor的编辑器已经集成了openai的GPT-4&…
阅读更多...
Spring系列(六) --- SpringBoot 与 Servlet 的比较及 Spring 读取配置文件的方式

Spring系列(六) --- SpringBoot 与 Servlet 的比较及 Spring 读取配置文件的方式

SpringSpringBoot VS ServletSpring 读取配置文件的方式yml 和 properties 的区别SpringBoot VS Servlet Spring 读取配置文件的方式 1 Value 注解获取单个配置项 如在 yml 中定义一个 qq 音乐的 token; 然后输出, 如下: 2 针对对象的读取: ConfigurationProperties 在 yml 中…
阅读更多...
YOLOv5添加辅助训练头

YOLOv5添加辅助训练头

1. 介绍 思路 添加 Aux head 的主要原因是让网络中间层学到更多信息，有更丰富的梯度信息帮助训练。这里要注意，好的梯度信息能够让相同参数量的网络学的更好。 作者原文为： By letting the shallower auxiliary head directly learn the information that lead head has l…
阅读更多...
【C#基础】泛型的概念？有什么例子？在游戏中有什么可以使用的地方？

【C#基础】泛型的概念？有什么例子？在游戏中有什么可以使用的地方？

概念 让chatGpt来为我们讲解。 在C#中，泛型是一种允许开发人员编写可重用代码，可以处理多种数据类型的特性。 使用泛型，可以创建类、方法、接口和委托这种不属于任何特定数据的类型，但可以处理满足某些约束条件的任何数据类型。…
阅读更多...
手机银行评测系列：北京银行“京彩生活”7.0从用户视角出发，实现沉浸式体验重塑

手机银行评测系列：北京银行“京彩生活”7.0从用户视角出发，实现沉浸式体验重塑

易观：2023年3月28日，北京银行发布“京彩生活”APP 7.0版本，从旅程再造、特色金融、场景生态、平台联动、协同经营、体验管理和安全守护七大方面全面升级，从用户视角出发，重塑用户旅程，简化操作流程&#xf…
阅读更多...
PDF Extra（安卓）

PDF Extra（安卓）

首先，软件是一个一体化的扫描仪和编辑器，工具主要包含有编辑，创建，转换，阅读和查看，其它等等多个功能类型。 编辑里面包含有编辑文本和图像，填写并签署，组织页面，压缩&am…
阅读更多...
PLG 基础概念和关键点

PLG 基础概念和关键点

什么是 PLGPLG 是 Product Led Growth 的缩写，常翻译为产品增长或产品主导型增长。这个概念最早是风投公司 OpenView 2016年提出的。定义：PLG 是一个聚焦终端用户的增长模型，依赖于产品自身作为获取、转化、扩展客户的核心动力。• 以产品来驱…
阅读更多...
入行软件测试7年，才知道原来字节跳动这么容易进

入行软件测试7年，才知道原来字节跳动这么容易进

当前就业环境，裁员、失业消息满天飞，好像有一份工作就不错了，更别说高薪了。其实这只是一方面，而另一方面，各大企业依然求贤若渴，高技术人才依然紧缺，只要你技术过硬，拿个年薪50w不是…
阅读更多...
vue3快速上手

vue3快速上手

Vue3快速上手 1.Vue3简介 2020年9月18日，Vue.js发布3.0版本，代号：One Piece（海贼王）耗时2年多、2600次提交、30个RFC、600次PR、99位贡献者github上的tags地址：https://github.com/vuejs/vue-next/release…
阅读更多...
核心 Android 调节音量的过程

核心 Android 调节音量的过程

核心 Android 系统提供的调节音量的方法 核心 Android 系统提供了多种调节音量的方法，这些方法主要包括如下这些。 如在 Android Automotive 调节音量的过程 中我们看到的，CarAudioService 最终在 CarAudioDeviceInfo 中 (packages/services/Car/servi…
阅读更多...
开源DataX集成可视化项目Datax-Web的使用

开源DataX集成可视化项目Datax-Web的使用

上一篇文章我们已经搭建好了 Datax-Web 后台，这篇文章我们具体讲一下如何通过Datax-Web来配置，同步MySQL数据库。 目标 MySql数据库全量同步 1.执行器配置 1、"调度中心OnLine:"右侧显示在线的"调度中心"列表, 任务执行结束后, 将会…
阅读更多...
红黑树、B树以及B+树及应用

红黑树、B树以及B+树及应用

目录 一.二叉查找树(二叉搜索树，BST) 1.1查找操作 1.2插入操作 1.3删除操作 1.4支持重复数据的二叉查找树 1.5二叉查找树的性能分析 二.平衡二叉查找树 2.1定义 2.2红黑树 2.3为什么红黑树这么受欢迎 三.哈希表为什么不能替代二叉查找树 四.MySQL数据库索…
阅读更多...
基于springboot实现学生综合成绩测评系统【源码】分享

基于springboot实现学生综合成绩测评系统【源码】分享

基于springboot实现学生综合成绩测评系统演示开发语言：Java 框架：springboot JDK版本：JDK1.8 服务器：tomcat7 数据库：mysql 5.7 数据库工具：Navicat11 开发软件：eclipse/myeclipse/idea Maven包…
阅读更多...
机器学习模型部署PMML

机器学习模型部署PMML

PMML 简介 预测模型标记语言PMML（Predictive Model Markup Language）是一套与平台和环境无关的模型表示语言，是目前表示机器学习模型的实际标准。从2001年发布的PMML1.1，到2019年最新4.4，PMML标准已经由最初的6个模型…
阅读更多...
最新文章

Copyright @ 2022~2023