从0开始学人工智能测试节选:Spark -- 结构化数据领域中测试人员的万金油技术(三)

分布式计算原理

分布式计算的原理总结一句话就是:分而治之。

  1. 把数据分片,存在不同的机器中,解决数据存储的压力。
  2. 客户端和服务端之间通过相关协议来自动的完成在不同的机器之间进行数据的存取,用户并不感知数据的物理存储结构。 用户面对的只有hdfs://xxx/user/xx.txt这样的路径地址。 其余的都由客户端和服务端自动完成。

所有的分布式软件都是分而治之的思路, 当数据量大到了单机无法承载的时候, 那么就利用上面的原理 ,把数据分布到不同的机器中。 这样的架构也就可以支持横向扩展,也就是当存储软件的性能或者磁盘空间不够用时, 只要加机器就可以了。

下面是HDFS(一个分布式文件系统,属于hadoop生态)的架构图:

  1. DataNode:真正存储数据的节点
  2. NameNode:元数据服务器,存储所有数据的元信息,比如数据存储在哪些机器中的哪些路径。
  3. NameNode(standby):NameNode的备用节点,当主NameNode故障后,该服务会接替成为NameNode
  4. Hdfs client会负责查询NameNode获取数据分片信息并处理后返回给用户,用户不感知数据分布情况。

在HDFS中, NameNode负责存储所有文件的元数据, 实际上所有的分布式文件存储软件都有一个类似NameNode的角色,毕竟数据分散在N个不同的机器中, 为了不让用户感知到这复杂的文件分布, 所以需要有这样的一个角色来保存这些文件的元数据,这样客户端才可以跟服务端交互自动的完成文件的整合工作,用户也可以在不感知的前提下读写文件, 大大降低了使用的复杂度。

需要注意的是对于HDFS来说, 可以支持的文件数量都是有限的,并且对于小文件的存储非常的不友好。 因为HDFS是基于数据都是大数据的前提下进行设计的,所以它在文件切片并保存在不同的机器上的时候,是默认128M为一个block(块)进行存储,即便文件不足128M也会按128M进行保存。 也就是如果一个小文件只有28M,那么在HDFS中也会占用128的存储空间, 这100M就是浪费的。 并且对于HDFS来说,我们可以看到它的设计里虽然可以有多个NameNode,但在同一个时间内只能有一个NameNode对外提供服务。 这是出于高可用的考虑(简化元数据在多个namenode同步的问题,因为只有一个namenode在线, 所以剩下了很多数据一致性的问题),但它的缺点就是它没有负载均衡的能力,当文件数量过多时,就会对NameNode产生很大的压力, 使得集群整体的性能受到影响。所以我们在测试分布式存储软件本身的时候,也需要测试它能够承载的文件数量。 所以一般在分布式存储软件中,或者大数据系统中, 一般测试人员都会测试海量小文件的场景 -- 构造海量的小文件并保存在存储系统中,验证它的各项性能指标。 后面讲到造数工具的时候, 会演示如何在短时间内构造这样大批量的数据。

分布式计算

分布式计算的原理也是一样的,都是分而治之:

数据存储的时候可以把数据分布在不同的机器中, 那么在计算时也可以把一个大的任务拆分成N个小任务在调度到不同的机器中来完成。 它的大概过程是这样的:

  1. 计算任务分布在不同的节点中,各自掌握一段数据分片
  2. 每个计算任务各自计算自己掌握的数据
  3. 各个任务计算完毕后进行汇总并返回给客户端

shuffle与数据倾斜

当我们了解到分布式计算的基本运算原理后,就可以开始了解在大数据领域中最著名的一个设计, 同样也号称是大数据领域中的头号性能杀手 -- shuffle。 这是从 MapReduce 时代就开始的分布式计算独特的设计理念。 理解好 shuffle 的原理对学习 spark 甚至是任何一门大数据技术都是至关重要的。Shuffle 中文翻译为 “洗牌”,需要 Shuffle 的关键性原因是某种具有共同特征的数据需要最终汇聚到一个 partition 上进行计算。为什么要这么做呢? 因为对于一个分布式计算框架来说,网络通信的开销是十分昂贵的。假设我们有一千个计算节点在并发的执行一个计算任务。它们要聚合,计算,统计。数据在这一千个节点之间流动会造成相当大的网络负担。所以 spark 的设计者们为了减少网络开销而设计了 shuffle。它的原理就是尽量把一个计算任务所要处理的所有数据都聚集在一个 partition 上,这样就节省了很多的网络开销。 例如我们今天学到的 groupByKey() 聚合操作,spark 一旦执行到这一步的时候,会把所有 key 相同的数据分配到同一个 partition 上以供后续操作。例如 key 为 A 的行分配到 X 节点进行计算,key 为 B 的行分配到 Y 节点进行计算,这样在之后的计算中就免去了网络开销。而这个过程就是 shuffle。所谓洗牌就是这个意思了。

我们了解了 shuffle 相关的概念和原理后其实可以发现一个问题,那就是 shuffle 比较容易造成数据倾斜的情况。 例如上面我们看到的图,在这批数据中,hello 这个单词的行占据了绝大部分,当我们执行 groupByKey 的时候触发了 shuffle。这时候大部分的数据 (Hello) 都汇集到了一个 partition 上。这种极端的情况就会造成著名的长尾现象,就是说由于大部分数据都汇集到了一个 partition 而造成了这个 partition 的 task 运行的十分慢。而其他的 task 早已完成,整个任务都在等这个大尾巴task 的结束。 这种现象破坏了分布式计算的设计初衷,因为最终大部分的计算任务都在一个单点上执行了。所以极端的数据分布就成为了机器学习和大数据处理这类产品的劲敌,我跟我司的研发人员聊的时候,他们也觉得数据倾斜的情况比较难处理,当然我们可以做 repartition(重新分片) 来重新整合 parition 的数量和分布等操作,以及避免或者减少 shuffle 的成本,也可以重新分配key来避免数据倾斜,各家不同的业务有不同的做法。在做这类产品的性能测试的时候,也跟我们以往的互联网模式不同,产品的压力不在于并发量上,而在于数据量和数据分布上(大数据产品中,批处理业务很少有极高的并发操作,只有流计算里才会有高并发,而流计算我们放到以后的章节来讲)。

总而言之对于大数据产品来说,数据是否符合真实场景(包括数据的分布,分片,行数,列数等等)就决定性能测试的结果是否准确。 在很多产品中很难从线上直接拉取数据,有些场景是因为线上也没有足够的高质量数据,也有的是因为数据量实在过于庞大, 比如我们曾经测试过百亿,千亿和万亿规模的数据。 即便线上环境有这样庞大的数据, 但要把数据从线上同步到测试环境也会长期占用极其庞大的网络带宽, 这为线上带来了很大的风险。 同时对于很多做TOB类型的大数据产品来说(大数据产品大多都是TOB的,当然不一定是私有云, 也可能是公有云), 客户数据是保密的,我们没有办法直接拿现成客户数据。

所以综上所述, 测试人员需要开发一款造数工具来在短时间内构建海量的数据, 而这部分内容,我将会在下一个章节讲解。

 更多内容欢迎来到我的知识星球:
 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/677669.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【赠书活动】好书推荐—《详解51种企业应用架构模式》

导读: 企业应用包括哪些?它们又分别有哪些架构模式?世界著名软件开发大师Martin Fowler给你答案。 01 什么是企业应用 我的职业生涯专注于企业应用,因此,这里所谈及的模式也都是关于企业应用的。(企业应用…

在QML中调用 C++ 函数的方法(四)

文章目录 前言一、qml 和 c++ 交互的官方文档介绍二、QML 中调用 C++ 实现的函数的方法1. Exposing Attributes of C++ Types to QML1.1 暴露 Properties1.2 暴露 Methods(槽函数和Q_INVOKABLE 修饰的函数)1.3 暴露 Signals2. Defining QML Types from C++3. 代码实例3.1 创建一…

基因分析平台开发1 - Layui WebUI组件库快速地构建网页界面

介绍一个Web UI库,可快速实现基因分析平台前端部分的开发,借助帮助文档,快速实现自己想要效果。 1. Layui 简介 Layui 是一套免费的开源 Web UI 组件库,可用于更简单快速地构建网页界面,全部主流 Web 浏览器&#xf…

Springboot JVM监控 通过Promethus

Springboot内置了对Prometheus得支持,可以监测得点有: JVM各指标参数(GC,堆,非堆等)接口调用次数,延时系统内存,IO,CPU使用率 部署Prometheus和Grafana 准备一台2核4G…

抖音小店有哪些违规处罚?18处扣钱违规,商家赶紧收藏!

哈喽~我是电商月月 做抖音小店的商家最怕的事情就是店铺违规处罚了,那你们知道抖音小店的违规处罚都有哪些吗? 今天月月就给大家一次性讲清楚,抖店运营中包含的违规条例吧: 一.商品违规 1. 滥发信息:不贩卖违规的…

浅谈配置元件之计数器

浅谈配置元件之计数器 JMeter 的计数器(Counter)是一个非常实用的配置元件,它允许你在测试计划中生成并递增一个序列号或计数器。这对于需要在请求中包含唯一标识符、序列号或是进行循环控制等场景非常有用。下面是一份详细的使用指南&#…

js每日十题(二)

1. 6.3 js第6题 以下结语句中,返回true的是? A !![] B 1’1’ C nullundefined D !!’’ 答: A选项,由于数组属于对象类型,所以空的数组转换成布尔型是true,前置!!,两次取…

BLE芯片DA145XX系列:配置SDK支持多连接

Dialog的DA145XX系列BLE芯片可以配置允许多连接,需要修改SDK,下面主要说明如何实现多连接配置。 1、新增宏定义:__EXCLUDE_ROM_APP_TASK__ 用于取消ROM里关于APP部分函数的调用,改为使用自定义的函数 2、部分宏定义(DA…

人工智能专业现代学徒制人才培养质量评价体系构建

一、 引 言 随着信息时代的发展,人工智能(AI)技术的飞跃进步对各行各业产生了深远影响,对专业人才的培养提出了更高要求。现代学徒制作为一种创新人才培养模式,通过校企合作,强调理论与实践的深度结合&…

Nexus3(nexus-3.19.1-01)忘记管理员密码

1、停服 ./nexus stop 2、进入OrientDB控制台: cd /apply/nexus3/nexus-3.42.0-01/lib/support/ java -jar ./nexus-orient-console.jar 3、在控制台执行: connect plocal:/apply/nexus3/sonatype-work/nexus3/db/security admin admin 4、重置密码…

海外仓代发系统选择标准:功能稳定和性价比高一个都不能少

对海外仓来说,一件代发基本都是比较核心的业务。不过这个核心业务现在的竞争确实也比较大,对海外仓企业而言,想在一件代发上做到让客户满意,还是需要多方面努力的。 一方面,需要自己的仓库管理模式足够标准化&#xf…

GAT1399协议分析(二)--注册流程分析

一、官方流程说明 二、官方流程解析 1 : 发起方向接收方发送注册 HTTP POST 请求/VIID/System/Register。 2: 接收方向发送方发送响应401 Unauthorized, 并在响应的消息头 WWW-Authenticate 字段中给 出适合发送方的认证机制和参数。 3: 发起方重新向接收方发送注册 HTTP POST…

设备维修管理系统

设备维修管理系统是一个集故障处理、巡检处理、设备管理、维修管理、系统管理以及手机客户端功能等六大功能于一体的信息化管理系统。该系统旨在实现设备管理的科学化、规范化和网络化,通过整合设备维修的各个环节和流程,提高设备维修的效率和质量&#…

Windows系统WDS+MDT网络启动自动化安装

Windows系统WDS+MDT网络启动自动化安装 适用于在Windows系统上WDS+MDT网络启动自动化安装 1. 安装准备 1.下载windows server 2019、windows 10 pro的ISO文件,并安装好windows server 2019 2.下载windows 10 2004版ADK及镜像包 1.1 安装平台 Windows 111.2. 软件信息 软件…

香橙派AI Pro开箱初体验

一、前言 上周很荣幸在CSDN上收到香橙派的测评邀请,这是一款专为边缘计算和嵌入式AI应用设计的高性能计算平台。因为之前一直做的是GPU Tensorrt部署相关工作,对边缘计算平台也不是很熟悉,花了一些时间摸索,今天我就简单与大家分…

【高阶数据结构(八)】跳表详解

💓博主CSDN主页:杭电码农-NEO💓   ⏩专栏分类:高阶数据结构专栏⏪   🚚代码仓库:NEO的学习日记🚚   🌹关注我🫵带你学习更多数据结构   🔝🔝 高阶数据结构 1. 前言2. 跳表的概…

Linux---用户及权限配置

文章目录 目录 文章目录 前言 一.基本概念 二.用户管理 创建用户 修改用户属性 用户组管理 用户授权 前言 用户在操作系统中是非常重要的,我们登录系统,访问共享文件夹等都需要用户进行验证。所以,掌握管理用户的知识非常有必要的 一.基…

靠偷也能赚大钱!

很多人搞钱总喜欢去钻牛角尖,喜欢去死磕,喜欢创新,却不知道就是赚钱的那群人其实都不屑于去创新,他们习惯了去抄,去做调整。 像我们的公众号爆文训练营,学员写出10w的文章,其实只来源一点&#…

【全开源】企业官网移动端自适应模板

📱企业官网移动端自适应模板:打造完美移动体验 在移动互联网时代,手机已经成为人们获取信息、沟通交流的重要工具。因此,企业官网移动端的建设显得尤为重要。为了满足不同移动设备用户的需求,一款优秀的企业官网移动端…

B站内核隔离技术的应用与实践之大数据混部篇

背景 随着B站大数据业务的高速发展,各类业务资源需求也随之快速增长。与此同时,大数据集群有效的资源利用率低于预期,究其原因主要有以下两点, 业务出于性能、稳定性考量会向平台申请过量的系统资源,导致平台不会调度更…