手写分布式存储系统v0.3版本

引言

承接 手写分布式存储系统v0.2版本 ，今天开始新的迭代开发。主要实现 服务发现功能

一、什么是服务发现

由于咱们的服务是分布式的，那从服务管理的角度来看肯定是要有一个机制来知道具体都有哪些实例可以提供服务。举个例子就是，张三家里在全国各地有不少火锅加盟店，那张三肯定要有一个方式知道这些火锅店加盟店的情况。例如上海又新开了一家加盟店，那么这家加盟店肯定要先通过某种方式联系张三，这样张三才能将配方以及食材供应给这家新的加盟店等等。

疑问

  1. 为什么不能通过域名映射的方式来做映射，客户端通过域名调用服务就好了为啥要专门做服务发现

    答：域名映射是对外提供服务时使用的，而我们的系统还有很多场景要做内部的服务管理，例如某个节点故障了，为了服务能够继续保证高可用，咱们的分布式存储系统就要将这个节点上所管理的数据分给其余的节点进行管理等，这个时候系统内部就需要明确知道各个分布式节点的信息。

二、服务发现设计

目前服务发现设计主要有以下几种

  • 配置化：将所有节点的信息写在服务配置里，像ES等
  • 使用能保证一致性的外部服务：如kafka、bookkeeper等，外部服务有zookeeper、etcd、consul等
  • 主从架构里，所有从节点启动时自动向主服务注册自己的节点信息：如hdfs、yarn等

为了方便扩展，同时咱们的存储服务能够设计成无主架构，因此采用第二种采用外部服务zookeeper来进行实现。实现的大致流程如下图
在这里插入图片描述

所有节点实例在启动时，都去zookeeper上创建属于自己的目录，在节点下线时就将自己对应的目录进行删除。这样只需要监听“服务发现目录”就能知道是否有节点上下线。同时为了避免服务故障时没能正确删除自己的目录，因此咱们采用zookeeper临时目录的功能，例如节点1启动并在zookeeper创建对应临时目录后，会每隔一小段时间向zookeeper发送请求也就是心跳，证明自己的服务还正常；如果zookeeper在等待一段时间后，没收到某个节点的心跳，就会默认这个服务已经挂了并将其对应的临时目录进行删除。

三、代码实现

由于把全部代码贴上来不太现实且不易于阅读，就将开发时核心测试样例贴上来供大家伙参考

package com.sherlock;

import org.apache.zookeeper.*;
import org.apache.zookeeper.data.ACL;
import org.apache.zookeeper.data.Stat;

import java.io.File;
import java.util.List;
import java.util.concurrent.CountDownLatch;

/**
 * author: shalock.lin
 * date: 2024/2/4
 * describe:
 */
public class BaseZookeeper implements Watcher {

    private static ZooKeeper zookeeper;

    public static void main(String[] args) throws Exception {
        BaseZookeeper baseZookeeper = new BaseZookeeper();
        baseZookeeper.connectZookeeper("127.0.0.1:2181");

        List<String> children = baseZookeeper.getChildren("/");
        System.out.println(children);
        AsyncCallback.StringCallback scb = new AsyncCallback.StringCallback() {
            @Override
            public void processResult(int rc, String path, Object ctx, String name) {
                System.out.println(rc);
            }
        };
        asyncCreateFullPathOptimistic(zookeeper,
                "/distributed-storage-system/available/shalocklindeMacBook-Pro.local", "testData".getBytes()
        ,ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT,scb, null);
        Thread.sleep(5000);
        List<String> afterChildren = baseZookeeper.getChildren("/");
        System.out.println(afterChildren);
    }
    /**
     * 超时时间
     */
    private static final int SESSION_TIME_OUT = 2000;
    private CountDownLatch countDownLatch = new CountDownLatch(1);
    @Override
    public void process(WatchedEvent event) {
        if (event.getState() == Event.KeeperState.SyncConnected) {
            System.out.println("Watch received event");
            countDownLatch.countDown();
        }
    }




    /**连接zookeeper
     * @param host
     * @throws Exception
     */
    public void connectZookeeper(String host) throws Exception{
        zookeeper = new ZooKeeper(host, SESSION_TIME_OUT, this);
        countDownLatch.await();
        System.out.println("zookeeper connection success");
    }

    /**
     * 获取路径下所有子节点
     * @param path
     * @return
     * @throws KeeperException
     * @throws InterruptedException
     */
    public List<String> getChildren(String path) throws KeeperException, InterruptedException{
        List<String> children = zookeeper.getChildren(path, false);
        return children;
    }

    /**
     * 获取节点上面的数据
     * @param path  路径
     * @return
     * @throws KeeperException
     * @throws InterruptedException
     */
    public String getData(String path) throws KeeperException, InterruptedException{
        byte[] data = zookeeper.getData(path, false, null);
        if (data == null) {
            return "";
        }
        return new String(data);
    }

    /**
     * 设置节点信息
     * @param path  路径
     * @param data  数据
     * @return
     * @throws KeeperException
     * @throws InterruptedException
     */
    public Stat setData(String path, String data) throws KeeperException, InterruptedException{
        Stat stat = zookeeper.setData(path, data.getBytes(), -1);
        return stat;
    }

    /**
     * 删除节点
     * @param path
     * @throws InterruptedException
     * @throws KeeperException
     */
    public void deleteNode(String path) throws InterruptedException, KeeperException{
        zookeeper.delete(path, -1);
    }


    /**
     * 获取某个路径下孩子的数量
     * @param path
     * @return
     * @throws KeeperException
     * @throws InterruptedException
     */
    public Integer getChildrenNum(String path) throws KeeperException, InterruptedException{
        int childenNum = zookeeper.getChildren(path, false).size();
        return childenNum;
    }
    /**
     * 关闭连接
     * @throws InterruptedException
     */
    public void closeConnection() throws InterruptedException{
        if (zookeeper != null) {
            zookeeper.close();
        }
    }

    public static void asyncCreateFullPathOptimistic(
            final ZooKeeper zk, final String originalPath, final byte[] data,
            final List<ACL> acl, final CreateMode createMode,
            final AsyncCallback.StringCallback callback, final Object ctx) {

        zk.create(originalPath, data, acl, createMode, new AsyncCallback.StringCallback() {
            @Override
            public void processResult(int rc, String path, Object ctx, String name) {

                if (rc != KeeperException.Code.NONODE.intValue()) {
                    callback.processResult(rc, path, ctx, name);
                    return;
                }

                // Since I got a nonode, it means that my parents don't exist
                // create mode is persistent since ephemeral nodes can't be
                // parents
                String parent = new File(originalPath).getParent().replace("\\", "/");
                asyncCreateFullPathOptimistic(zk, parent, new byte[0], acl,
                        CreateMode.PERSISTENT, new StringCallback() {

                            @Override
                            public void processResult(int rc, String path, Object ctx, String name) {
                                if (rc == KeeperException.Code.OK.intValue() || rc == KeeperException.Code.NODEEXISTS.intValue()) {
                                    // succeeded in creating the parent, now
                                    // create the original path
                                    asyncCreateFullPathOptimistic(zk, originalPath, data,
                                            acl, createMode, callback, ctx);
                                } else {
                                    callback.processResult(rc, path, ctx, name);
                                }
                            }
                        }, ctx);
            }
        }, ctx);
    }
}

四、功能演示

整个功能验证逻辑如下

  1. 服务启动前观测zookeeper对应目录下不存在数据
    在这里插入图片描述

  2. 启动服务，从控制台能看到服务正常启动
    在这里插入图片描述

  3. 再观测zookeeper对应目录下注册了服务的主机名
    在这里插入图片描述

  4. 通过打印输出，能看到存在该目录下的服务信息(当前存的是测试样例数据)
    在这里插入图片描述

  5. 停止服务，并持续观测一段时间，可以看到目录已被zookeeper删除
    在这里插入图片描述

五、总结

终于开发一点跟“分布式”相关的内容了，在使用zookeeper时踩了一点坑， 启动服务时报下述异常org.apache.zookeeper.KeeperException$SessionExpiredException: KeeperErrorCode = Session expired for，通过调试发现zookeeper服务端返回的信息非常有限无法得出有用的信息。结果网上的答案，排除了是防火墙、超时配置等问题后，最终发现是自己在调用zookeeper创建路径是直接传了完整的路径也就是多级目录/distributed-storage-system/available/shalocklindeMacBook-Pro.local导致的报错，原因是zookeeper不支持递归创建多级目录，只能参考bookkeeper开发工具类从代码层面递归去zookeeper创建路径。惭愧的是，已经接触zookeeper多年，并且也翻过它的代码，却连这个基本的点都不知晓。因此进一步验证上一篇的想法，就是很多东西真的要自己去实现一遍，否则只沉浸理论容易陷入一种“什么都懂”、“什么都是理所当然”的幻觉并自我感觉良好，但这很有可能会令我们的技术止步不前

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/371437.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

ConcurrentHashMap的使用以及源码分析

ConcurrentHashMap的使用以及源码分析

一、ConcurrentHashMap&#xff1f; 1.1 存储结构 ConcurrentHashMap是线程安全的HashMap ConcurrentHashMap在JDK1.8中是以CASsynchronized实现的线程安全 CAS&#xff1a;在没有hash冲突时&#xff08;Node要放在数组上时&#xff09; synchronized&#xff1a;在出现ha…
阅读更多...
Linux实验记录：使用BIND提供域名解析服务

Linux实验记录：使用BIND提供域名解析服务

前言&#xff1a; 本文是一篇关于Linux系统初学者的实验记录。 参考书籍&#xff1a;《Linux就该这么学》 实验环境&#xff1a; VmwareWorkStation 17——虚拟机软件 RedHatEnterpriseLinux[RHEL]8——红帽操作系统 备注&#xff1a; 为了降低用户访问网络资源的门槛&am…
阅读更多...
解决IntellIJ Idea内存不足

解决IntellIJ Idea内存不足

突然有一天我在IDEA打开两个项目时&#xff0c;发生了报错&#xff0c;说我内存不足&#xff0c;我这电脑内存16G怎么会内存不足。下面是我的解决方案。 IntelliJ IDEA 报告内存不足的原因通常与以下几个因素有关&#xff1a; 项目规模较大&#xff1a;如果您正在开发的项目非…
阅读更多...
【Python之Git使用教程001】Git简介与安装

【Python之Git使用教程001】Git简介与安装

一、简介 Git其实就是一个分布式版本的控制系统&#xff0c;在分布式版本的控制系统&#xff0c;大家都拥有一个完整的版本库&#xff0c;不需要联网也可以提交修改&#xff0c;所以中心服务器就显得不那么重要。由于大家都拥有一个完整的版本库&#xff0c;所有只需要把各自的…
阅读更多...
假期刷题打卡--Day23

假期刷题打卡--Day23

1、MT1190分数乘法 输入5组分数&#xff0c;对他们进行乘法运算&#xff0c;输出结果。不考虑分母为0等特殊情况。 格式 输入格式&#xff1a; 输入整型&#xff0c;每组一行&#xff0c;如样例所示。 输出格式&#xff1a; 输出计算结果实型&#xff0c;如样例所示。 样…
阅读更多...
Centos 7.5 安装 NVM 详细步骤

Centos 7.5 安装 NVM 详细步骤

NVM&#xff08;Node Version Manager&#xff09;是一个用于管理Node.js版本的工具&#xff0c;它可以让你轻松地在多个版本之间切换。NVM 通过下载和管理 Node.js 的多个版本&#xff0c;为用户提供了一种灵活的方式来使用不同版本的 Node.js。如果你需要更多关于NVM的信息&a…
阅读更多...
【MySQL进阶】事务原理

【MySQL进阶】事务原理

文章目录 事务机制基本介绍事务管理基本操作提交方式事务 ID 隔离级别四种级别加锁分析 原子特性实现方式实现原理undo log 隔离特性实现方式MVCC实现原理隐藏字段undo logRead View RC RR 持久特性实现方式redo log 一致特性 面试题MySQL的ACID特性分别是怎么实现的&#xff1…
阅读更多...
工信部颁发的《计算机视觉处理设计开发工程师》中级证书

工信部颁发的《计算机视觉处理设计开发工程师》中级证书

计算机视觉&#xff08;Computer Vision&#xff09;是一门研究如何让计算机能够理解和分析数字图像或视频的学科。简单来说&#xff0c;计算机视觉的目标是让计算机能够像人类一样对视觉信息进行处理和理解。为实现这个目标&#xff0c;计算机视觉结合了图像处理、机器学习、模…
阅读更多...
在java中获取excel的cell值的时候报错

在java中获取excel的cell值的时候报错

在获取cell的时候&#xff0c;通常会有报错类型不匹配的问题&#xff0c;这是因为你的cell中存储的数据类型和使用的方法不匹配的原因&#xff0c;假如说cell中存储了一个数字&#xff0c;但是使用的cell.getStringCellValue()获取值&#xff0c;就会有如下错误 java.lang.Ill…
阅读更多...
属性“xxxx”在类型“ArrayConstructor”上不存在。是否需要更改目标库? 请尝试将 “lib” 编译器选项更改为“es2015”或更高版本。

属性“xxxx”在类型“ArrayConstructor”上不存在。是否需要更改目标库? 请尝试将 “lib” 编译器选项更改为“es2015”或更高版本。

使用vscode编写vue&#xff0c;在使用elementUI时&#xff0c;发现代码中的form报错如下&#xff1a; 属性“form”在类型“ArrayConstructor”上不存在。是否需要更改目标库? 请尝试将 “lib” 编译器选项更改为“es2015”或更高版本。 解决方法&#xff1a; 打开jsconfig.…
阅读更多...
智能边缘计算网关实现高效数据处理与实时响应-天拓四方

智能边缘计算网关实现高效数据处理与实时响应-天拓四方

在当今时代&#xff0c;数据已经成为驱动业务决策的关键因素。然而&#xff0c;传统的数据处理方式往往存在延迟&#xff0c;无法满足实时性要求。此时&#xff0c;智能边缘计算网关应运而生&#xff0c;它能够将数据处理和分析的能力从中心服务器转移至设备边缘&#xff0c;大…
阅读更多...
【Linux】文件重定向与实现支持文件重定向的minishell

【Linux】文件重定向与实现支持文件重定向的minishell

目录 0.前提 ​编辑 1.重定向 1.1重定向的本质 1.2dup2 1.3模拟实现输出重定向 > 1.4模拟实现追加重定向 >> 1.5模拟实现输入重定向 < 2.让minishell支持重定向 0.前提 文件描述符的分配规则&#xff1a; 在文件描述符表里面&#xff0c;从小到大按照顺…
阅读更多...
windows10 powershell多个选项卡

windows10 powershell多个选项卡

您可以使用下载新的 Windows 终端&#xff0c;新的终端是可以开启多个选项卡的 Windows Terminal - Microsoft Appshttps://apps.microsoft.com/detail/9N0DX20HK701?hlen-us&glUS
阅读更多...
使用Pycharm安装Python的库

使用Pycharm安装Python的库

1.点击文件-----设置&#xff08;setting&#xff09; 2.找到Python解释器&#xff0c;点击加号 3.搜索你需要的库&#xff0c;安装
阅读更多...
利用k8s Infra 容器，解决pod网络故障注入的问题

利用k8s Infra 容器，解决pod网络故障注入的问题

目录 一、infra容器作用 二、pod网络故障注入问题 三、充分利用pod infra容器 一、infra容器的作用 我们知道&#xff0c;在kubernetes中&#xff0c;pod中容器的资源隔离主要通过namespace和cgroup来实现。那如果我们需要为pod中的容器共享某种资源应该怎么做。kubernetes …
阅读更多...
91.网游逆向分析与插件开发-游戏窗口化助手-游戏窗口化助手的UI设计

91.网游逆向分析与插件开发-游戏窗口化助手-游戏窗口化助手的UI设计

内容参考于&#xff1a;易道云信息技术研究院VIP课 上一个内容&#xff1a;项目需求与需求拆解-CSDN博客 码云地址&#xff08;游戏窗口化助手 分支&#xff09;&#xff1a;https://gitee.com/dye_your_fingers/sro_-ex.git 码云版本号&#xff1a;e512d44da1b7e6a8726b1be0…
阅读更多...
用GOGS搭建GIT服务器

用GOGS搭建GIT服务器

GOGS官网 Gogs: A painless self-hosted Git service 进入文件所在目录 cd /usr/local/develop 解压文件 tar -xvf gogs_0.13.0_linux_amd64.tar.gz 解压之后 进入gogs 目录 cd gogs 创建几个目录 userdata 存放用户数据 log文件存放进程日志 repositories 仓库根目…
阅读更多...
docker 网络模型

docker 网络模型

一、docker的网络模型分为四种 【1】Host(与宿主机共享一个网络)&#xff0c;宿主机的localhost 及 容器内的localhost 【2】Bridge(与宿主机共享一个局域网&#xff0c;有自己的网络&#xff1b;docker运行默认Bridge)&#xff1b;容器内localhost不是宿主机localhost 【3】…
阅读更多...
Scrapy：Python中强大的网络爬虫框架

Scrapy：Python中强大的网络爬虫框架

Scrapy&#xff1a;Python中强大的网络爬虫框架 在当今信息爆炸的时代&#xff0c;从互联网上获取数据已经成为许多应用程序的核心需求。Scrapy是一款基于Python的强大网络爬虫框架&#xff0c;它提供了一种灵活且高效的方式来提取、处理和存储互联网上的数据。本文将介绍Scrap…
阅读更多...
初始数据库

初始数据库

华子目录 什么是数据库DBMS&#xff08;数据库管理系统&#xff09;数据库系统和文件系统的区别文件系统数据库系统对比区别优缺点总结 常见数据库关系型数据库ACID原则关系型数据库的优缺点优点缺点 非关系型数据库存储方式常见的非关系型数据库非关系型数据库的优缺点优点缺点…
阅读更多...
最新文章

Copyright @ 2022~2023