分布式定时任务系列10：XXL-job源码分析之路由策略

 传送门

分布式定时任务系列1：XXL-job安装

分布式定时任务系列2：XXL-job使用

分布式定时任务系列3：任务执行引擎设计

分布式定时任务系列4：任务执行引擎设计续

分布式定时任务系列5：XXL-job中blockingQueue的应用

分布式定时任务系列6：XXL-job触发日志过大引发的CPU告警

分布式定时任务系列7：XXL-job源码分析之任务触发

分布式定时任务系列8：XXL-job源码分析之远程调用

 分布式定时任务系列9：XXL-job路由策略

 Java并发编程实战1：java中的阻塞队列

不忘初心

好几个月前就打算分析一下XXL-job路由策略的源码，所以有了XXL-job路由策略。不过当时偷懒，只从官网上把介绍贴出来了：

路由策略：当执行器集群部署时，提供丰富的路由策略，包括；

  1. FIRST（第一个）：固定选择第一个机器；
  2. LAST（最后一个）：固定选择最后一个机器；
  3. ROUND（轮询）：；
  4. RANDOM（随机）：随机选择在线的机器；
  5. CONSISTENT_HASH（一致性HASH）：每个任务按照Hash算法固定选择某一台机器，且所有任务均匀散列在不同机器上。
  6. LEAST_FREQUENTLY_USED（最不经常使用）：使用频率最低的机器优先被选举；
  7. LEAST_RECENTLY_USED（最近最久未使用）：最久未使用的机器优先被选举；
  8. FAILOVER（故障转移）：按照顺序依次进行心跳检测，第一个心跳检测成功的机器选定为目标执行器并发起调度；
  9. BUSYOVER（忙碌转移）：按照顺序依次进行空闲检测，第一个空闲检测成功的机器选定为目标执行器并发起调度；
  10. SHARDING_BROADCAST(分片广播)：广播触发对应集群中所有机器执行一次任务，同时系统自动传递分片参数；可根据分片参数开发分片任务；

再谈前置条件

一般提到路由，可能更多的是理解为对请求做转发时的路由匹配：比如nginx的Location路由，或者SpringCloud组件的Gateway网关上请求Predicate的URL路由匹配。

不过这里说的路由，其实指的在集群条件下对执行器进行的路由选择，是一种负载均衡策略。所以这里假设了一个场景就是，在分布式环境下，有多个执行器组成的集群。这里回顾一下xxl-rpc部署示意图：

  •  这里指的路由策略是执行器集群部署
  • 关于调度器集群部署不在此范围暂不讨论，
  • 后面会单开一节具体讨论如何集群部署，达到高性能、高可用目的！

路由策略

这里继续引用XXL-job源码分析之任务触发里面关于代码执行的流程

可以看到路由策略的执行代码类路径在：com.xxl.job.admin.core.trigger.XxlJobTrigger ，方法路径在：com.xxl.job.admin.core.trigger.XxlJobTrigger#processTrigger：

executorRouteStrategyEnum.getRouter().route(triggerParam, group.getRegistryList());

策略定义

XXL-job定义了策略枚举：

public enum ExecutorRouteStrategyEnum {

    /** FIRST（第一个）：固定选择第一个机器； */
    FIRST(I18nUtil.getString("jobconf_route_first"), new ExecutorRouteFirst()),
    /** （最后一个）：固定选择最后一个机器； */
    LAST(I18nUtil.getString("jobconf_route_last"), new ExecutorRouteLast()),
    /** （轮询）：； */
    ROUND(I18nUtil.getString("jobconf_route_round"), new ExecutorRouteRound()),
    /** （随机）：随机选择在线的机器； */
    RANDOM(I18nUtil.getString("jobconf_route_random"), new ExecutorRouteRandom()),
    /** （一致性HASH）：每个任务按照Hash算法固定选择某一台机器，且所有任务均匀散列在不同机器上。 */
    CONSISTENT_HASH(I18nUtil.getString("jobconf_route_consistenthash"), new ExecutorRouteConsistentHash()),
    /** （最不经常使用）：使用频率最低的机器优先被选举； */
    LEAST_FREQUENTLY_USED(I18nUtil.getString("jobconf_route_lfu"), new ExecutorRouteLFU()),
    /** （最近最久未使用）：最久未使用的机器优先被选举； */
    LEAST_RECENTLY_USED(I18nUtil.getString("jobconf_route_lru"), new ExecutorRouteLRU()),
    /** （故障转移）：按照顺序依次进行心跳检测，第一个心跳检测成功的机器选定为目标执行器并发起调度； */
    FAILOVER(I18nUtil.getString("jobconf_route_failover"), new ExecutorRouteFailover()),
    /** （忙碌转移）：按照顺序依次进行空闲检测，第一个空闲检测成功的机器选定为目标执行器并发起调度； */
    BUSYOVER(I18nUtil.getString("jobconf_route_busyover"), new ExecutorRouteBusyover()),
    /** (分片广播)：广播触发对应集群中所有机器执行一次任务，同时系统自动传递分片参数；可根据分片参数开发分片任务； */
    SHARDING_BROADCAST(I18nUtil.getString("jobconf_route_shard"), null);

    ExecutorRouteStrategyEnum(String title, ExecutorRouter router) {
        this.title = title;
        this.router = router;
    }

    private String title;
    private ExecutorRouter router;

    public String getTitle() {
        return title;
    }
    public ExecutorRouter getRouter() {
        return router;
    }

    public static ExecutorRouteStrategyEnum match(String name, ExecutorRouteStrategyEnum defaultItem){
        if (name != null) {
            for (ExecutorRouteStrategyEnum item: ExecutorRouteStrategyEnum.values()) {
                if (item.name().equals(name)) {
                    return item;
                }
            }
        }
        return defaultItem;
    }

}

其中枚举里面有一个属性router，真正的路由策略实现都在这个接口：com.xxl.job.admin.core.route.ExecutorRouter。

路由接口

看一看路由接口定义代码：

public abstract class ExecutorRouter {
    protected static Logger logger = LoggerFactory.getLogger(ExecutorRouter.class);

    /**
     * route address
     *
     * @param addressList
     * @return  ReturnT.content=address
     */
    public abstract ReturnT<String> route(TriggerParam triggerParam, List<String> addressList);

}

而上面的各种策略都实现了这个接口：

这种是典型的策略模式应用，这里也可以看出好的代码通过设计模式可以很方便的做到扩展！ 

路由策略详解

对于这些路由策略实现，从简单到复杂一个个的来解析。

FIRST（第一个）

此策略的定义是：固定选择第一个机器！意思就是不论执行器有多少个，始终选择执行器列表的第一个进行任务执行。

这个策略的实现也相当简单：

public class ExecutorRouteFirst extends ExecutorRouter {

    @Override
    public ReturnT<String> route(TriggerParam triggerParam, List<String> addressList){
        return new ReturnT<String>(addressList.get(0));
    }

}

这个代码里面就是固定从addressList里面get第一个执行器

LAST（最后一个）

此策略的定义是：固定选择最后一个机器！意思就是不论执行器有多少个，始终选择执行器列表的最后一个进行任务执行。

这个策略的实现也相当简单：

public class ExecutorRouteLast extends ExecutorRouter {

    @Override
    public ReturnT<String> route(TriggerParam triggerParam, List<String> addressList) {
        return new ReturnT<String>(addressList.get(addressList.size()-1));
    }

}

 这个代码里面就是固定从addressList里面get最后一个个执行器

ROUND（轮询）

此策略的定义是：意思就是不论执行器有多少个，从执行器列表逐个选择进行任务执行。

这个策略的实现如下：

public class ExecutorRouteRound extends ExecutorRouter {

    private static ConcurrentMap<Integer, AtomicInteger> routeCountEachJob = new ConcurrentHashMap<>();
    private static long CACHE_VALID_TIME = 0;

    private static int count(int jobId) {
        // cache clear
        if (System.currentTimeMillis() > CACHE_VALID_TIME) {
            routeCountEachJob.clear();
            CACHE_VALID_TIME = System.currentTimeMillis() + 1000*60*60*24;
        }

        AtomicInteger count = routeCountEachJob.get(jobId);
        if (count == null || count.get() > 1000000) {
            // 初始化时主动Random一次，缓解首次压力
            count = new AtomicInteger(new Random().nextInt(100));
        } else {
            // count++
            count.addAndGet(1);
        }
        routeCountEachJob.put(jobId, count);
        return count.get();
    }

    @Override
    public ReturnT<String> route(TriggerParam triggerParam, List<String> addressList) {
        String address = addressList.get(count(triggerParam.getJobId())%addressList.size());
        return new ReturnT<String>(address);
    }

}

这个代码稍微复杂一点，为了实现轮询的效果在内存中声明了一个Map来来进行计数，其中的key为任务jobId，value为每个任务的调用次数：

  • 声明一个Map类型字段routeCountEachJob来进行每个任务的调用次数计数，其中为ConcurrentMap、AtomicInteger类型的原因是防止并发
  • count(int jobId)方法的作用对当前触发的任务进行计数，这里AtomicInteger原子类对每次执行后就+1
  • 每24小时后重新开始计数
  • 然后根据当前任务（jobId）的调用次数从addressList里面选择执行器：即count % 执行器个数

这样文字可能理解起来还是不太直接，其实就是类似如下的示例：

RANDOM（随机）

此策略的定义是：意思就是不论执行器有多少个，从执行器列表随机选择在线的机器。

这个策略的实现也比较直观：

public class ExecutorRouteRandom extends ExecutorRouter {

    private static Random localRandom = new Random();

    @Override
    public ReturnT<String> route(TriggerParam triggerParam, List<String> addressList) {
        String address = addressList.get(localRandom.nextInt(addressList.size()));
        return new ReturnT<String>(address);
    }

}

这个代码里面就是随机从addressList里面get一个执行器：

localRandom.nextInt(addressList.size())

LEAST_FREQUENTLY_USED（最不经常使用） 

此策略的定义是：意思就是不论执行器有多少个，使用频率最低的机器优先被选择出来进行任务执行。

这个策略的实现如下：

public class ExecutorRouteLFU extends ExecutorRouter {

    // 任务调用计算器,其中key为jobId-任务ID，value为HashMap：记录每个实例的调用次数
    private static ConcurrentMap<Integer, HashMap<String, Integer>> jobLfuMap = new ConcurrentHashMap<Integer, HashMap<String, Integer>>();
    private static long CACHE_VALID_TIME = 0;

    public String route(int jobId, List<String> addressList) {

        // 缓存1天（24小时），然后重新计数
        // cache clear
        if (System.currentTimeMillis() > CACHE_VALID_TIME) {
            jobLfuMap.clear();
            CACHE_VALID_TIME = System.currentTimeMillis() + 1000*60*60*24;
        }

        // 初始化
        // lfu item init
        HashMap<String, Integer> lfuItemMap = jobLfuMap.get(jobId);     // Key排序可以用TreeMap+构造入参Compare；Value排序暂时只能通过ArrayList；
        if (lfuItemMap == null) {
            lfuItemMap = new HashMap<String, Integer>();
            jobLfuMap.putIfAbsent(jobId, lfuItemMap);   // 避免重复覆盖
        }

        // put new
        for (String address: addressList) {
            if (!lfuItemMap.containsKey(address) || lfuItemMap.get(address) >1000000 ) {
                lfuItemMap.put(address, new Random().nextInt(addressList.size()));  // 初始化时主动Random一次，缓解首次压力
            }
        }
        // 这里有一个删除动作，其实是因为实例可能动态上下线，对于下线的节点需要排除
        // remove old
        List<String> delKeys = new ArrayList<>();
        for (String existKey: lfuItemMap.keySet()) {
            if (!addressList.contains(existKey)) {
                delKeys.add(existKey);
            }
        }
        // 移除下线节点，尽量防止调度到下线的节点上导致失败
        if (delKeys.size() > 0) {
            for (String delKey: delKeys) {
                lfuItemMap.remove(delKey);
            }
        }
       
        // 进行调用次数排序
        // load least userd count address
        List<Map.Entry<String, Integer>> lfuItemList = new ArrayList<Map.Entry<String, Integer>>(lfuItemMap.entrySet());
        Collections.sort(lfuItemList, new Comparator<Map.Entry<String, Integer>>() {
            @Override
            public int compare(Map.Entry<String, Integer> o1, Map.Entry<String, Integer> o2) {
                return o1.getValue().compareTo(o2.getValue());
            }
        });

        // 调用次数+1
        Map.Entry<String, Integer> addressItem = lfuItemList.get(0);
        String minAddress = addressItem.getKey();
        addressItem.setValue(addressItem.getValue() + 1);

        return addressItem.getKey();
    }

    @Override
    public ReturnT<String> route(TriggerParam triggerParam, List<String> addressList) {
        String address = route(triggerParam.getJobId(), addressList);
        return new ReturnT<String>(address);
    }

}

这个代码比较复杂一点， 不过如果对比缓存的淘汰策略的话，这个其实就是所谓的"LFU"：

LFU（The Least Frequently Used）最近不多使用算法，与LRU的区别在于LRU是以时间衡量，LFU是以时间段内的次数

  • 算法：若是一个数据在必定时间内被访问的次数很低，那么被认为在将来被访问的几率也是最低的，当规定空间用尽且需要放入新数据的时候，会优先淘汰时间段内访问次数最低的数据。

  • 优势：LFU也能够有效的保护缓存，相对场景来说，比LRU有更好的缓存命中率。由于是以次数为基准，因此更加准确，天然能有效的保证和提升命中率。

  • 缺点：由于LFU须要记录数据的访问频率，所以需要额外的空间；当访问模式改变的时候，算法命中率会急剧降低，这也是他最大弊端

所以这个策略里面为了实现LFU的效果在内存中声明了一个Map来来进行计数，其中的key为任务jobId，value为每个任务的调用次数：

  • 声明一个Map类型字段jobLfuMap来进行每个任务的调用次数计数，其中为ConcurrentMap原因是防止并发
  • jobLfuMap的value是一个HashMap<String, String>：其中key为任务的实例地址address，value为调用次数。这样设计的目的是为了通过这样的数据结构来达到，记录每一个任务jobId在每一个实例上的调用次数！与ROUND的区别是：ROUND记录的每个任务jobId的所有调用数次，LFU多了一个维度
  • 通过上面的这种数据结构，最终可以对每个实例的调用次数进行排序：所以要依赖一个ArrayList来排序，最终选取调用次数最少的实例来作为任务执行目标机器！

LEAST_RECENTLY_USED（最近最久未使用）

此策略的定义是：意思就是不论执行器有多少个，最久未使用的机器优先被选举。

这个策略的实现如下：


public class ExecutorRouteLRU extends ExecutorRouter {

    private static ConcurrentMap<Integer, LinkedHashMap<String, String>> jobLRUMap = new ConcurrentHashMap<Integer, LinkedHashMap<String, String>>();
    private static long CACHE_VALID_TIME = 0;

    public String route(int jobId, List<String> addressList) {

        // 缓存1天（24小时），然后重新计数
        // cache clear
        if (System.currentTimeMillis() > CACHE_VALID_TIME) {
            jobLRUMap.clear();
            CACHE_VALID_TIME = System.currentTimeMillis() + 1000*60*60*24;
        }

        // init lru
        LinkedHashMap<String, String> lruItem = jobLRUMap.get(jobId);
        if (lruItem == null) {
            /**
             * LinkedHashMap
             *      a、accessOrder：true=访问顺序排序（get/put时排序）；false=插入顺序排期；
             *      b、removeEldestEntry：新增元素时将会调用，返回true时会删除最老元素；可封装LinkedHashMap并重写该方法，比如定义最大容量，超出是返回true即可实现固定长度的LRU算法；
             */
            lruItem = new LinkedHashMap<String, String>(16, 0.75f, true);
            jobLRUMap.putIfAbsent(jobId, lruItem);
        }
        // 新加入的节点处理：添加到lru中进行统计
        // put new
        for (String address: addressList) {
            if (!lruItem.containsKey(address)) {
                lruItem.put(address, address);
            }
        }
         // 这里有一个删除动作，其实是因为实例可能动态上下线，对于下线的节点需要排除
        // remove old
        List<String> delKeys = new ArrayList<>();
        for (String existKey: lruItem.keySet()) {
            if (!addressList.contains(existKey)) {
                delKeys.add(existKey);
            }
        }
        if (delKeys.size() > 0) {
            for (String delKey: delKeys) {
                lruItem.remove(delKey);
            }
        }
        // 排序最后一个节点
        // load
        String eldestKey = lruItem.entrySet().iterator().next().getKey();
        String eldestValue = lruItem.get(eldestKey);
        return eldestValue;
    }

    @Override
    public ReturnT<String> route(TriggerParam triggerParam, List<String> addressList) {
        String address = route(triggerParam.getJobId(), addressList);
        return new ReturnT<String>(address);
    }

}

 这个代码比较复杂一点， 不过如果对比缓存的淘汰策略的话，这个其实就是所谓的"LRU"：

LRU（The Least Recently Used）最近最久未使用算法。相比于FIFO算法智能些。

  • 算法：若是一个数据最近不多被访问到，那么被认为在将来被访问的几率也是最低的，当规定空间用尽且需要放入新数据的时候，会优先淘汰最久未被访问的数据。

  • 优势：LRU能够有效的对访问比较频繁的数据进行保护，也就是针对热点数据的命中率提升有明显的效果。

缺点：对于周期性、偶发性的访问数据，有大几率可能形成缓存污染，也就是置换出去了热点数据，把这些偶发性数据留下了，从而致使LRU的数据命中率急剧降低。

所以这个策略里面为了实现LFU的效果在内存中声明了一个Map来来进行计数，其中的key为任务jobId，value为每个任务的调用次数： 

  • 声明一个Map类型字段jobLRUMap来进行每个任务的调用次数计数，其中为ConcurrentMap原因是防止并发
  • jobLRUMap的value是一个LinkedHashMap<String, String>：其中key为任务的实例地址address，value为address。这里比较巧妙的是直接利用了LinkedHashMap的排序能力
   /**
     * Constructs an empty <tt>LinkedHashMap</tt> instance with the
     * specified initial capacity, load factor and ordering mode.
     *
     * @param  initialCapacity the initial capacity
     * @param  loadFactor      the load factor
     * @param  accessOrder     the ordering mode - <tt>true</tt> for
     *         access-order, <tt>false</tt> for insertion-order
     * @throws IllegalArgumentException if the initial capacity is negative
     *         or the load factor is nonpositive
     */
    public LinkedHashMap(int initialCapacity,
                         float loadFactor,
                         boolean accessOrder) {
        super(initialCapacity, loadFactor);
        this.accessOrder = accessOrder;
    }
LinkedHashMap的排序模式

a、accessOrder：true=访问顺序排序（get/put时排序）；false=插入顺序排期；

LinkedHashMap中'accessOrder‘字段的用途是什么？

LinkedHashMap是Java中的一个类，它是HashMap的一个子类，具有HashMap的所有特性，并且还保持了插入顺序或访问顺序的特性。

'accessOrder'字段是LinkedHashMap类中的一个布尔类型的属性，用于指定迭代顺序是否基于访问顺序。当accessOrder为true时，表示迭代顺序将基于最近访问顺序，即最近访问的元素将排在迭代顺序的末尾；当accessOrder为false时，表示迭代顺序将基于插入顺序，即元素将按照插入的顺序进行迭代。

使用accessOrder字段可以方便地实现LRU（Least Recently Used，最近最少使用）缓存淘汰算法。通过将accessOrder设置为true，当访问某个元素时，该元素会被移到链表的末尾，这样在需要淘汰元素时，只需要移除链表头部的元素即可。

LinkedHashMap的应用场景包括但不限于：

  1. 缓存系统：通过设置accessOrder为true，可以实现基于访问顺序的缓存淘汰策略。
  2. LRU缓存：通过继承LinkedHashMap并重写removeEldestEntry方法，可以实现固定大小的LRU缓存。
  3. 记录访问顺序：当需要按照访问顺序记录某些数据时，可以使用LinkedHashMap。

FAILOVER（故障转移）

此策略的定义是：按照顺序依次进行心跳检测，第一个心跳检测成功的机器选定为目标执行器并发起调度。

这个策略的实现如下：

public class ExecutorRouteFailover extends ExecutorRouter {

    @Override
    public ReturnT<String> route(TriggerParam triggerParam, List<String> addressList) {

        StringBuffer beatResultSB = new StringBuffer();
        for (String address : addressList) {
            // beat
            ReturnT<String> beatResult = null;
            try {
                ExecutorBiz executorBiz = XxlJobScheduler.getExecutorBiz(address);
                beatResult = executorBiz.beat();
            } catch (Exception e) {
                logger.error(e.getMessage(), e);
                beatResult = new ReturnT<String>(ReturnT.FAIL_CODE, ""+e );
            }
            beatResultSB.append( (beatResultSB.length()>0)?"<br><br>":"")
                    .append(I18nUtil.getString("jobconf_beat") + "：")
                    .append("<br>address：").append(address)
                    .append("<br>code：").append(beatResult.getCode())
                    .append("<br>msg：").append(beatResult.getMsg());

            // beat success
            if (beatResult.getCode() == ReturnT.SUCCESS_CODE) {

                beatResult.setMsg(beatResultSB.toString());
                beatResult.setContent(address);
                return beatResult;
            }
        }
        return new ReturnT<String>(ReturnT.FAIL_CODE, beatResultSB.toString());

    }
}

这个策略的实现也比较直观，根据注册的实例列表依次发起心跳检测，如果成功，则选取为执行节点！代码并不复杂，不过可能对FAILOVER（故障转移）这个术语所震撼，觉得很高大上。

对于FAILOVER这种故障处理策略来说，不同的框架或者场景实现不同，难易程度也不同，而且也不是所有的系统/接口适合故障转移。比如对一个有超时机制的微服务架构来说：

如果链路比较多，一个业务请求需要经过A->B->C3个服务，每个服务有2个节点。假设在A服务调用B的时候，存在网络问题，A的实例A1失败，这里转移到A2成功；A->B的时候，B1失败，B2成功；同理B->C，C1失败，C2成功，虽然最终请求成功，但是整体耗时会增大一倍，早已经进过了网关（整体）响应时长导致timeout了，所以有些专题的FAILOVER并不一定是有益甚至有害的（重试也增加了服务调用次数，服务的压力）。关于这一块会后面单独开一节服务故障模式的讨论

BUSYOVER（忙碌转移）

此策略的定义是：按照顺序依次进行空闲检测，第一个空闲检测成功的机器选定为目标执行器并发起调度。

这个策略的实现如下：

public class ExecutorRouteBusyover extends ExecutorRouter {

    @Override
    public ReturnT<String> route(TriggerParam triggerParam, List<String> addressList) {
        StringBuffer idleBeatResultSB = new StringBuffer();
        for (String address : addressList) {
            // beat
            ReturnT<String> idleBeatResult = null;
            try {
                ExecutorBiz executorBiz = XxlJobScheduler.getExecutorBiz(address);
                idleBeatResult = executorBiz.idleBeat(new IdleBeatParam(triggerParam.getJobId()));
            } catch (Exception e) {
                logger.error(e.getMessage(), e);
                idleBeatResult = new ReturnT<String>(ReturnT.FAIL_CODE, ""+e );
            }
            idleBeatResultSB.append( (idleBeatResultSB.length()>0)?"<br><br>":"")
                    .append(I18nUtil.getString("jobconf_idleBeat") + "：")
                    .append("<br>address：").append(address)
                    .append("<br>code：").append(idleBeatResult.getCode())
                    .append("<br>msg：").append(idleBeatResult.getMsg());

            // beat success
            if (idleBeatResult.getCode() == ReturnT.SUCCESS_CODE) {
                idleBeatResult.setMsg(idleBeatResultSB.toString());
                idleBeatResult.setContent(address);
                return idleBeatResult;
            }
        }

        return new ReturnT<String>(ReturnT.FAIL_CODE, idleBeatResultSB.toString());
    }

}

 这个策略的实现也比较直观，根据注册的实例列表依次发起空闲检测，如果成功，则选取为执行节点！代码并不复杂，不过可能需要联合起前面XXL-rpc的章节来配合理解

CONSISTENT_HASH（一致性HASH）

此策略的定义是：每个任务按照Hash算法固定选择某一台机器，且所有任务均匀散列在不同机器上。

这个策略的实现如下：

/**
 * 分组下机器地址相同，不同JOB均匀散列在不同机器上，保证分组下机器分配JOB平均；且每个JOB固定调度其中一台机器；
 *      a、virtual node：解决不均衡问题
 *      b、hash method replace hashCode：String的hashCode可能重复，需要进一步扩大hashCode的取值范围
 * Created by xuxueli on 17/3/10.
 */
public class ExecutorRouteConsistentHash extends ExecutorRouter {

    private static int VIRTUAL_NODE_NUM = 100;

    /**
     * get hash code on 2^32 ring (md5散列的方式计算hash值)
     * @param key
     * @return
     */
    private static long hash(String key) {

        // md5 byte
        MessageDigest md5;
        try {
            md5 = MessageDigest.getInstance("MD5");
        } catch (NoSuchAlgorithmException e) {
            throw new RuntimeException("MD5 not supported", e);
        }
        md5.reset();
        byte[] keyBytes = null;
        try {
            keyBytes = key.getBytes("UTF-8");
        } catch (UnsupportedEncodingException e) {
            throw new RuntimeException("Unknown string :" + key, e);
        }

        md5.update(keyBytes);
        byte[] digest = md5.digest();

        // hash code, Truncate to 32-bits
        long hashCode = ((long) (digest[3] & 0xFF) << 24)
                | ((long) (digest[2] & 0xFF) << 16)
                | ((long) (digest[1] & 0xFF) << 8)
                | (digest[0] & 0xFF);

        long truncateHashCode = hashCode & 0xffffffffL;
        return truncateHashCode;
    }

    public String hashJob(int jobId, List<String> addressList) {

        // ------A1------A2-------A3------
        // -----------J1------------------
        TreeMap<Long, String> addressRing = new TreeMap<Long, String>();
        for (String address: addressList) {
            for (int i = 0; i < VIRTUAL_NODE_NUM; i++) {
                long addressHash = hash("SHARD-" + address + "-NODE-" + i);
                addressRing.put(addressHash, address);
            }
        }

        long jobHash = hash(String.valueOf(jobId));
        SortedMap<Long, String> lastRing = addressRing.tailMap(jobHash);
        if (!lastRing.isEmpty()) {
            return lastRing.get(lastRing.firstKey());
        }
        return addressRing.firstEntry().getValue();
    }

    @Override
    public ReturnT<String> route(TriggerParam triggerParam, List<String> addressList) {
        String address = hashJob(triggerParam.getJobId(), addressList);
        return new ReturnT<String>(address);
    }

}

 这个策略的实现也比较直观，这里就不展开讨论了，有兴趣的可以在评论区晒出理解分享给大家！

路由策略的选择

上面介绍了各种路由策略的实现，关于这里面的路由策略的选择就不过多讨论了，建议默认情况采用下轮询！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/735717.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【深度学习驱动流体力学】计算流体力学算例剖析与实现

【深度学习驱动流体力学】计算流体力学算例剖析与实现

目录 一.求解器分类汇总压缩性流动求解器（Compressible Flow Solvers）：不可压缩流动求解器（Incompressible Flow Solvers）：多相流动求解器（Multiphase Flow Solvers）：热传递求解器（Heat Transfer Solvers）：其他特殊求解器：其他常见求解器：求解器分类：二.求解器案…
阅读更多...
黑马苍穹外卖6 清理redis缓存+Spring Cache+购物车的增删改查

黑马苍穹外卖6 清理redis缓存+Spring Cache+购物车的增删改查

缓存菜品 后端服务都去查询数据库&#xff0c;对数据库访问压力增大。 解决方式&#xff1a;使用redis来缓存菜品&#xff0c;用内存比磁盘性能更高。 key :dish_分类id String key “dish_” categoryId; RestController("userDishController") RequestMapping…
阅读更多...
Android Studio 安卓手机上实现火柴人动画（Java源代码—Python）

Android Studio 安卓手机上实现火柴人动画（Java源代码—Python）

android:layout_marginLeft“88dp” android:layout_marginTop“244dp” android:text“Python” android:textSize“25sp” app:layout_constraintStart_toStartOf“parent” app:layout_constraintTop_toTopOf“parent” /> </androidx.constraintlayout.widget.…
阅读更多...
【尚庭公寓SpringBoot + Vue 项目实战】看房预约管理（十三）

【尚庭公寓SpringBoot + Vue 项目实战】看房预约管理（十三）

【尚庭公寓SpringBoot Vue 项目实战】看房预约管理&#xff08;十三&#xff09; 文章目录 【尚庭公寓SpringBoot Vue 项目实战】看房预约管理&#xff08;十三&#xff09;1、业务说明2、代码开发2.1、根据条件分页查询预约信息2.2、根据ID更新预约状态 1、业务说明 看房预约…
阅读更多...
Vue77-编程式路由

Vue77-编程式路由

一、需求 不写<router-link>实行路由的跳转。 因为<router-link>的本质是<a>&#xff0c;但是&#xff0c;有时&#xff0c;导航不一定是a标签&#xff01;或者&#xff0c;有时需要等一段时间&#xff0c;页面才跳转。 二、代码实现 三、小结
阅读更多...
macbook配置adb环境和用adb操作安卓手机

macbook配置adb环境和用adb操作安卓手机

&#xff08;参考&#xff1a;ADB工具包的安装与使用_adb工具箱-CSDN博客&#xff09; 第一步&#xff1a;从Android开发者网站下载Android SDK&#xff08;软件开发工具包&#xff09;。下载地址为&#xff1a; 第二步&#xff1a;解压下载的SDK压缩文件到某个目录中。 进入解…
阅读更多...
ubuntu 18.04 server源码编译安装freeswitch 1.10.11——筑梦之路

ubuntu 18.04 server源码编译安装freeswitch 1.10.11——筑梦之路

前言 这里主要编译支持语音通话、视频通话、短信、webrtc功能的PBX。 安装编译工具包和依赖包 sudo apt-get updatesudo apt-get install -y autoconf git libtool g zlib1g-dev libjpeg-dev libcurl4-openssl-dev libspeex-dev libldns-dev libedit-dev libssl-dev pkg-con…
阅读更多...
pywebview打包本地的html

pywebview打包本地的html

51.安装 pip install pywebview 2.新建start.py import webview import timeclass API:def say_hello(self, name):time.sleep(2) # 模拟一个耗时操作return fHello, {name}!def main():api API()webview.create_window(pywebview Example, index.html, js_apiapi)webview.…
阅读更多...
Java 集合框架详谈及代码分析（Iterable-＞Collection-＞List、Set-＞各接口实现类、Map-＞各接口实现类）

Java 集合框架详谈及代码分析（Iterable-＞Collection-＞List、Set-＞各接口实现类、Map-＞各接口实现类）

目录 Java 集合框架详谈及代码分析&#xff08;Iterable->Collection->List、Set->各接口实现类、Map->各接口实现类&#xff09;1、集合概述1-1&#xff1a;Java 集合概述1-2&#xff1a;List、Set、Map 三者的区别&#xff1f;1-3&#xff1a;集合框架底层数据结…
阅读更多...
卡尔曼滤波-剔除异常值的影响

卡尔曼滤波-剔除异常值的影响

二郎在看论文的时候&#xff0c;发现了一个针对卡尔曼滤波过程中&#xff0c;测量向量出现误差导致滤波发散的处理方法。 该方法也可以扩展到其他问题中使用&#xff0c;所以二郎在这里写一下。 论文原文&#xff1a;https://www.mdpi.com/1424-8220/20/17/4710 论文翻译对应…
阅读更多...
linux使用docker部署kafka集群

linux使用docker部署kafka集群

1、拉取kafka docker pull wurstmeister/kafka docker pull wurstmeister/zookeeper 2、创建网络 docker network create app-kafka 3、启动zookeeper docker run -d \--name zookeeper \-p 2181:2181 \--network app-kafka \--restart always \wurstmeister/zookeeper …
阅读更多...
电磁兼容试验数据的单位转换 笔记

电磁兼容试验数据的单位转换 笔记

1. 单位dB 的介绍 分贝&#xff08;decibel&#xff0c;/dɛsɪ.bɛl/&#xff09;是量度两个相同单位之数量比例的计量单位&#xff0c;主要用于度量声音强度&#xff0c;常用dB表示。 分贝是较常用的计量单位。可表示为&#xff1a; 1. 表示功率量之比的一种单位&#xff0c…
阅读更多...
新手教学系列——“笑看”单元测试（pytest）

新手教学系列——“笑看”单元测试（pytest）

探索单元测试的必要性 你是否曾经思考过，当前的业务场景是否真的需要单元测试？我们每个人负责的模块是否也需要单元测试？什么阻碍了我们进行单元测试呢？时间紧，任务重，还要写测试？这些都是我们在开发过程中常见的问题。假设我们有一个计划开发一周的项目，让我们看看有…
阅读更多...
Jenkins nginx自动化构建前端vue项目

Jenkins nginx自动化构建前端vue项目

在现代的Web开发中&#xff0c;Vue.js已经成为一种非常流行的JavaScript框架。为了更高效地管理和部署Vue.js项目&#xff0c;使用自动化构建工具是至关重要的。Jenkins作为一款强大的持续集成和持续部署&#xff08;CI/CD&#xff09;工具&#xff0c;为我们提供了一种便捷的方…
阅读更多...
控制下属很简单，用好这3大管人绝招，再跳的刺头也不敢造次

控制下属很简单，用好这3大管人绝招，再跳的刺头也不敢造次

控制下属很简单&#xff0c;用好这3大管人绝招&#xff0c;再跳的刺头也不敢造次 第一招&#xff1a;给压力 很多团队中的员工都是自己不带脑子工作&#xff0c;遇事就喜欢请示领导&#xff0c;让领导拿方案、拿决策。 还有一些人&#xff0c;推一下&#xff0c;他才动一下&a…
阅读更多...
【数据库】七、数据库安全与保护

【数据库】七、数据库安全与保护

七、数据库安全与保护 文章目录 七、数据库安全与保护安全性访问控制数据库安全性控制用户标识和鉴别存取控制自主存取控制(DAC)存取控制方法&#xff1a;授权与回收GRANT授权REVOKE回收 强制存取控制(MAC) MySQL的安全设置用户管理1.创建登录用户2.修改用户密码3.修改用户名4.…
阅读更多...
L02_并发编程知识图谱

L02_并发编程知识图谱

这些知识点你都掌握了吗&#xff1f;大家可以对着问题看下自己掌握程度如何&#xff1f;对于没掌握的知识点&#xff0c;大家自行网上搜索&#xff0c;都会有对应答案&#xff0c;本文不做知识点详细说明&#xff0c;只做简要文字或图示引导。 并发理论 并发编程Bug源头 为了…
阅读更多...
Ant Design Vue中的Table和Tag的基础应用

Ant Design Vue中的Table和Tag的基础应用

目录 一、Table表格 1.1、显示表格 1.2、列内容过长省略展示 1.3、完整分页 1.4、表头列颜色设置 二、Tag标签 2.1、根据条件显示不同颜色 2.2、控制关闭事件 一、Table表格 效果展示&#xff1a; 官网&#xff1a;Ant Design Vue 1.1、显示表格 <a-tableref&quo…
阅读更多...
hdfs高可用文件系统架构

hdfs高可用文件系统架构

1、整体架构 2、角色简介 2.1、namenode NameNode 是 HDFS 集群中的核心组件&#xff0c;负责管理文件系统的元数据、处理客户端请求、管理数据块、确保数据完整性和高可用性。由于其重要性&#xff0c;NameNode 的性能和可靠性直接影响整个 HDFS 集群的性能和可靠性。在生产…
阅读更多...
Linux 五种IO模型

Linux 五种IO模型

注&#xff1a;还有一种信号驱动IO&#xff0c;使用较少暂不讨论&#xff1b; 一&#xff0c;区分阻塞、非阻塞和同步、异步 看了很多文章对这两组概念解释和对比&#xff0c;说的太复杂了&#xff0c;其实没必要&#xff0c;两句话就能说清楚。 首先&#xff0c;对于读数据rec…
阅读更多...
最新文章

Copyright @ 2022~2023