分享Fork/Join经典案例

shigen坚持更新文章的博客写手,擅长Java、python、vue、shell等编程语言和各种应用程序、脚本的开发。记录成长,分享认知,留住感动。
个人IP:shigen

在上一篇的文章java 多线程+分治求和,太牛了的文章中,提到了forkjoin,在一番了解之后,发现这个forkjoin基本上和线程池差不多

Fork/Join框架的核心思想是将大任务拆分成若干个小任务(Fork),然后并行执行这些小任务,最后将它们的结果合并(Join)。这样可以充分利用多核处理器的性能,提高任务的执行效率。

在一些论坛上网友也回复:大数据的认识这个。也是啊,没准吊打我的面试官就是搞大数据的呢。正常的Java开发,哪来的这么多需要运算的任务,大部分都是IO型的任务,参考文章Excel导入导出百万级数据优化。

写了一点代码测试了一下效果,选用的还是经典的大序列求和案例:

public class SumCalculator extends RecursiveTask<Long> {

    private static final long serialVersionUID = 1L;
    // 阈值,超过这个值则拆分任务
    private static final long THRESHOLD = 10000;
    private final long start;
    private final long end;

    public SumCalculator(long start, long end) {
        this.start = start;
        this.end = end;
    }

    @Override
    protected Long compute() {
        long length = end - start;
        if (length <= THRESHOLD) {
            return computeSequentially();
        }
        long middle = (start + end) >>> 1;
        SumCalculator leftTask = new SumCalculator(start, middle);
        SumCalculator rightTask = new SumCalculator(middle + 1, end);
        // 拆分左边任务
        leftTask.fork();
        // 拆分右边任务
        rightTask.fork();
        // 合并并返回结果
        return leftTask.join() + rightTask.join();
    }

    private long computeSequentially() {
        long sum = 0;
        for (long i = start; i <= end; i++) {
            sum += i;
        }
        return sum;
    }

    public static void main(String[] args) {
        long start = 1;
        long end = 1_0000_0000;
        StopWatch stopWatch = new StopWatch();
        stopWatch.start();
        ForkJoinPool forkJoinPool = new ForkJoinPool();
        long result = forkJoinPool.invoke(new SumCalculator(start, end));
        stopWatch.stop();
        System.out.println("Sum of " + start + " to " + end + " = " + result);
        System.out.println("Elapsed time: " + stopWatch.getTotalTimeMillis() + " ms");
    }
}

运行时间我们来对比一下:

forkjoin运行时间

普通线程池:

普通线程池

多次运行后发现:时间在100ms-300ms之间波动。

总的来说,fork/join的效率至少要比普通线程池提交任务运行耗时减少50%左右。

最后,借助魔法和个人理解,来一波总结:

Fork/Join适用场景:

  1. 递归任务:Fork/Join框架特别适用于递归式的任务,例如归并排序、快速排序、求和等。
  2. 任务可以被拆分成独立子任务:任务之间不存在依赖关系,可以独立执行,这样才能充分发挥并行执行的优势。
  3. 任务执行时间较长:如果任务执行时间过短,切分和合并的开销可能会超过执行时间,得不偿失。

注意事项:

  1. 合适的任务粒度:需要根据具体情况确定合适的任务拆分粒度,避免任务过小导致拆分和合并的开销过大。
  2. 避免共享可变状态:并行执行的任务之间应避免共享可变状态,如果必须共享状态,需要采用线程安全的方式进行处理。
  3. 避免死锁和性能问题:在使用Fork/Join框架时,要注意避免死锁和性能问题,合理设计任务拆分和合并的逻辑。
  4. 使用合适的线程池:Fork/Join框架底层使用了工作窃取(Work Stealing)算法,因此可以使用默认的ForkJoinPool,也可以根据需要创建自定义的线程池。

总的来说,Fork/Join框架适用于需要并行执行递归式任务且任务之间不存在太多依赖关系的情况,能够充分利用多核处理器的性能,提高任务的执行效率。

好了,底层原理还是比较复杂,推荐观看视频:6.8 并发编程之ForkJoin工作原理分析。搞不明白,在这里就不深入分析底层原理了。

*与shigen一起,每天不一样!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/529385.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Docker使用— Docker部署安装Nginx

Nginx简介 Nginx 是一款高性能的 web 服务器、反向代理服务器以及电子邮件&#xff08;IMAP/POP3/SMTP&#xff09;代理服务器&#xff0c;由俄罗斯开发者伊戈尔塞索耶夫&#xff08;Igor Sysoev&#xff09;编写&#xff0c;并在2004年10月4日发布了首个公开版本0.1.0。Nginx…

因为使用ArrayList.removeAll(List list)导致的机器重启

背景 先说一下背景&#xff0c;博主所在的业务组有一个核心系统&#xff0c;需要同步两个不同数据源给过来的数据到redis中&#xff0c;但是每次同步之前需要过滤掉一部分数据&#xff0c;只存储剩下的数据。每次同步的数据与需要过滤掉的数据量级大概在0-100w的数据不等。 由…

鸿蒙HarmonyOS开发实例:【简单时钟】

简单时钟 介绍 本示例通过使用[ohos.display]接口以及Canvas组件来实现一个简单的时钟应用。 效果预览 主页 使用说明 1.界面通过setInterval实现周期性实时刷新时间&#xff0c;使用Canvas绘制时钟&#xff0c;指针旋转角度通过计算得出。 例如&#xff1a;"2 * M…

三角测量法恢复深度

参考&#xff1a;单目vo中的深度确定方法--三角测量_单目相机三角测量-CSDN博客 方法一&#xff1a;直接法 由于我们已经通过本质矩阵分解或者单应矩阵分解获得了R与t&#xff0c;此时想求的是两个特征点的深度 bool depthFromTriangulation(const SE3& T_search_ref,co…

电脑打开游戏的时候提示缺少.dll文件?照着这个来就行。

前言 小白曾经也是一个很喜欢玩游戏的人&#xff0c;但那只是曾经。那时候宿舍里一共6个人&#xff0c;都是比较喜欢玩游戏的小伙子。 话题好像偏了…… 有些小伙伴下载玩游戏之后&#xff0c;高高兴兴地想要开始玩。结果游戏根本没办法运行&#xff0c;可恶&#xff01;这该…

美国P6139B泰克无源探头

181/2461/8938产品概述&#xff1a; 500 MHz探头带宽探针尖端的大输入阻抗为10兆欧&#xff0c;8 pF补偿范围:8 pF至18 pF电缆长度:1.3米10倍衰减系数300 V CAT II输入电压用于探测小几何形状电路元件的紧凑探头小探针体增强了被测设备的可视性可更换探针头盒大型配件套装&…

《QT实用小工具·二十一》鼠标十字线

1、概述 源码放在文章末尾 该项目实现了界面绘制十字线并跟随鼠标移动的过程&#xff0c;下面是demo演示&#xff1a; 项目部分代码如下&#xff1a; #ifndef WIDGET_H #define WIDGET_H#include <QWidget>namespace Ui { class Widget; }class Widget : public QWidg…

Bioorganic Chemistry:中国药科大学王鹏课题组、陈俊青课题组设计的基于AIE机理的高荧光选择性鉴定Cys/HCy

文献来源&#xff1a;Highly selective fluorescent probe based on AIE for identifying cysteine/homocysteine - PubMed (nih.gov) 一、AIE机理在荧光探针设计方向的应用&#xff1a; 参考文献&#xff1a;几种代表性的AIE的发光特点和机制&#xff08;2020-10-11&#xff…

基于数据沙箱与LLM用例自愈的UI自动化测试平台

UI自动化测试能够在一定程度上确保产品质量&#xff0c;尤其在降本提效的大背景下&#xff0c;其重要性愈发凸显。理想情况下&#xff0c;UI自动化测试不仅能够能帮我们规避不少线上问题&#xff0c;又能加快产品上线速度。然而现实却往往相去甚远&#xff0c;在多数情况下&…

移动端WEB开发之响应式布局

一、响应式开发 1.1 响应式开发原理 就是使用媒体查询针对不同宽度的设备进行布局和样式的设置&#xff0c;从而适配不同设备的目的。 1.2 响应式布局容器 响应式需要一个父级做为布局容器&#xff0c;来配合子级元素来实现变化效果。原理就是在不同屏幕下&#xff0c;通过媒体…

HJ37 统计每个月兔子的总数(动态规划)

高端的食材&#xff0c;往往只需要最简单的烹饪方法。 import java.util.Scanner;// 注意类名必须为 Main, 不要有任何 package xxx 信息 public class Main {public static void main(String[] args) {Scanner sc new Scanner(System.in);// 注意 hasNext 和 hasNextLine 的…

sql注入之堆叠和二次注入

1.1 堆叠注入原理 堆叠注入&#xff08;Stacked Injection&#xff09;是一种SQL注入技术&#xff0c;它允许攻击者一次性执行多条SQL语句。其原理主要是利用Web应用程序中的输入验证不严格&#xff0c;通过在输入字段中插入分号&#xff08;;&#xff09;来分隔并构造新的SQL…

【C++ STL有序关联容器】map 映射

文章目录 【 1. 基本原理 】【 2. map 的创建 】2.1 调用默认构造函数&#xff0c;创建一个空的 map2.2 map 被构造的同时初始化2.3 通过一个 map 初始化另一个 map2.4 取已建 map 中指定区域内的键值对&#xff0c;初始化新的 map2.5 指定排序规则 【 2. map 元素的操作 】实例…

最大食物链计数【拓扑排序】

P4017 最大食物链计数 - 洛谷 | 计算机科学教育新生态 (luogu.com.cn) #include<iostream> #include <algorithm> #include <vector> #include <queue> using namespace std; #define int long long const int N2e5100; const int mod80112002; int n,…

小米汽车:搅动市场的鲶鱼or价格战砧板上的鱼肉?

3月28日晚&#xff0c;备受关注的小米汽车上市发布会召开&#xff0c;小米集团董事长雷军宣布小米SU7正式发布。小米汽车在带飞股价的同时&#xff0c;二轮订购迅速售尽。 图一&#xff1a;小米集团股价 雷军口中“小米汽车迈出的第一步&#xff0c;也是人生最后一战的开篇”&a…

如何用微信云开发制作一款商城小程序

微信云开发提供了一整套开发小程序的服务&#xff0c;包括数据库、存储、云函数等&#xff0c;可以帮助商家快速搭建小程序&#xff0c;降低开发成本&#xff0c;提高开发效率。下面&#xff0c;我们将探讨如何使用微信云开发来开发一款商城小程序。 一、注册小程序账号 可以…

三小时使用鸿蒙OS模仿羊了个羊,附源码

学习鸿蒙arkTS语言&#xff0c;决定直接通过实践的方式上手&#xff0c;而不是一点点进行观看视频再来实现。 结合羊了个羊的开发思路&#xff0c;准备好相应的卡片素材后进行开发。遇到了需要arkTS进行解决的问题&#xff0c;再去查看相应的文档。 首先需要准备卡片对应的图片…

swampCTF 2024

swampCTF 2024 MISC Discord Challenge swampCTF{w3lc0m3_t0_th3_swamp} What the Form google form不停重定向&#xff0c;直接F12看一下。flag就在前端。 swampCTF{F0rm5_K33p5_D4T4_H1dd3n} OSINT Lost in Space 图片是旅行者2号&#xff0c;问距离地球多少个天文单…

Games101-光线追踪(基本原理)

光线追踪和光栅化是两个不同的成像方式。 光栅化最大的问题是无法很好的表示全局的效果。 全局效果包括 软阴影(shadow mapping后来被改进成能够支持软阴影&#xff0c;阴影随着离物体越远越来越模糊)&#xff0c;glossy反射(类似镜子&#xff0c;但没有镜子那么光滑&#xff0…

蓝桥杯2023年第十四届省赛真题-棋盘

solution1(暴力) 暴力蓝桥杯可以过&#xff0c;虽然理论上会超时~ #include<iostream> using namespace std; const int maxn 2010; int a[maxn][maxn] {0};//0白棋&#xff0c;1黑棋 int main(){int n, m, x1, x2, y1, y2;scanf("%d%d", &n, &m)…