重新认识BIO、NIO、IO多路复用、Select、Poll、Epollo它们之间的关系

目录

一、背景

二、名词理解

(1)BIO

(2)NIO

(3)IO多路复用

(4)Select、Poll、Epollo

三、他们之间的关系总结

一、背景

最近又在学习网络IO相关知识,对我们常说的BIO、NIO、IO多路复用、Select、Poll、Epollo之间到底是什么关系,进行重新学习以及总结,特此记录一下。希望对一样迷惑的朋友也有一定的帮助

二、名词理解

(1)BIO

BIO它是Blocking IO的缩写,它的关键的特点就是阻塞IO,什么叫阻塞IO呢,就是你可以理解为它处理连接、读写事件是阻塞的,它采用阻塞方式进行数据读写操作。即当一个线程在执行IO操作时,若没有数据可读,则该线程会一直阻塞等待,直到有数据可读或者超时。如果还不理解我们不妨看看具体的BIO服务端实现的代码,加深自己的理解。

  • BIO服务端代码
package bio;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.ServerSocket;
import java.net.Socket;

/**
 * bio - server 类
 *
 * @author chen
 * @date 2024年03月10日 10:43
 */
public class BioServer {
    public static void main(String[] args) {
        try {
            System.out.println("*****服务端启动******");
            //定义一个ServerSocket对象进行一个服务端的接口注册
            ServerSocket serverSocket = new ServerSocket(8888);
            //监听客户端的Socket链接请求
            Socket socket = serverSocket.accept();
            //从socket对象中得到一个字节输入流对象
            InputStream is = socket.getInputStream();
            //将字节输入流包装成一个缓冲字符输入流(不能直接将字节输入流包装成缓冲字符输入流,先将字节输入流转成字符输入流,再转成缓冲字符输入流)
            BufferedReader br = new BufferedReader(new InputStreamReader(is));
            String msg;
            while ((msg = br.readLine()) != null){
                System.out.println("服务端收到信息:"+msg);
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

}

这里我们看到BIO的accept和read方法都是阻塞方法,也就是说线程一旦调用就会进行阻塞

看到这里我们不妨可以思考一下,那我如果想实现多连接处理应该怎么实现?

既然我们一个连接一个线程,那是否我们可以看更多的线程去处理连接,没错,早期的BIO是这样都是这样去处理的,如下代码,加入线程池后的处理

package bio;

import java.io.IOException;
import java.net.ServerSocket;
import java.net.Socket;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

/**
 * TODO 类功能描述
 *
 * @author chen
 * @date 2024年03月10日 10:43
 */
public class BioMoreThreadServer {
    public static ExecutorService executorService = Executors.newFixedThreadPool(2);
    public static void main(String[] args) {
        try {
            System.out.println("*******服务端启动*********");
            //注册端口
            ServerSocket ss = new ServerSocket(8888);
            //定义一个死循环,负责不断的接收客户端的Socket的连接请求
            while (true){
                Socket socket = ss.accept();
                //创建一个独立的线程来处理这个客户端socket的通信需求
//                new ServerThreadReader(socket).start();
                //用线程池替代,线程池只是解决了防止频繁创建和销毁线程,并没有解决可以更多的支持连接这个问题(连接数还是有限)
                executorService.submit(new ServerThreadReader(socket));
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

}

这里需注意一个细节,加入线程池后,并没有解决能够支持更多的连接的问题,仅仅只是防止线程频繁创建以及销毁,降低系统压力。

看完了BIO我们会提出一个疑问,那如果能够支持更大的连接数呢?

(2)NIO

 NIO是Java 1.4引入的新的IO模型,它采用了多路复用器(Selector)机制,通过少量线程同时管理多个通道,实现了单线程同时处理多个请求的效果。NIO具有高并发性、高吞吐量和更高的可靠性,适合处理连接数多且连接时间较短的场景。NIO的核心组件包括通道(Channel)、缓冲区(Buffer)和选择器(Selector)。选择器允许程序同时等待多个通道上的事件,如连接、数据到达等。

从我个人理解的角度,就是新的网络IO模型,增加了在网络IO读取过程中的一些特性,例如非阻塞、高吞吐、高并发性。那么他跟IO多路复用有什么关系呢?

(3)IO多路复用

IO多路复用(IO Multiplexing)一种同步IO模型,单个进程/线程就可以同时处理多个IO请求。一个进程/线程可以监视多个文件句柄;一旦某个文件句柄就绪,就能够通知应用程序进行相应的读写操作;没有文件句柄就绪时会阻塞应用程序,交出cpu。多路是指网络连接,复用指的是同一个进程/线程。

这里从我个人的角度理解,以盖房子为例,NIO是一个基础,提供了大量的基础工具(通道[Channel]、缓冲区[Buffer]和选择器[Selector]等等),就像一个我们要盖房子的各种工具已经给你备好了,接下来我们要盖一个怎样的房子(IO多路复用),相当于我们用NIO的技术实现了IO多路复用,如果没有NIO本身这项技术的支持,就不可能实现IO多路复用。

IO多路复用的代码实现

package nio;

import java.io.IOException;
import java.net.InetSocketAddress;
import java.nio.ByteBuffer;
import java.nio.channels.SelectionKey;
import java.nio.channels.Selector;
import java.nio.channels.ServerSocketChannel;
import java.nio.channels.SocketChannel;
import java.util.Iterator;
import java.util.Set;

/**
 * TODO 类功能描述
 *
 * @author chen
 * @date 2024年03月10日 13:01
 */
public class NioServer {
    public static void main(String[] args) {
        try {
            ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();
            serverSocketChannel.configureBlocking(false);
            serverSocketChannel.bind(new InetSocketAddress(8888));
            Selector selector = Selector.open();
            serverSocketChannel.register(selector, SelectionKey.OP_ACCEPT);
            // 无限判断当前线程状态,如果没有中断,就一直执行while内容。
            while(!Thread.currentThread().isInterrupted()){
                // 获取准备就绪的channel
                if (selector.select() == 0) {
                    continue;
                }
                // 获取到对应的 SelectionKey 对象
                Set<SelectionKey> keys = selector.selectedKeys();
                Iterator<SelectionKey> keyIterator = keys.iterator();
                // 遍历所有的 SelectionKey 对象
                while (keyIterator.hasNext()){
                    // 根据不同的SelectionKey事件类型进行相应的处理
                    SelectionKey key = keyIterator.next();
                    if (!key.isValid()){
                        continue;
                    }
                    if (key.isAcceptable()){
                        accept(serverSocketChannel,selector,key);
                    }
                    if(key.isReadable()){
                        read(key);
                    }
                    // 移除当前的key
                    keyIterator.remove();
                }
            }

        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    private static void read(SelectionKey key) {
        try {
            SocketChannel socketChannel = (SocketChannel) key.channel();
            //清除缓冲区,准备接受新数据
            ByteBuffer readBuffer = ByteBuffer.allocate(1024);//调整缓冲区大小为1024字节
            int numRead = socketChannel.read(readBuffer);;
            String str = new String(readBuffer.array(),0,numRead);
            System.out.println("read String is: " + str);
        }catch (Exception e){
            e.printStackTrace();
        }
    }

    private static void accept(ServerSocketChannel serverSocketChannel, Selector selector, SelectionKey key) {
        try {
            SocketChannel socketChannel = serverSocketChannel.accept();
            socketChannel.configureBlocking(false);
            // 注册客户端读取事件到selector
            socketChannel.register(selector, SelectionKey.OP_READ);
            System.out.println("client connected " + socketChannel.getRemoteAddress());
        }catch (Exception e){
            e.printStackTrace();
        }

    }
}

那这个时候IO多路复用算是明白了 ~~

那此时有提出一个疑问:那么IO多路复用跟我们常说的Select、Poll、Epollo又有什么关系?

(4)Select、Poll、Epollo

Select、Poll、Epollo的概念我这里就不一一叙说

总结起来他们就是操作系统函数,不同的操作系统(window、linux)有不同的实现,而且这项技术是不断演化,从早期的Select、演化到Poll、再到Epollo。上面讲到IO多路复用能够使用一个线程监听连接、读写事件,它们在操作系统底层是如何实现的呢?(任何的Java逻辑都是会回归操作系统,例如Java的创建线程,底层也是调用操作系统函数进行线程的创建)其实我们可以追到Select方法的源码,最终会调用本地方法,这里答案也就揭晓了,这三个操作系统函数,是操作系统帮我实现能够使用一个线程监听多个事件的功能,它们是实现IO多路复用的在操作系统层面的基石。

protected int doSelect(long var1) throws IOException {
        if (this.channelArray == null) {
            throw new ClosedSelectorException();
        } else {
            this.timeout = var1;
            this.processDeregisterQueue();
            if (this.interruptTriggered) {
                this.resetWakeupSocket();
                return 0;
            } else {
                this.adjustThreadsCount();
                this.finishLock.reset();
                this.startLock.startThreads();

                try {
                    this.begin();

                    try {
                        this.subSelector.poll();
                    } catch (IOException var7) {
                        this.finishLock.setException(var7);
                    }

                    if (this.threads.size() > 0) {
                        this.finishLock.waitForHelperThreads();
                    }
                } finally {
                    this.end();
                }

                this.finishLock.checkForException();
                this.processDeregisterQueue();
                int var3 = this.updateSelectedKeys();
                this.resetWakeupSocket();
                return var3;
            }
        }
    }

三、他们之间的关系总结

最后我画一张图来总结它们的关系

NIO本身这项技术本身是一个大的基石,我们利用了这个基石实现了IO多路复用,而Select、Poll、Epollo这些操作系统函数,是我们操作系统层面的基石,借助这种机制能够帮我们实现事件监听,实现单个线程处理多个事件。从而实现IO多路复用机制,这样就解决了BIO连接数的限制,能够支持处理更多的连接。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/457542.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【软件测试基础篇】第一节.软件测试基础1

文章目录 前言⼀、了解软件测试行业二、主流测试技能三、测试常用分类四、模型 4.1 质量模型 4.2 w模型五、测试流程六、测试用例总结 前言 一、了解软件测试行业 1.概念&#xff1a; 使用技术手段验证软件功能是否符合需求 2.特点&#xff1a; 岗位缺口&#xff1a…

【OceanBase诊断调优 】 —— 合并问题如何排查?

最近总结一些诊断OCeanBase的一些经验&#xff0c;出一个【OceanBase诊断调优】专题&#xff0c;也欢迎大家贡献自己的诊断OceanBase的方法。 1. 前言 OceanBase 数据库的存储引擎基于 LSM-Tree 架构&#xff0c;将数据分为静态基线数据&#xff08;放在 SSTable 中&#xff…

如何利用POI导出报表

一、报表格式 二、依赖坐标 <dependency><groupId>org.apache.poi</groupId><artifactId>poi</artifactId><version>3.16</version> </dependency> <dependency><groupId>org.apache.poi</groupId><art…

Spring, SpringBoot, SpringCloud,微服务

1,SSM (Spring+SpringMVC+MyBatis) SSM框架集由Spring、MyBatis两个开源框架整合而成(SpringMVC是Spring中的部分内容),常作为数据源较简单的web项目的框架。 Spring MVC 是 Spring 提供的一个基于 MVC 设计模式的轻量级 Web 开发框架,本质上相当于 Servlet,Controlle…

浅谈路由器基本结构与工作原理

目录 一、结构 1.1 输入端口 1.2 交换结构 1.3 输出端口 1.4 路由选择处理器 二、输入端口处理和基于目的地转发 三、交换 四、输出端口处理 五、何时出现排队 5.1 输入排队 5.2 输出排队 一、结构 下图是一个通用路由器体系结构的总体试图视图&#xff0c;其主要由…

亚信安慧AntDB在数据可靠性和系统安全中的实践

亚信安慧AntDB以持续创新和技术进步为理念&#xff0c;不断优化性能和功能&#xff0c;至今已经保持了15年的平稳运行。这一漫长的历程并非偶然&#xff0c;而是源于AntDB团队对技术的不懈探索和追求。他们始终秉承着“永不停歇&#xff0c;永不满足”的信念&#xff0c;将技术…

openwrt中时间同步ntp使用

前言 openwrt开发中&#xff0c;我们可能遇到这样需求&#xff0c;使用路由器支持局域网内设备ntp授时功能。 作者&#xff1a;羽林君 转载授权以及围观&#xff1a;欢迎关注微信公众号&#xff1a;羽林君 或者添加作者个人微信&#xff1a;become_me ntp是什么 NTP&#…

STM32-V5开发板和树莓派的区别介绍

STM32-V5开发板和树莓派是两种不同类型的嵌入式开发平台&#xff0c;它们在设计理念、性能、用途和编程方式上都有所区别。 STM32-V5开发板 STM32-V5开发板是基于STM32微控制器的开发平台&#xff0c;通常用于嵌入式系统开发、教学和实验。 区别&#xff1a; - **核心*…

冒泡排序,详详解解

目录 基本概念&#xff1a; 上图&#xff1a; 核心思路&#xff1a; 基本步骤&#xff1a; 关键&#xff1a; 代码核心&#xff1a; 补充&#xff1a; 代码&#xff08;规范&#xff09; &#xff1a; 代码&#xff08;优化&#xff09;&#xff1a; 今天我们不刷力扣了&…

【Node.js从基础到高级运用】十二、身份验证与授权:JWT

身份验证与授权是现代Web应用中不可或缺的部分。了解如何在Node.js应用中实施这些机制&#xff0c;将使你能够构建更安全、更可靠的应用程序。本文将引导你通过使用JWT实现用户注册、登录和权限控制的过程。 JWT&#xff08;Json Web Token&#xff09; JWT是一种用于双方之间…

使用HttpRequest工具类调用第三方URL传入普通以及文件参数并转换MultipartFile成File

使用HttpRequest工具类调用第三方URL传入普通以及文件参数 一、依赖及配置二、代码1、模拟第三方服务2、调用服务3、效果实现 一、依赖及配置 <!--工具依赖--><dependency><groupId>cn.hutool</groupId><artifactId>hutool-all</artifactId&g…

IP在网络通信中的重要作用

IP&#xff0c;全称Internet Protocol&#xff0c;即网际互连协议&#xff0c;是TCP/IP体系中的网络层协议。IP作为整个TCP/IP协议族的核心&#xff0c;是构成互联网的基础。它的作用重大且深远&#xff0c;下面将详细阐述IP的定义及其在网络通信中的重要作用。 首先&#xff0…

.NET高级面试指南专题十七【 策略模式模式介绍,允许在运行时选择算法的行为】

介绍&#xff1a; 策略模式是一种行为设计模式&#xff0c;它允许在运行时选择算法的行为。它定义了一系列算法&#xff0c;将每个算法封装到一个对象中&#xff0c;并使它们可以互相替换。这使得算法可独立于使用它的客户端变化。 原理&#xff1a; 策略接口&#xff08;Strat…

【JavaScript 漫游】【036】CORS 通信总结

文章简介 CORS 是一个 W3C 标准&#xff0c;全称是“跨域资源共享”&#xff08;Cross-origin resource sharing&#xff09;。它允许浏览器向跨域的服务器&#xff0c;发出 XMLHttpRequest 请求&#xff0c;从而克服了 AJAX 只能同源使用的限制。 本篇文章为【JavaScript 漫…

Frustum PointNets for 3D Object Detection from RGB-D Data(2018)

3D空间的几何和拓扑结构 直接在3D空间操作可以更自然的参数化以及捕捉 重复、平面、对称等几何结构 2. Related Work 3D Object Detection from RGB-D Data Front view image based methods&#xff08;只是介绍了一种表示方法&#xff09; Bird’s eye view based methods&a…

【Ubuntu20.04】Clion 配置 Libtorch + OpenCV

首先根据自己的CUDA版本安装正确对应的cuda和cudnn并进行配置。 这里安装的是cuda-11.3版本&#xff0c;以下基于这个版本进行安装。 1. 安装 Clion 因为Clion更容易直接编写CMakelists.txt&#xff0c;所以使用Clion作为IDE。 需要在File -> Setting -> CMake的CMake…

C# wpf 使用GDI实现截屏

wpf截屏系列 第一章 使用GDI实现截屏&#xff08;本章&#xff09; 第二章 使用GDI实现截屏 第三章 使用DockPanel制作截屏框 第四章 实现截屏框热键截屏 第五章 实现截屏框实时截屏 第六章 使用ffmpeg命令行实现录屏 文章目录 wpf截屏系列前言一、导入gdi32方法一、NuGet获取…

ChatGPT赋能遥感研究:精准分析处理遥感影像数据,推动科研新突破

遥感技术主要通过卫星和飞机从远处观察和测量我们的环境&#xff0c;是理解和监测地球物理、化学和生物系统的基石。ChatGPT是由OpenAI开发的最先进的语言模型&#xff0c;在理解和生成人类语言方面表现出了非凡的能力。重点介绍ChatGPT在遥感中的应用&#xff0c;人工智能在解…

数字排列 - 华为OD统一考试(C卷)

OD统一考试&#xff08;C卷&#xff09; 分值&#xff1a; 200分 题解&#xff1a; Java / Python / C 题目描述 小明负责公司年会&#xff0c;想出一个趣味游戏: 屏幕给出 1−9 中任意 4 个不重复的数字,大家以最快时间给出这几个数字可拼成的数字从小到大排列位于第 n 位置…

Linux操作系统——线程概念

1.什么是线程&#xff1f; 在一个程序里的一个执行路线就叫做线程&#xff08;thread&#xff09;。更准确的定义是&#xff1a;线程是“一个进程内部的控制序列”一切进程至少都有一个执行线程线程在进程内部运行&#xff0c;本质是在进程地址空间内运行在Linux系统中&#x…