python中的Quene使用方法，包含多线程和多进程

在Python中，队列（Queue）是一种抽象的数据类型，它遵循先进先出（FIFO）的原则。队列是一种特殊的线性表，只允许在表的前端（front）进行删除操作，而在表的后端（rear）进行插入操作。

Python标准库中的queue模块提供了多种队列的实现，包括：

  1. Queue：这是一个简单的队列类，可以用来实现先进先出的数据结构。
  2. LifoQueue：这是一个后进先出（LIFO）的数据结构，与栈类似。
  3. PriorityQueue：这是一个优先级队列，可以根据元素的优先级进行排序。

下面是一个使用queue.Queue的简单示例：

import queue

# 创建一个队列
q = queue.Queue()

# 向队列中添加元素
for i in range(5):
    q.put(i)

# 从队列中获取元素，它会按照先进先出的原则返回元素
while not q.empty():
    print(q.get())

输出：

0
1
2
3
4

queue.Queue还提供了其他一些有用的方法，如q.full()（检查队列是否已满）、q.maxsize`（获取队列的最大大小）等。此外，它还支持线程安全，可以在多线程环境中安全地使用。

属性和方法以及用法

  • qsize()：返回队列中的元素个数。
import queue

# 创建一个队列
q = queue.Queue()

# 向队列中添加元素
q.put("item1")
q.put("item2")
q.put("item3")

# 获取队列中的元素个数
size = q.qsize()
print("队列大小:", size)

运行结果：
在这里插入图片描述

  • mutex：返回队列的锁对象，用于多线程环境中的同步操作。通过使用mutex属性，可以确保在多线程访问队列时，对队列的操作是线程安全的。代码如下：
import queue
import threading

# 创建一个队列和锁对象
q = queue.Queue()
mutex = q.mutex


# 定义一个线程函数，用于向队列中添加元素
def add_item(item):
    with mutex:
        q.put(item)

    # 定义一个线程函数，用于从队列中获取元素


def get_item():
    with mutex:
        item = q.get()
        return item

    # 创建两个线程，分别执行添加和获取操作


thread1 = threading.Thread(target=add_item, args=("item1",))
thread2 = threading.Thread(target=get_item)

# 启动线程
thread1.start()
thread2.start()

# 等待线程结束
thread1.join()
thread2.join()
  • not_full()：如果队列未满，则返回True，否则返回False。
  • maxsize（可选参数，默认为0，用于设定队列长度。maxsize小于等于0表示队列长度无限。）
  • put(item, block=True, timeout=None)（在队尾插入一个项目。如果block参数为True（默认值），且队列为空，该方法会阻塞直到有空间可用。如果timeout参数提供，该方法在等待时有超时限制。如果队列已满且block为False，将引发Full异常。）
import queue  
  
# 创建一个队列  
q = queue.Queue()  
  
# 向队列中添加元素  
for i in range(5):  
    q.put(i)  
  
# 获取队列的大小  
size = q.qsize()  
print("队列大小:", size)  
  
# 从队列中获取元素并打印  
while not q.empty():  
    item = q.get()  
    print(item)
  • get(block=True, timeout=None)（从队头删除并返回一个项目。如果block参数为True（默认值），且队列为空，该方法会阻塞直到有项目可用。如果timeout参数提供，该方法在等待时有超时限制。如果队列为空且block为False，将引发Empty异常。）
  • empty()（检查队列是否为空，返回True如果队列为空，否则返回False。）
import queue

# 创建一个队列
q = queue.Queue()
# 检查队列是否为空
if q.empty():
    print("队列为空")
else:
    print("队列非空")

# 向队列中添加元素
q.put("item1")
q.put("item2")

# 检查队列是否为空
if q.empty():
    print("队列为空")
else:  
    print("队列非空")
  • full()（检查队列是否已满。如果队列已满，返回True，否则返回False。）
import queue

# 创建一个队列，容量为3
q = queue.Queue(maxsize=3)

# 向队列中添加元素
for i in range(5):
    try:
        q.put(i, block=False)
    except queue.Full:
        print("队列已满，添加元素失败")

# 检查队列是否已满
if q.full():
    print("队列已满")
else:
    print("队列未满")

运行结果：
在这里插入图片描述

  • get_nowait()：与get()方法类似，但不进行阻塞等待。如果队列为空，将引发Empty异常。
import queue

q = queue.Queue()

try:
    item = q.get_nowait()
except queue.Empty:
    print("队列为空，无法获取元素。")

在这里插入图片描述

  • put_nowait()：与put()方法类似，但不进行阻塞等待。如果队列已满，将引发Full异常。
import queue

q = queue.Queue(maxsize=3)

try:
    q.put_nowait("item")
    q.put_nowait("item1")
    q.put_nowait("item2")
    q.put_nowait("item3")

except queue.Full:
    print("队列已满，无法添加元素。")

在这里插入图片描述

  • join()：Queue.join() 是 Python 的 queue 模块中的一个方法，用于阻塞当前线程，直到队列中的所有任务都已完成处理。

当你使用多线程或多进程从队列中获取并处理任务时，Queue.join() 方法可以确保主线程等待所有任务都已完成后再继续执行。这样可以避免因任务未完成而导致主线程提前结束。

多线程中的Quene

task_done() 是 Python 的 queue 模块中的一个方法，用于标记队列中的一个任务已经完成。

当多个线程或进程同时从队列中获取任务并处理时，可以使用 task_done() 方法来通知队列中已经完成了一个任务。这有助于确保队列中的任务能够被正确地处理，并且可以避免出现死锁或阻塞的情况。

代码如下：

import queue
import threading
import time

# 创建一个队列
q = queue.Queue()


# 定义一个生产者线程函数，将数据添加到队列中
def producer(thread_id):
    for i in range(5):
        print(f"生产者 {thread_id} 生产了 {i}")
        q.put(i)
        time.sleep(1)

    # 定义一个消费者线程函数，从队列中获取数据并处理


def consumer(thread_id):
    while True:
        item = q.get()
        print(f"消费者 {thread_id} 消费了 {item}")
        time.sleep(1)
        q.task_done()

    # 创建生产者线程


threads = []
for i in range(2):
    t = threading.Thread(target=producer, args=(i,))
    threads.append(t)
    t.start()

# 创建消费者线程
for i in range(3):
    t = threading.Thread(target=consumer, args=(i,))
    threads.append(t)
    t.start()

# 等待所有任务完成
q.join()

运行结果：
在这里插入图片描述

如果使用get_nowait，应该怎么写呢？代码如下：

import queue
import threading
import time

# 创建一个队列
q = queue.Queue()


# 定义一个生产者线程函数，将数据添加到队列中
def producer(thread_id):
    for i in range(5):
        print(f"生产者 {thread_id} 生产了 {i}")
        q.put(i)
        time.sleep(1)

    # 定义一个消费者线程函数，从队列中获取数据并处理


def consumer(thread_id):
    while True:
        try:
            item = q.get_nowait()
            print(f"消费者 {thread_id} 消费了 {item}")
            time.sleep(1)
        except queue.Empty:
            print("队列为空，无法获取元素。")
            pass
        time.sleep(1)


    # 创建生产者线程


threads = []
for i in range(2):
    t = threading.Thread(target=producer, args=(i,))
    threads.append(t)
    t.start()

# 创建消费者线程
for i in range(3):
    t = threading.Thread(target=consumer, args=(i,))
    threads.append(t)
    t.start()

# 等待所有任务完成
q.join()

在这里插入图片描述

多进程中的Quene

在Python的multiprocessing模块中，Queue是一个进程安全的队列类，它允许在多个进程之间进行安全的通信。这个队列是基于Python标准库中的queue模块实现的，并添加了多进程的支持。

多进程存，主线程取

import multiprocessing
import time

def worker(q, num):
    """ Worker function that puts data into the queue. """
    for i in range(5):
        print(f"Worker {num} produced {i}")
        q.put(i)
    q.put("STOP")  # 用于告诉主进程所有工作已经完成

if __name__ == "__main__":
    q = multiprocessing.Queue()  # 创建一个队列对象
    processes = []
    for i in range(3):  # 创建3个工作进程
        p = multiprocessing.Process(target=worker, args=(q, i))
        processes.append(p)
        p.start()
    
    while True:
        item = q.get()  # 从队列中获取数据
        if item == "STOP":  # 如果获取到"STOP"，则所有工作进程已经完成
            break
        print(f"Main process consumed {item}")
    
    for p in processes:  # 等待所有工作进程结束
        p.join()

运行结果：
在这里插入图片描述

在这个示例中，我们创建了一个Queue对象q，并创建了三个工作进程。每个工作进程将数据添加到队列中，主进程从队列中获取数据并处理。当工作进程完成所有任务后，它会在队列中放置一个"STOP"标记，主进程通过检查这个标记来知道所有工作进程已经完成。最后，主进程等待所有工作进程结束。

注意，在使用multiprocessing.Queue时，你需要确保传递给子进程的队列对象是通过multiprocessing.Queue()创建的，而不是通过标准库中的queue.Queue()创建的。因为标准库中的queue.Queue不是线程安全的，也不支持多进程。

多进程存，多进程取

import multiprocessing
import time


def worker(q, num):
    for i in range(5):
        print(f"Worker {num} produced {i}")
        q.put(i)

def get_item(q):
    while True:
        item = q.get()  # 从队列中获取数据
        print(f"get process consumed {item}")


if __name__ == "__main__":
    q = multiprocessing.Queue()  # 创建一个队列对象
    processes = []
    for i in range(3):  # 创建3个工作进程
        p = multiprocessing.Process(target=worker, args=(q, i))
        processes.append(p)
        p.start()

    for i in range(3):  # 创建3个工作进程
        p = multiprocessing.Process(target=get_item,args=(q,))
        processes.append(p)
        p.start()


    for p in processes:  # 等待所有工作进程结束
        p.join()

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/317397.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

蓝桥杯省赛无忧 STL 课件16 set

蓝桥杯省赛无忧 STL 课件16 set

01 set集合 修改set比较方法的常见手段&#xff0c;后面的multiset类似 #include<bits/stdc.h> using namespace std; int main() {set<int,greater<int>> myset;myset.insert(25);myset.insert(17);myset.insert(39);myset.insert(42);for(const auto&…
阅读更多...
黑马python就业课

黑马python就业课

文章目录 初级中级高级初级课程分享 初级 中级 高级 初级课程分享 链接&#xff1a;https://pan.baidu.com/s/1aiJHaThezv_mSI1rnV3d7g 提取码&#xff1a;xdpc
阅读更多...
小H靶场笔记：Empire-Breakout

小H靶场笔记：Empire-Breakout

Empire&#xff1a;Breakout January 11, 2024 11:54 AM Tags&#xff1a;brainfuck编码&#xff1b;tar解压变更目录权限&#xff1b;Webmin&#xff1b;Usermin Owner&#xff1a;只惠摸鱼 信息收集 使用arp-scan和namp扫描C段存活主机&#xff0c;探测靶机ip&#xff1a;1…
阅读更多...
二极管限幅电路理论分析，工作原理+作用

二极管限幅电路理论分析，工作原理+作用

一、限幅是什么意思&#xff1f; 限幅也就是&#xff0c;将电压限制在某个范围内&#xff0c;去除交流信号的一部分但不会对波形的剩余部分造成影响。通常来说&#xff0c;限幅电路主要是由二极管构成&#xff0c;波形的形状取决于电路的配置和设计。二、限幅电路工作原…
阅读更多...
软件测试|Python数据可视化神器——pyecharts教程（九）

软件测试|Python数据可视化神器——pyecharts教程（九）

使用pyecharts绘制K线图进阶版 简介 K线图&#xff08;Kandlestick Chart&#xff09;&#xff0c;又称蜡烛图&#xff0c;是一种用于可视化金融市场价格走势和交易数据的图表类型。它是股票、外汇、期货等金融市场中最常用的技术分析工具之一&#xff0c;可以提供关于价格变…
阅读更多...
简单的天天酷跑小游戏实现

简单的天天酷跑小游戏实现

初级函数实现人物,背景,小乌龟的移动 #include <graphics.h> #include <iostream> #include <Windows.h> #include "tools.h" #include <mmsystem.h> #include <conio.h> #include <time.h>//时间头文件 #include <cstdlib&g…
阅读更多...
ros2+gazebo(ign)激光雷达+摄像头模拟

ros2+gazebo(ign)激光雷达+摄像头模拟

虽然ign不能模拟雷达&#xff0c;但是摄线头是可以模拟的。 好了现在都不用模拟了&#xff0c;ign摄线头也模拟不了。 ros2ign gazebo无法全部模拟摄线头和雷达。 只能有这样2个解决方法&#xff1a; 方法1&#xff1a;使用ros2 gazebo11 方案2&#xff1a;使用ros2买一个实…
阅读更多...
【QT】QMessageBox 弹出消息框,对话确认框（确定/取消）

【QT】QMessageBox 弹出消息框,对话确认框（确定/取消）

1.无互动 QMessageBox::information(nullptr,"信息","登陆成功");2.互动&#xff1a;确定、取消 QMessageBox::StandardButton box; box QMessageBox::question(this, "提示", "确定要添加吗?", QMessageBox::Yes|QMessageBox::…
阅读更多...
多种格式图片的制作方法，二维码生成器在线使用教学

多种格式图片的制作方法，二维码生成器在线使用教学

图片现在通过二维码展示的场景有很多&#xff0c;比如常见的宣传海报、人员资料、信息展示、自拍等类型的图片都可以做成二维码图片查看。那么如果想要制作图片二维码的小伙伴&#xff0c;使用图片二维码生成器来制作会比较的简单快捷&#xff0c;下面就来给大家介绍一下其具体…
阅读更多...
uniapp中uview组件库丰富的CountTo 数字滚动使用方法

uniapp中uview组件库丰富的CountTo 数字滚动使用方法

目录 #平台差异说明 #基本使用 #设置滚动相关参数 #是否显示小数位 #千分位分隔符 #滚动执行的时机 #API #Props #Methods #Event 该组件一般用于需要滚动数字到某一个值的场景&#xff0c;目标要求是一个递增的值。 注意 如果给组件的父元素设置text-align: cente…
阅读更多...
NUS CS1101S：SICP JavaScript 描述：前言、序言和致谢

NUS CS1101S：SICP JavaScript 描述：前言、序言和致谢

前言 原文&#xff1a;Foreword 译者&#xff1a;飞龙 协议&#xff1a;CC BY-NC-SA 4.0 我有幸在我还是学生的时候见到了了不起的 Alan Perlis&#xff0c;并和他交谈了几次。他和我共同深爱和尊重两种非常不同的编程语言&#xff1a;Lisp 和 APL。跟随他的脚步是一项艰巨的任…
阅读更多...
想成为一名C++开发工程师，需要具备哪些条件？

想成为一名C++开发工程师，需要具备哪些条件？

C语言是一门面向过程的、抽象化的通用程序设计语言&#xff0c;广泛应用于底层开发。C语言能以简易的方式编译、处理低级存储器。C语言是仅产生少量的机器语言以及不需要任何运行环境支持便能运行的高效率程序设计语言。尽管C语言提供了许多低级处理的功能&#xff0c;但仍然保…
阅读更多...
JVM知识总结（持续更新）

JVM知识总结（持续更新）

这里写目录标题 java内存区域程序计数器虚拟机栈本地方法栈堆方法区 java内存区域 Java 虚拟机在执行 Java 程序的过程中会把它管理的内存划分成若干个不同的数据区域&#xff1a; 程序计数器虚拟机栈本地方法栈堆方法区 程序计数器 记录下一条需要执行的虚拟机字节码指令…
阅读更多...
图像异或加密及唯密文攻击

图像异或加密及唯密文攻击

异或加密 第一种加密方式为异或加密&#xff0c;异或加密的原理是利用异或的可逆性质&#xff0c;原始图像的像素八位bit分别与伪随机二进制序列异或&#xff0c;得到的图像就为加密图像。如下图对lena图像进行加密。 伪随机序列为一系列二进制代码&#xff0c;它受加密秘钥控…
阅读更多...
uniapp中uview组件库的AlertTips 警告提示使用方法

uniapp中uview组件库的AlertTips 警告提示使用方法

目录 #使用场景 #平台差异说明 #基本使用 #图标 #可关闭的警告提示 #API #Props #Events 警告提示&#xff0c;展现需要关注的信息。 #使用场景 当某个页面需要向用户显示警告的信息时。非浮层的静态展现形式&#xff0c;始终展现&#xff0c;不会自动消失&#xff0…
阅读更多...
【Kafka-3.x-教程】-【七】Kafka 生产调优、Kafka 压力测试

【Kafka-3.x-教程】-【七】Kafka 生产调优、Kafka 压力测试

【Kafka-3.x-教程】专栏&#xff1a; 【Kafka-3.x-教程】-【一】Kafka 概述、Kafka 快速入门 【Kafka-3.x-教程】-【二】Kafka-生产者-Producer 【Kafka-3.x-教程】-【三】Kafka-Broker、Kafka-Kraft 【Kafka-3.x-教程】-【四】Kafka-消费者-Consumer 【Kafka-3.x-教程】-【五…
阅读更多...
【深度学习每日小知识】Training Data 训练数据

【深度学习每日小知识】Training Data 训练数据

训练数据是机器学习的基本组成部分&#xff0c;在模型的开发和性能中起着至关重要的作用。它是指用于训练机器学习算法的标记或注释数据集。以下是与训练数据相关的一些关键方面和注意事项。 Quantity 数量 训练数据的数量很重要&#xff0c;因为它会影响模型的泛化能力。通常…
阅读更多...
软件测试|教你使用Python绘制正多边形

软件测试|教你使用Python绘制正多边形

简介 绘制正多边形是Python图形编程的基本任务之一。在本文中&#xff0c;我将为你提供一个使用Python绘制正多边形的详细教程&#xff0c;并提供一个示例代码。我们将使用Python的Turtle库来进行绘制。 步骤1&#xff1a;导入Turtle库 我们需要先安装好Python环境&#xff…
阅读更多...
教育观察期刊投稿邮箱、投稿要求

教育观察期刊投稿邮箱、投稿要求

《教育观察》创刊于2012年&#xff0c;是国家新闻出版总署批准的正规教育类学术期刊&#xff0c;本刊致力于在教育实践中以“观察”为方法&#xff0c;以“观察者”为主体&#xff0c;以“新观察”为旨趣&#xff0c;打造从教育实践中洞察教育未来的教育研究与交流的平台。主要…
阅读更多...
接雨水的四种姿势——一篇文章彻底弄懂接雨水问题

接雨水的四种姿势——一篇文章彻底弄懂接雨水问题

前言 leetcode 42. 接雨水是一道业内著名的hard题&#xff0c;多次出现在面试场上&#xff0c;经久不衰&#xff0c;难住了一届又一届的候选人。 作为leetcode上热度最高的题目之一&#xff0c;题目评论区也是好一番热闹景象。有人表示看了三天做不出来&#xff0c;有人在评论…
阅读更多...
最新文章

Copyright @ 2022~2023