Python17 多进程multiprocessing

图片

1.多进程与多线程的区别

在Python中,多线程(multithreading)和多进程(multiprocessing)是两种并行执行任务的方式,它们有一些关键的区别:

  1. 进程和线程的基本区别

    • 进程:进程是操作系统分配资源和调度的基本单位,每个进程都有自己独立的内存空间和资源。多进程环境下,同一个程序可以运行在不同的内存地址空间中,进程之间不会相互干扰。

    • 线程:线程是进程的一个执行实体,是CPU调度和执行的单位,同一进程下的多个线程共享该进程的内存空间和资源。这意味着线程间通信更简单,但也容易出现数据不一致的问题。

  2. 全局解释器锁(GIL)

    • Python(尤其是CPython)中有一个称为全局解释器锁(GIL)的机制,它影响了多线程的执行效率。GIL确保在任意时刻,只有一个线程在一个Python进程中执行,这意味着即使在多核CPU上,使用Python的多线程也无法实现真正的并行执行。

    • 多进程不受GIL的影响,因为每个进程都有自己的Python解释器和内存空间,所以可以真正并行运行。

  3. 使用场景

    • 多线程适合于I/O密集型任务,如网络请求、文件I/O等,因为线程在等待I/O的过程中可以释放GIL,让其他线程运行。

    • 多进程适合于CPU密集型任务,如大规模计算等,可以利用多核CPU的优势实现真正的并行计算。

  4. 资源消耗和开销

    • 多线程的资源消耗相对较少,创建和切换线程的开销小于进程。

    • 多进程因为每个进程需要独立的内存空间和系统资源,所以资源消耗更大,进程的创建和切换也比线程要慢。

2.多进程模块multiprocessing

Python中的multiprocessing 模块是用来实现多进程并行计算的标准库之一。它提供一种简单且强大的方式来利用多核 CPU 执行并行任务,从而提高程序的性能和效率。

具体来说,multiprocessing 模块主要用于以下几个方面:

  1. 创建进程:通过 Process 类,可以创建新的进程来执行指定的任务。

  2. 进程间通信:提供了多种方式来实现进程间的通信,如队列(Queue)、管道(Pipe)、共享内存(Value 和 Array 等)等,这些机制可以让多个进程之间安全地共享数据。

  3. 进程池:通过 Pool 类,可以创建一个池子,其中包含多个工作进程,从而可以更方便地实现并行任务的执行。

  4. 同步机制:提供了多种同步原语,如锁(Lock)、信号量(Semaphore)、事件(Event)等,用于控制多个进程之间的并发访问。

  5. 执行并行任务:通过多进程的方式,可以并行执行计算密集型任务,从而提高程序的运行速度,特别是在多核 CPU 上。

3.多进程示例(并行计算不同函数)

# 这行代码是一个特殊注释,用于声明Python文件的编码格式
# -*- coding: utf-8 -*-  
import multiprocessing  # 用于创建多进程
import numpy as np
import matplotlib.pyplot as plt

# 正弦函数
def compute_sin(queue, x):  #函数计算输入数组x的正弦值,结果存入队列queue,队列用于进程间的数据传递。
    y = np.sin(x)
    queue.put(('sin', y))
    print("Sin computed")

# 余弦函数
def compute_cos(queue, x):
    y = np.cos(x)
    queue.put(('cos', y))
    print("Cos computed")

# 正切函数
def compute_tan(queue, x):
    y = np.tan(x)
    y = np.clip(y, -10, 10)  # 限制tan函数的输出范围以避免数值爆炸
    queue.put(('tan', y))
    print("Tan computed")

# 指数函数
def compute_exp(queue, x):
    y = np.exp(x)
    y = np.clip(y, 0, 10)  # 限制exp函数的输出范围以避免数值爆炸
    queue.put(('exp', y))
    print("Exp computed")

if __name__ == '__main__':  # 仅当文件作为主程序运行时执行以下代码块
    # 创建一个管理器队列用于进程间通信
    manager = multiprocessing.Manager()
    queue = manager.Queue()

    # 创建输入数据
    x = np.linspace(-2 * np.pi, 2 * np.pi, 1000)  # 生成一个线性空间的数组x,范围是从-2π到2π,包含1000个元素

    # 创建四个进程,每个进程执行不同的计算任务
    processes = [
        multiprocessing.Process(target=compute_sin, args=(queue, x)),
        multiprocessing.Process(target=compute_cos, args=(queue, x)),
        multiprocessing.Process(target=compute_tan, args=(queue, x)),
        multiprocessing.Process(target=compute_exp, args=(queue, x))
    ]

    # 启动所有进程
    for p in processes:
        p.start()

    # 等待所有进程完成
    for p in processes:
        p.join()

    # 从队列中获取所有结果,存入字典results
    results = {}
    while not queue.empty():
        key, value = queue.get()
        results[key] = value

    # 使用matplotlib进行绘图
    plt.figure(figsize=(10, 6))
    if results:
        for key, value in results.items():
            plt.plot(x, value, label=key)
        plt.title('Various Mathematical Functions')
        plt.xlabel('x')
        plt.ylabel('f(x)')
        plt.ylim(-5, 5)  # 设置y轴的显示范围
        plt.legend()
        plt.show()
    else:
        print("No data to plot.")

图片


以上内容总结自网络,如有帮助欢迎转发,我们下次再见!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/735149.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【ajax基础】回调函数地狱

一:什么是回调函数地狱 在一个回调函数中嵌套另一个回调函数(甚至一直嵌套下去),形成回调函数地狱 回调函数地狱存在问题: 可读性差异常捕获严重耦合性严重 // 1. 获取默认第一个省份的名字axios({url: http://hmaj…

第一次接触Swing

学习java版的HslCommunication发现使用的是Swing,所以了解了一下~ 了解: Swing是Java的标准库(Java Foundation Classes, JFC)的一部分,用于构建桌面应用程序的图形用户界面(GUI)。它是Java AWT…

Java程序之百鸡百钱问题

题目: 百钱买百鸡的问题算是一套非常经典的不定方程的问题,题目很简单:公鸡5文钱一只,母鸡3文钱一只,小鸡3只一文钱,用100文钱买一百只鸡,其中公鸡,母鸡,小鸡都必须要有,…

JWT介绍及其基本使用

JWT介绍及其基本使用 官网:https://jwt.io/ 什么是JWT 全称:JSON Web Token(JSON Web令牌) 一个开放标准(RFC 7519) ,它定义了一种紧凑和自包含的方式, 用于作为 JSON 对象在各方之间安全地传输信息。此信…

Day 30:100344. 使二进制数组全部等于1的最小操作次数Ⅰ

Leetcode 100344. 使二进制数组全部等于1的最小操作次数Ⅰ 给你一个二进制数组 nums 。 你可以对数组执行以下操作 任意 次(也可以 0 次): 选择数组中 任意连续 3 个元素,并将它们 全部反转 。 反转 一个元素指的是将它的值从 0 变…

云资源管理系统-项目部署

云资源管理系统-项目部署 大家好,我是秋意零。 今天分享个人项目同时也是个人毕设项目,云平台资源管理系统。该系统具备对OpenStack最基本资源的生命周期管理,如:云主机、云盘、镜像、网络。 该篇主要介绍,项目在Li…

idea2022激活

下载激活脚本 解压后,打开文件夹如下:ja-netfilter.jar 为激活补丁: 复制补丁所在的整个文件夹到硬盘某个位置 将 ja-netfilter补丁所在的整个文件夹移动到电脑上某个位置,我是放到了 D 盘下: (路径中不…

【职场人】职场故事:与邀功精的共舞

在我的职业生涯中,我遇到过一位特别引人注目的同事,我们都叫他李经理。他的工作能力并不差,但他有一个习惯,那就是喜欢邀功。他的这种习惯,不仅让我印象深刻,也让我在合作中学会了不少东西。 恶心的四件事 …

包含网关的概念及案例演示

包容网关 知识点讲解 包容网关可以看作排他网关和并行网关的结合体。与排他网一样,可以在外出顺序流上定义条件,但与排他网关不同的是, 进行决策判读时,包容网关所有条件为true的后继分支都会被依次执行。如果所有分支条件都为fa…

【mysql】建库

通过命令建库: CREATE DATABASE database_name; 如果是用Workbench:

QuantML-Qlib Model | Kansformer: KAN+Transformer时序模型用于股票收益率预测

QuantML-Qlib Model | Kansformer: KANTransformer时序模型用于股票收益率预测 原创 QuantML QuantML 2024-06-18 20:57 上海 Content 之前公众号介绍了几篇KAN的文章,也做过KAN相关的模型: What KAN I say?KAN代码全解析 Qu…

android——Spinner下拉列表案例详解

使用案例 效果图: ![](https://img-blog.csdnimg.cn/20190327125727253.png?x-oss-processimage/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0​ L3FxXzQwMjA1MTE2,size_16,color_FFFFFF,t_70) 代码实现: 下拉列…

Python中常见图形绘制

1、背景介绍 在点云三维重建中,常涉及到常见几何图形绘制,如直线、多边形、圆形、正方形、长方形等。因此,本次博客结合matplotlib库,介绍常见几何图形的绘制。 2、几何图形绘制 2.1 线段绘制 线段是一种常见的几何图形&#xff…

Pip换源秘籍:让你的Python包飞行起来!

在Python的包管理中,Pip是最重要的工具之一。它允许开发者从Python Package Index (PyPI)安装包,但有时由于网络问题或服务器负载过高,直接从PyPI安装包可能会非常慢。这时,更换Pip源到一个更快的镜像站点是一个常见的解决方案。本…

人工智能在数字病理切片虚拟染色以及染色标准化领域的研究进展|顶刊速递·24-06-23

小罗碎碎念 本期推文主题:人工智能在数字病理切片虚拟染色以及染色标准化领域的研究进展 这一期的推文是我发自内心觉得为数不多,特别宝贵的一篇推文,原因很简单——可参考的文献相对较少&方向非常具有研究意义&现在不卷。 数字病理…

洛谷P8502题解

[problem] \color{blue}{\texttt{[problem]}} [problem] [Solution] \color{blue}{\texttt{[Solution]}} [Solution] 这题最恶心的地方是卡空间。 我们先考虑不卡空间时怎么做。 直接并不好做,我们考虑正难则反,即利用容斥原理。答案应为从 a a a 没…

PostgreSQL如何定义缓冲区管理器?

目录 一、PostgreSQL是什么二、缓冲区管理器介绍三、缓冲区管理器的应用场景四、如何定义缓冲区管理器 一、PostgreSQL是什么 PostgreSQL是一种高级的开源关系型数据库管理系统(RDBMS),它以其稳定性、可靠性和高度可扩展性而闻名。它最初由加…

职升网:注安工程师适合用什么样的答题方法?

一、熟悉题型与答题方法: 不同科目和题型有不同的答题技巧。例如,选择题可采用排除法、关键词推理法及对比分析法等方式答题;案例分析题则需要全面考虑,逐条举例。 二、合理规划时间: 在考试时,要合理规…

ICP、ISP及IAP烧录介绍

文章目录 不同的程序下载方式一、ICP:In-Circuit Programming二、ISP:In-System Programming三、IAP:In-Application ProgrammingIAP方案设计不同的程序下载方式 目前,单片机的程序烧录方式可以分为三种:ICP、ISP、IAP。 ICP:In Circuit Programing,在电路编程; ISP:…

【辨析】快速了解RBF神经网络与BP神经网络的区别

本文来自《老饼讲解-BP神经网络》https://www.bbbdata.com/ 目录 一、RBF与BP模型简介1.1.模型结构1.2.模型表达式 二、RBF神经网络与BP神经网络的对比2.1 RBF与BP的激活函数对比2.2 RBF与BP的思想对比 三、RBF神经网络与BP神经网络的训练方法对比2.1.BP神经网络的训练2.2.RBF神…