Python数据处理实战(5)-上万行log数据提取并分类进阶版

系列文章:
0、基本常用功能及其操作
1,20G文件,分类,放入不同文件,每个单独处理
2,数据的归类并处理
3,txt文件指定的数据处理并可视化作图
4,上万行log数据提取并作图进阶版
5、上万行数据提取并分类进阶版(本文)

 一、需求

         如果同时测试的数据和器件非常多,比如像芯片测试,同侧数量非常多的情况下,1,2,8,16,等等,我们想单独分析每个器件的数据怎么办呢,这时需要先分开,或者你直接打印对应的文件数量,但是那样有点小问题,不太优雅,所以我们有了这个需求

二、思路

 1、文件操作,读取并每行识别

 2、特定的字符的识别(正则表达式)

 3、如何将对应的行,写出到新的数据

对相应操作不熟悉的同学,可以参考文章开头的系列文章:  0、基本常用功能及其操作

三、代码及其解释

 用了正则表达式来提取并识别对应的字符或者数字

文件操作

def site_select():
    import re
    # 定义一个函数,用于提取 Site[& 和 &]= 之间的数据
    def extract_data(line):
        match = re.search(r'Site\[&(.*?)&\]=(.*?)$', line)
        if match:
            site_name = match.group(1).strip()
            data = match.group(2).strip()
            return site_name, data
        return None, None
    
    # 读取输入文件
    input_file = "./log/SR0_00-P.txt"
    
    # 打开输入文件并逐行处理
    with open(input_file, 'r') as f:
        for line in f:
            site_name, data = extract_data(line)
            if site_name and data:
                output_file = f"./log/{site_name}_data.txt"
                with open(output_file, 'a') as site_file:
                    site_file.write(line)
    print("数据已成功写入到对应的文件中。")

 

 于是呢,我们就自动把每个SITE或者器件的log文件分开了

当然有待提高,可接着前一篇文章的内容作图,链接如下或者文章开头

Python数据处理实战(5)-上万行log数据提取并作图进阶版

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/439369.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【Linux】iftop命令详解

目录 一、iftop简介 二、安装iftop命令 2.1 命令查看测试环境系统信息 2.2 查看iftop版本与命令帮助 三、iftop的基本使用 3.1 直接使用iftop命令 3.2 iftop的显示说明 3.3 指定监控某块网卡 3.4 显示某个网段进出封包流量 3.5 按照流量排序 3.6 过滤显示连接 3.7 …

基于单片机的老人防丢系统设计

目 录 摘 要 I Abstract II 引 言 3 1 系统总体架构 6 1.1方案设计与选择 6 1.2 系统架构设计 6 1.3 系统器件选择 7 2 系统硬件设计 9 2.1 单片机外围电路设计 9 2.2 LCD1602液晶显示电路设计 12 2.3 短信模块电路设计 14 2.4 GPS模块电路设计 14 2.5 电源与按键控制电路设计…

OpenStack之Nova

一 、Nova 使用OpenStack Compute来托管和管理云计算系统。 OpenStack Compute是基础架构即服务 (IaaS)系统的主要部分。 主要模块在Python中实现: 1因为认证,与OpenStack 身份认证keystone 交互。 2因为磁盘和服务器镜像&#xf…

红酒:酿造过程中的设备升级与技术革新

随着科技的不断进步,葡萄酒酿造行业也在经历着设备升级与技术革新的浪潮。云仓酒庄作为业界的持续发展者,始终关注行业动态,积极引入创新的酿造设备和技术,以提升雷盛红酒系列的品质和生产效率。本文将和云仓酒庄雷盛红酒一起探讨…

在钉钉群中添加极狐GitLab 机器人

GitLab 是一个全球知名的一体化 DevOps 平台,很多人都通过私有化部署 GitLab 来进行源代码托管。极狐GitLab 是 GitLab 在中国的发行版,专门为中国程序员服务。可以一键式部署极狐GitLab。 可以在钉钉群中添加极狐GitLab 机器人实现消息通知&#xff0c…

java SSM旅游景点与公交线路查询系统myeclipse开发mysql数据库springMVC模式java编程计算机网页设计

一、源码特点 java SSM旅游景点与公交线路查询系统是一套完善的web设计系统(系统采用SSM框架进行设计开发,springspringMVCmybatis),对理解JSP java编程开发语言有帮助,系统具有完整的源代码和数据库,系…

使用Python获取B站视频并在本地实现弹幕播放功能

目录 一、获取B站视频 二、弹幕获取与解析 三、本地视频播放与弹幕同步 四、案例与代码实现 五、总结 随着网络技术的不断发展,视频分享平台如B站(Bilibili)已成为广大网友观看、分享视频的重要场所。然而,有时候我们可能希望…

3.7 FreeRTOS day2

思维导图: 1.使用ADC采样光敏电阻数值,如何根据这个数值调节LED灯亮度。 配置ADC以读取光敏电阻的电压值,配置PWM以控制LED的亮度。使用ADC读取光敏电阻的电压值。这个值将随着环境光线的变化而变化。将ADC读取的原始值映射到一个更易于处理…

3/8—88. 合并两个有序数组

代码实现&#xff1a; void merge(int *nums1, int nums1Size, int m, int *nums2, int nums2Size, int n) {int i 0 , j 0;while (i < m && j < n) {if (nums2[j] < nums1[i]) {for (int k m - 1; k > i; k--) {nums1[k 1] nums1[k];}nums1[i] nums…

点亮城市名片丨计讯物联智慧灯杆系统在通讯基地的成功应用

项目背景 在国家新型城镇化大背景下&#xff0c;十四五规划纲要强调“加快数字化发展&#xff0c;建设数字中国”&#xff0c;明确提出“以数字化助推城乡发展和治理模式创新”&#xff0c;全面提高城市的运行效率和宜居程度。 项目概况 为满足灯杆灯光亮度的远程智能管理、对…

管理类联考--复试--面试问题--底层逻辑

文章目录 了解面试官提问问题的背后逻辑&#xff0c;在面试时遇到&#xff0c;即使不懂&#xff0c;也能往边边靠近哈一句顶一万句自我介绍 了解面试官提问问题的背后逻辑&#xff0c;在面试时遇到&#xff0c;即使不懂&#xff0c;也能往边边靠近哈 “你最有挑战性的事是啥”…

1.2_2 OSI参考模型

文章目录 1.2_2 OSI参考模型一、概述&#xff08;一&#xff09;ISO/OSI参考模型是怎么来的&#xff1f;&#xff08;二&#xff09;ISO/OSI参考模型&#xff08;三&#xff09;ISO/OSI参考模型解释通信过程 二、各层功能及协议&#xff08;一&#xff09;应用层&#xff08;第…

建议你一定要读的10本网络安全书籍

作为一名网安人&#xff0c;身上肩负的责任是很大的&#xff0c;能力越大&#xff0c;责任也越大&#xff0c;反过来责任越大&#xff0c;能力也必须跟得上。 以前我们通过读书来获取知识&#xff0c;但在碎片化的现代社会&#xff0c;阅读已经成为一件“奢侈”的事儿了&#…

互联世界的桥梁:探索Facebook如何连接人与人之间的纽带

在当今数字化时代&#xff0c;社交媒体平台已经成为人们日常生活中不可或缺的一部分。其中&#xff0c;Facebook作为全球最大的社交媒体平台之一&#xff0c;扮演着连接人与人之间纽带的重要角色。本文将深入探索Facebook如何成为互联世界的桥梁&#xff0c;促进人们之间的交流…

nginx代理minio客户端

错误方式 在点击桶名查看文件时, 会一直处于loading加载中 worker_processes 1; #设置 Nginx 启动的工作进程数为 1。events {worker_connections 1024; ##设置每个工作进程的最大并发连接数为 1024。 }http {include mime.types; #该文件定义了文件扩展名和 MIME 类型…

HTML静态网页成品作业(HTML+CSS)——电影网首页网页设计制作(1个页面)

&#x1f389;不定期分享源码&#xff0c;关注不丢失哦 文章目录 一、作品介绍二、作品演示三、代码目录四、网站代码HTML部分代码 五、源码获取 一、作品介绍 &#x1f3f7;️本套采用HTMLCSS&#xff0c;未使用Javacsript代码&#xff0c;共有1个页面。 二、作品演示 三、代…

Docker-完整项目的部署(保姆级教学)

目录 1 手动部署(白雪版) 1.1 创建网络 1.2 MySQL的部署 1.2.1 准备 1.2.2 部署 1.3 Java项目的部署 1.3.1 准备 1.3.1.1 将Java项目打成jar包 1.3.1.2 编写Dockerfile文件 1.3.2 部署 1.3.2.1 将jar包、Dockerfile文件放在linux同一个文件夹下 1.3.2.2 构建镜像 …

3/6—27. 移除元素

代码实现&#xff1a; 方法一&#xff1a;快慢指针 int removeElement(int *nums, int numsSize, int val) {int slow 0; for (int fast 0; fast < numsSize; fast) { if (val ! nums[fast]) { nums[slow] nums[fast]; }}return slow; } 方法二&#xff1a;遍历 int rem…

Publii和GitHub:搭建个人网站的完美组合

在数字时代&#xff0c;拥有一个个人网站已经非常普遍了&#xff0c;但是&#xff0c;很多人因为技术难题而望而却步。现在&#xff0c;有了Publii&#xff0c;这一切都将变得简单。Publii是一个静态网站生成器&#xff0c;它允许你在本地计算机上创建和管理内容&#xff0c;然…

【个人学习笔记】概率论与数理统计知识梳理【六】

文章目录 第六章 样本及抽样分布一、随机抽样二、直方图与箱线图2.1 直方图2.2 箱线图 三、抽样分布总结 第六章 样本及抽样分布 好久没更新了&#xff0c;重新捡起来把它更完吧&#xff0c;可能会再开一个机器学习的笔记系列&#xff0c;参考用书是周志华的西瓜书。前五章主要…