Python学习笔记29：进阶篇(十八)常见标准库使用之质量控制中的数据清洗

前言

本文是根据python官方教程中标准库模块的介绍，自己查询资料并整理，编写代码示例做出的学习笔记。

根据模块知识，一次讲解单个或者多个模块的内容。

教程链接：https://docs.python.org/zh-cn/3/tutorial/index.html

质量控制

质量控制(Quality Control, QC)，主要关注于提高代码质量、确保数据准确性和程序稳定性。

数据质量

数据质量是指数据满足其预定用途所要求的准确性、完整性、一致性、及时性和有效性的程度。良好的数据质量是数据分析、决策支持以及模型训练等过程成功的基础。把控数据质量主要包括以下几个方面：

数据质量的要素：

  1. 准确性：数据是否正确无误，没有错误或偏差。
  2. 完整性：数据集中是否存在缺失值或丢失的信息。
  3. 一致性：数据内部及跨数据集之间是否存在矛盾或不匹配。
  4. 时效性：数据是否是最新的，能否反映当前状况。
  5. 有效性：数据是否符合预期的格式和范围，如日期格式正确、数值在合理范围内。
  6. 唯一性：记录是否有重复。
  7. 可追溯性：数据的来源和变更历史是否清晰可查。

如何把控数据质量：

  1. 数据验证规则：定义一套数据验证规则，比如字段格式、范围限制、唯一性约束等，并在数据输入时或定期进行检查。
  2. 数据清洗：使用Python中的Pandas等库进行数据清洗，包括处理缺失值、去除重复数据、纠正错误数据等。
  3. 数据质量报告：定期生成数据质量报告，包括数据概况、缺失值统计、异常值检测等，以便监控数据质量变化。
  4. 自动化检查：利用脚本或工具自动化执行数据质量检查任务，提高效率并减少人为错误。
  5. 数据治理：建立数据治理框架，明确数据责任人，制定数据管理策略和流程，确保数据从源头到应用的每个环节都有质量控制。
  6. 用户反馈循环：鼓励数据使用者反馈数据问题，建立快速响应机制，及时修正数据错误。
  7. 持续监控：实施数据质量监控系统，对关键指标进行实时或定期监控，一旦发现数据质量问题立即报警并采取措施。

通过上述方法，可以在Python中有效地把控数据质量，确保数据分析和决策基于可靠的数据基础之上。

数据清洗

数据清洗是数据预处理的关键步骤，旨在识别并纠正数据集中的错误、不完整、不准确或无关的部分，以提升数据质量，确保后续分析或建模的准确性。
在Python中，数据清洗通常借助pandas库完成。

示例
  1. 打开文件，read_xxx()。常用的入参就是文件路径和编码，如过有用到其他参数的用法，临时再学就好了。
import pandas as pd

# 打开一个名为"test.csv"的文件,没有就新建一个，我就是新建的
df = pd.read_csv('test.csv', encoding='gbk')

pd模块中还有很多read开头的函数，自行尝试。

在这里插入图片描述

  1. head(n=5)函数：获取指定行数信息
    这个函数可以获取你拿到的数据的指定行数的部分，默认值是五。

    # 读取一下文件的信息,打印1行试试
print(df.head(1))

    这是打印出的数据 在这里插入图片描述
    这是文件内容，注意我们的是csv文件，从Alice开始的才算是正式的数据
    在这里插入图片描述
    再换成打印3行试试，因为我们数据就3行
    在这里插入图片描述
    可以看到，数据全部打印了，前面有012，这个很好理解，我不多解释了。

  2. info()函数：获取数据信息
    函数用于展示DataFrame(简单理解为就是我们打开的数据)的结构、类型和内存使用情况。

    使用起来很简单，直接调用就好了。

    参数说明

    • verbose：默认为None，如果设置为True或False，将覆盖pd.options.display.max_info_columns的设置，控制是否打印所有列的详细信息。如果DataFrame的列数超过max_info_columns，默认行为是仅显示前后的部分列。
    • buf：默认为sys.stdout，指定输出信息的目标，可以是一个文件对象或者具有write()方法的任何对象。
    • max_cols：控制在详细输出中显示的最大列数。如果DataFrame的列数超过这个值，且verbose未被显式设置，那么将显示简略的摘要而非所有列的详情。默认值来自pd.options.display.max_info_columns。
    • memory_usage：控制是否显示DataFrame及其索引的内存使用情况。可以是布尔值(True/False)，或者字符串"deep"。"deep"会更深入地计算内存使用，包括嵌套结构的内存。默认情况下，仅显示内存使用情况的摘要。
    • null_counts：在pandas的新版本中，此参数已被移除，因为现在默认总是显示非空值的数量。

    返回值
    info()函数本身不返回任何值，而是直接打印输出到控制台或指定的缓冲区。输出内容通常包括：

    • DataFrame的总行数和列数。
    • 每列的名称、非空值数量、数据类型。
    • 索引的类型和非空值数量。
    • 如果设置了memory_usage=True或memory_usage=‘deep’，还会显示DataFrame及其索引的内存使用量。
    print(df.info())

    在这里插入图片描述
    稍微解释一下：

    • 类信息:<class ‘pandas.core.frame.DataFrame’> 表明df是一个pandas的DataFrame对象。
    • 索引范围:RangeIndex: 3 entries, 0 to 2 表示DataFrame有3行数据，索引是从0到2的整数序列。
    • 数据列详情:
    • 列出了每一列的名称（Column）、非空值的数量（Non-Null Count）以及数据类型（Dtype）。
    • 列1 (Name)：3个非空值，数据类型为object（通常表示字符串）。
    • 列2 (Age)：3个非空值，数据类型为int64（整数）。
    • 列3 (City)：3个非空值，数据类型为object（通常表示字符串）。
    • 数据类型汇总:dtypes: int64(1), object(2) 总结了DataFrame中各数据类型的列数。这里说明有1列是int64类型，2列是object类型。
    • 内存使用:memory usage: 204.0+ bytes 表示该DataFrame占用的大约内存大小。注意这里的“+”表明计算可能不是完全精确的，特别是当使用memory_usage='deep’时，但对于估计内存消耗很有帮助。
    • 结尾的None：这是因为df.info()函数实际上没有返回值（返回None），它直接将信息输出到控制台。当你在Python脚本或交互式环境中 调用print(df.info())时，最终的None是由print函数打印出来的，表示df.info()执行完毕并没有返回任何可供打印的实际内容。

  3. isnull()函数：获取缺失值对象

    print(df.isnull)

    这个函数会返回一个和原来数据结构相同但是为布尔值的对象，通过这个对象，我们可以对数据中的缺失值进行操作。

    简单修改一下原来的数据。

    在这里插入图片描述

    通过isnull函数，我们可以明确看到哪一行哪一列有缺失值，通过sum函数，我们可以明确知道的哪一列缺失了几个值。

    在这里插入图片描述

    通过前后几次的输出对比，可以明显发现我们已经将name一列的缺失值补充上去，并且为我们设置的值x。

    最后输出框中出现一堆红色的告警，提示的是关于链式赋值（chained assignment）和 inplace 操作的问题。pandas 3.0版本中，这种通过链式赋值进行的inplace操作可能不再有效，因为中间对象可能被视为原对象的一个副本，而不是原对象本身。
    为了避免这个警告并确保代码在未来版本的pandas中也能正常工作，您可以按照警告的建议采用以下两种方式之一：df.method({col: value}, inplace=True)或者df[col] = df[col].method(value)。

    换成我们的代码就是

    # 方法1
df.fillna({'Name': "x"}, inplace=True)
# 方法2
df['Name'] = df['Name'].fillna("x")

  4. dropna()函数：删除有缺失值的行

    # 直接删除含有缺失值的行
df.dropna(inplace=True)

    在这里插入图片描述

  5. drop_duplicates()函数：删除重复数据

    df.drop_duplicates(inplace=True)

    在这里插入图片描述

  6. astype()函数：类型转换

    	# 将某列转换为整型
df['column_name'] = df['column_name'].astype(int)

    在这里插入图片描述
    注意如果列有缺失值，可能会导致转换失败，别问我怎么知道的。

  7. 文本数据清洗：.str

    # 去除空格
df['text_column'] = df['text_column'].str.strip()
# 大小写
df['text_column'] = df['text_column'].str.lower()

    这个就不单独运行了，看函数名就知道啥作用

  8. replace()函数：替换特定值

    df['column_name'].replace('old_value', 'new_value', inplace=True)

    在这里插入图片描述

数据清洗的方法还有很多，想写完不太可能，写一些常用的简单的认知一下即可。

结尾

数据质量不止数据清洗这一项，还有其他很多项，但是基本都是配合着一起来的。这里只是初步认知，不需要讲那么多。大概都了解了，就进到项目那一块去，等你写出一个项目，比如一个小游戏后，成就感足以让你继续向下努力学习了，这里太深入讲只会浪费热情，耐心。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/775673.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

RedHat / CentOS安装FTP服务

RedHat / CentOS安装FTP服务

本章教程，记录在RedHat / CentOS中安装FTP的具体步骤。FTP默认端口:21 1、安装 epel 源 yum install -y epel-release2、安装 pure-ftpd yum -y install pure-ftpd3、修改默认配置 # 默认配置位于 /etc/pure-ftpd/pure-ftpd.conf，在配置文件中找到下面几个参数进行修改：#…
阅读更多...
并发、多线程和HTTP连接之间有什么关系？

并发、多线程和HTTP连接之间有什么关系？

一、并发的概念 并发是系统同时处理多个任务或事件的能力。在计算中&#xff0c;这意味着系统能够在同一时间段内处理多个任务&#xff0c;而不是严格按照顺序一个接一个地执行它们。并发提高了系统的效率和资源利用率&#xff0c;从而更好地满足用户的需求。在现代应用程序中&…
阅读更多...
C++ windows下使用openvino部署yoloV8

C++ windows下使用openvino部署yoloV8

目录 准备版本&#xff1a; 准备事项: 选择配置界面&#xff1a; 下载界面&#xff1a; ​编辑 添加VS配置&#xff1a; 准备代码&#xff1a; yolov8.h yolov8.cpp detect.cpp 如何找到并放置DLL&#xff1a; 准备版本&#xff1a; opencv 4.6.0 openvino 2024.0…
阅读更多...
深度解读：Etched Sohu与Groq LPU芯片的区别

深度解读：Etched Sohu与Groq LPU芯片的区别

本文简单讲解一下Etched Sohu与Groq LPU两种芯片的区别。 设计理念的差异 首先&#xff0c;这两款产品在设计理念上完全是两条不同的路线。Etched Sohu芯片的设计理念是围绕Transformer模型进行优化。Transformer模型近年来在NLP任务中表现出色&#xff0c;Etched公司因此为其…
阅读更多...
SpringSecurity中文文档（Servlet Password Storage）

SpringSecurity中文文档（Servlet Password Storage）

存储机制&#xff08;Storage Mechanisms&#xff09; 每种支持的读取用户名和密码的机制都可以使用任何支持的存储机制&#xff1a; Simple Storage with In-Memory AuthenticationRelational Databases with JDBC AuthenticationCustom data stores with UserDetailsServic…
阅读更多...
4个免费文章生成器，为你免费一键生成原创文章

4个免费文章生成器，为你免费一键生成原创文章

在当今的创作领域&#xff0c;创作者们常常陷入各种困境。灵感的缺失、内容创新的压力&#xff0c;每一项都如同沉重的枷锁&#xff0c;束缚着他们的创作步伐。但随着免费文章生成器的出现&#xff0c;宛如一场及时雨&#xff0c;为创作者们带来了新的希望和转机。免费文章生成…
阅读更多...
【ABB】原点设定

【ABB】原点设定

【ABB】原点设定 操作流程演示 操作流程 操作轴回原点编辑电机校准偏移更新转速计数器 1.首先得了解机器手的轴&#xff0c;这里以6轴作参考。 注意先回456轴&#xff0c;后回123轴。 2.然后需要了解机器人关节运动模式&#xff0c;即选择如下两个模式。 3.注意机器人各轴移动…
阅读更多...
19C 单机文件系统安装文档

19C 单机文件系统安装文档

准备工作 1)查看系统版本、内核参数 more /etc/redhat-release more /etc/redflag-releaseuname -a2)查看当前系统是否配置了HugePages。在下面的查询中&#xff0c;HugePages的几个相关值都为0&#xff0c;表明当前未配值HugePages&#xff0c;其次可以看到该版本的大页大小为…
阅读更多...
Linux服务器性能参数指标

Linux服务器性能参数指标

【摘要】一个基于 Linux 操作系统的服务器运行的同时&#xff0c;会表征出各种各样参数信息&#xff0c;这些蛛丝马迹往往会帮助快速定位跟踪问题。 这里只是一些简单的工具查看系统的相关参数&#xff0c;当然很多工具也是通过分析加工 /proc、/sys 下的数据来工作的&#xff…
阅读更多...
课设：选课管理系统（Java+MySQL）

课设：选课管理系统（Java+MySQL）

在本博客中&#xff0c;我将介绍用Java、MySQL、JDBC和Swing GUI开发一个简单的选课管理系统。 技术栈 Java&#xff1a;用于编写应用程序逻辑MySQL&#xff1a;用于存储和管理数据JDBC&#xff1a;用于连接Java应用程序和MySQL数据库Swing GUI&#xff1a;用于构建桌面应用程…
阅读更多...
RH850系列芯片深度剖析 1.8-内存管理之MPU

RH850系列芯片深度剖析 1.8-内存管理之MPU

RH850系列芯片深度剖析 1.8-内存管理之MPU 文章目录 RH850系列芯片深度剖析 1.8-内存管理之MPU一、MPU简介1.1 功能特性1.2 系统保护标识符（SPID）二、保护区域设置2.1 保护区域属性设置2.2 保护区域设置注意事项2.2.1 跨越保护区域边界2.2.2 无效的保护区域设置2.2.3 保护违规…
阅读更多...
【anaconda】—“conda info“命令后conda配置和环境信息的理解

【anaconda】—“conda info“命令后conda配置和环境信息的理解

文章目录 conda配置和环境信息的理解 conda配置和环境信息的理解 安装anaconda成功后&#xff0c;打开cmd&#xff0c;输入"conda info"命令&#xff0c;结果显示如下&#xff1a; conda的配置和环境信息的输出。以下是对每个字段的解释&#xff1a; active environm…
阅读更多...
记录一下被一行代码耽误的一下午

记录一下被一行代码耽误的一下午

记录一下被一行代码耽误的一下午 代码如下&#xff1a; defineOptions({name: OrderRewards})起因使用了yudao的项目框架&#xff0c;前端页面切换之后莫名其妙重新刷新页面&#xff0c;而另外的页面则会保存检索条件 页面配置页面 设定路由的名字&#xff0c;一定要填写不然…
阅读更多...
【HarmonyOS4学习笔记】《HarmonyOS4+NEXT星河版入门到企业级实战教程》课程学习笔记（二十二）

【HarmonyOS4学习笔记】《HarmonyOS4+NEXT星河版入门到企业级实战教程》课程学习笔记（二十二）

课程地址&#xff1a; 黑马程序员HarmonyOS4NEXT星河版入门到企业级实战教程&#xff0c;一套精通鸿蒙应用开发 &#xff08;本篇笔记对应课程第 32 节&#xff09; P32《31.通知-基础通知》 基础文本类型通知&#xff1a;briefText 没有用&#xff0c;写了也白写。 长文本类型…
阅读更多...
[SAP ABAP] 版本管理

[SAP ABAP] 版本管理

版本管理是指软件开发过程中各种程序代码、配置文件以及说明文档等文件变更的管理 生成版本 版本管理 对比版本 点击上述版本管理即可进行版本对比操作 补充扩展 我们可以使用事务码SE10对传输请求进行创建、修改、删除、合并以及更改所有者等操作 使用事务码SCC1进行不同cl…
阅读更多...
CV01_相机成像原理与坐标系之间的转换

CV01_相机成像原理与坐标系之间的转换

目录 0.引言&#xff1a;小孔成像->映射表达式 1. 相机自身的运动如何表征&#xff1f;->外参矩阵E 1.1 旋转 1.2 平移 2. 如何投影到“像平面”&#xff1f;->内参矩阵K 2.1 图像平面坐标转换为像素坐标系 3. 三维到二维的维度是如何丢失的&#xff1f;…
阅读更多...
【CentOS7.6】docker部署EMQX教程，本地镜像直接导入（附下载链接），没法在云服务器上魔法拉取镜像的快来

【CentOS7.6】docker部署EMQX教程，本地镜像直接导入（附下载链接），没法在云服务器上魔法拉取镜像的快来

总览 先把下载链接放在这里吧&#xff0c;这是 EMQX 的 tar 包&#xff0c;能够直接导入 CentOS 的 docker&#xff1a; 链接&#xff1a;https://pan.baidu.com/s/1rSGSLoVvj83ai6d5oolg8Q?pwd0108 提取码&#xff1a;0108 一、安装配置教程 1.将 EMQX-latest.tar 包导入…
阅读更多...
记录第一次写脚本

记录第一次写脚本

使用csh语言&#xff0c;Linux系统操作的 写和执行csh&#xff08;C Shell&#xff09;脚本不需要额外的软件&#xff0c;只需要一个支持csh的终端环境。 1.检查是否安装了C Shell 在终端terminal运行以下命令 which csh 如果返回路径&#xff0c;比如/bin/csh&#xff0c…
阅读更多...
【mybatis】mybatisX插件概述

【mybatis】mybatisX插件概述

一、主要功能 智能补全与提示 MyBatisX 可以智能地提示和补全 SQL 语句中的关键字、表名、列名等信息&#xff0c;从而显著提高开发效率。代码生成器 虽然 MyBatisX 本身可能不直接提供一个完整的、独立的代码生成器&#xff0c;但它可能集成了或支持与其他代码生成工具&#…
阅读更多...
【Linux进阶】磁盘分区2——MBR和GPT

【Linux进阶】磁盘分区2——MBR和GPT

1.磁盘的分区 因为如果你的磁盘被划分成两个分区&#xff0c;那么每个分区的设备文件名是什么&#xff1f; 在了解这个问题之前&#xff0c;我们先来复习一下磁盘的组成&#xff0c;因为现今磁盘的划分与它物理的组成很有关系。 我们谈过磁盘主要由碟片、机械手臂、磁头与主轴马…
阅读更多...
最新文章

Copyright @ 2022~2023