Py之ydata-profilin：ydata-profiling的简介、安装、使用方法之详细攻略

Py之ydata-profilin：ydata-profiling的简介、安装、使用方法之详细攻略

目录

ydata-profiling的简介

1、主要特点

2、案例应用

(1)、比较数据集、对时序数据集进行分析、对大型数据集进行分析、处理敏感数据、数据集元数据和数据字典、自定义报告的外观、不同类型的存储中消耗数据

(2)、该软件包在各种数据集和数据类型中的潜力

3、pandas-profiling命令已改为ydata-profiling

(1)、如何修复主要用例的错误

(2)、关于 pandas-profiling

ydata-profiling的安装

ydata-profiling的使用方法

1、基础用法

(1)、生成标准的分析报告

(2)、在Jupyter Notebooks中

(3)、在命令行中使用

ydata-profiling的简介

ydata-profiling 的主要目标是在一致且快速的解决方案中提供一行探索性数据分析（EDA）体验。与 pandas 的 df.describe() 函数一样方便，ydata-profiling 提供了对 DataFrame 的扩展分析，同时允许将数据分析导出为不同格式，如 html 和 json。该软件包输出了数据集的简单和简洁的分析，包括时间序列和文本。

寻找一个可扩展的解决方案，可以完全与您的数据库系统集成吗？利用 YData Fabric 数据目录连接到不同的数据库和存储（Oracle、snowflake、PostGreSQL、GCS、S3 等），在 Fabric 中利用交互式和引导式分析体验。查看社区版本。

1、主要特点

>> 类型推断：自动检测列的数据类型（分类、数值、日期等）

>> 警告：列出数据中可能需要处理的问题/挑战的摘要（缺失数据、不准确性、偏斜度等）

>> 单变量分析：包括描述性统计（均值、中位数、众数等）和信息丰富的可视化，如分布直方图

>> 多变量分析：包括相关性、详细分析缺失数据、重复行，并支持变量成对交互的可视化

>> 时间序列：包括相对于时间相关的不同统计信息，如自相关性和季节性，以及 ACF 和 PACF 图。

>> 文本分析：最常见的类别（大写、小写、分隔符）、脚本（拉丁文、西里尔文）和块（ASCII、西里尔文）

>> 文件和图像分析：文件大小、创建日期、维度、截断图像的指示和 EXIF 元数据的存在

>> 比较数据集：一行解决方案，快速完整地比较数据集的报告

>> 灵活的输出格式：所有分析都可以导出为 HTML 报告，可以轻松与不同方进行共享，以 JSON 格式导出以便于在自动化系统中集成，以 Jupyter Notebook 中的小部件形式导出。

报告包含三个额外的部分：

>> 概览：关于数据集的全局细节（记录数、变量数、整体缺失率和重复率、内存占用）

>> 警告：潜在数据质量问题的综合和自动列表（高相关性、偏斜度、均匀性、零、缺失值、常量值等）

>> 重现：有关分析的技术细节（时间、版本和配置）

2、案例应用

(1)、比较数据集、对时序数据集进行分析、对大型数据集进行分析、处理敏感数据、数据集元数据和数据字典、自定义报告的外观、不同类型的存储中消耗数据

比较数据集 比较同一数据集的多个版本

对时序数据集进行分析 用一行代码为时序数据集生成报告

对大型数据集进行分析 关于如何准备数据和配置 ydata-profiling 以处理大型数据集的提示

处理敏感数据 生成对输入数据集中敏感数据谨慎考虑的报告

数据集元数据和数据字典 用数据集详细信息和列特定的数据字典补充报告

自定义报告的外观 更改报告页面和包含的可视化的外观

对数据库进行分析 对组织的数据库进行无缝分析体验，请查看 Fabric 数据目录，它允许从不同类型的存储中消耗数据，如 RDBMs（Azure SQL、PostGreSQL、Oracle 等）和对象存储（Google Cloud Storage、AWS S3、Snowflake 等），等等。

在 Jupyter Notebooks 中使用

有两种接口可以在 Jupyter 笔记本中使用报告：通过小部件和通过嵌入式 HTML 报告。

Use case

Description

Comparing datasets

Comparing multiple version of the same dataset

Profiling a Time-Series dataset

Generating a report for a time-series dataset with a single line of code

Profiling large datasets

Tips on how to prepare data and configure ydata-profiling for working with large datasets

Handling sensitive data

Generating reports which are mindful about sensitive data in the input dataset

Dataset metadata and data dictionaries

Complementing the report with dataset details and column-specific data dictionaries

Customizing the report's appearance

Changing the appearance of the report's page and of the contained visualizations

Profiling Databases

For a seamless profiling experience in your organization's databases, check Fabric Data Catalog, which allows to consume data from different types of storages such as RDBMs (Azure SQL, PostGreSQL, Oracle, etc.) and object storages (Google Cloud Storage, AWS S3, Snowflake, etc.), among others.

(2)、该软件包在各种数据集和数据类型中的潜力

  • Census Income (US Adult Census data relating income with other demographic properties)
  • NASA Meteorites (comprehensive set of meteorite landing - object properties and locations) 
  • Titanic (the "Wonderwall" of datasets)  
  • NZA (open data from the Dutch Healthcare Authority)
  • Stata Auto (1978 Automobile data)
  • Colors (a simple colors dataset)
  • Vektis (Vektis Dutch Healthcare data)
  • UCI Bank Dataset (marketing dataset from a bank)
  • Russian Vocabulary (100 most common Russian words, showcasing unicode text analysis)
  • Website Inaccessibility (website accessibility analysis, showcasing support for URL data)
  • Orange prices and
  • Coal prices (simple pricing evolution datasets, showcasing the theming options)
  • USA Air Quality (Time-series air quality dataset EDA example)
  • HCC (Open dataset from healthcare, showcasing compare between two sets of data, before and after preprocessing)

3、pandas-profiling命令已改为ydata-profiling

pandas-profiling 软件包的命名已更改。要继续对数据进行分析，请使用 ydata-profiling！该存储库实现了在 PyPI 上停用 pandas-profiling 软件包的减负策略。

随着pandas-profiling 的发展，有一个新的令人兴奋的功能 - 从版本 4.0.0 开始，我们很高兴地宣布，Spark 现在已经成为数据分析家族的一部分。随着其引入，还有一个新的命名需求，一个能够使分析的概念与 Pandas 数据框分离的命名 - ydata-profiling！

但不用担心，pip install pandas-profiling 仍然有效一段时间，我们将继续投入资源，使其成为最好的开源数据分析工具，以便您可以将其用于更多的用例。

(1)、如何修复主要用例的错误

使用 pip install ydata-profiling 而不是 pip install pandas-profiling

在您的 pip 要求文件中（如 requirements.txt、setup.py、setup.cfg、Pipfile 等...）用 ydata-profiling 替换 pandas-profiling

如果 pandas-profiling 软件包被您的一个依赖项使用，请花点时间跟踪哪个软件包使用 pandas_profiling 而不是 ydata_profiling 进行导入

弃用时间表

ydata-profiling 在 2 月 1 日发布。

pip install pandas-profiling 仍将在 4 月 1 日之前受支持，但会发出警告。from pandas_profiling import ProfileReport 将在 4 月 1 日之前受支持。

4 月 1 日之后，如果使用 pip install pandas-profiling，将会发出错误。请改为使用 pip install ydata-profiling。

4 月 1 日之后，如果使用 from pandas_profiling import ProfileReport，则会发出错误。请改为使用 from ydata_profiling import ProfileReport。

(2)、关于 pandas-profiling

pandas-profiling 的主要目标是提供一种一行代码的探索性数据分析（EDA）体验，以一致和快速的解决方案。就像 pandas 的 df.describe() 函数一样方便，pandas-profiling 提供了对 DataFrame 的扩展分析，同时允许将数据分析导出为不同格式，如 html 和 json。

该软件包输出了数据集的简单和简洁的分析，包括时间序列和文本。

ydata-profiling的安装

pip install ydata-profiling
pip install -i https://mirrors.aliyun.com/pypi/simple ydata-profiling
或
conda install -c conda-forge ydata-profiling

该软件包声明了“额外功能”，即一组额外的依赖项。
[notebook]：支持在 Jupyter 笔记本中呈现报告。
[unicode]：支持更详细的 Unicode 分析，但需要更多的磁盘空间。
[pyspark]：支持 pyspark 进行大型数据集分析
可以使用以下命令安装这些功能，例如
pip install -U ydata-profiling[notebook,unicode,pyspark]
pip install -i https://mirrors.aliyun.com/pypi/simple -U ydata-profiling[notebook,unicode,pyspark]

ydata-profiling的使用方法

1、基础用法

(1)、生成标准的分析报告

import numpy as np
import pandas as pd
from ydata_profiling import ProfileReport
df = pd.DataFrame(np.random.rand(100, 5), columns=["a", "b", "c", "d", "e"])
# 要生成标准的分析报告，只需运行：
profile = ProfileReport(df, title="Profiling Report")

(2)、在Jupyter Notebooks中


profile.to_widgets()
# HTML 报告可以直接以类似的方式嵌入单元格中：
profile.to_notebook_iframe()
# 将报告导出到文件
# 要生成 HTML 报告文件，请将 ProfileReport 保存到对象中，并使用 to_file() 函数：
profile.to_file("your_report.html")
# 或者，可以将报告的数据作为 JSON 文件获得：
# 作为 JSON 字符串
json_data = profile.to_json()
# 作为文件
profile.to_file("your_report.json")

(3)、在命令行中使用

对于标准格式的 CSV 文件（可以直接由 pandas 读取而无需其他设置），可以在命令行中使用 ydata_profiling 可执行文件。下面的示例生成名为 Example Profiling Report 的报告，使用名为 default.yaml 的配置文件，在 report.html 文件中处理 data.csv 数据集。

ydata_profiling --title "Example Profiling Report" --config_file default.yaml data.csv report.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/402414.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【MATLAB源码-第144期】基于matlab的蝴蝶优化算法（BOA）无人机三维路径规划，输出做短路径图和适应度曲线。

【MATLAB源码-第144期】基于matlab的蝴蝶优化算法（BOA）无人机三维路径规划，输出做短路径图和适应度曲线。

操作环境： MATLAB 2022a 1、算法描述 ​蝴蝶优化算法（Butterfly Optimization Algorithm, BOA）是基于蝴蝶觅食行为的一种新颖的群体智能算法。它通过模拟蝴蝶个体在寻找食物过程中的嗅觉导向行为以及随机飞行行为，来探索解空间…
阅读更多...
使用两个队列实现栈

使用两个队列实现栈

在计算机科学中，栈是一种数据结构，它遵循后进先出（LIFO）的原则。这意味着最后一个被添加到栈的元素将是第一个被移除的元素。然而，Java的标准库并没有提供栈的实现，但我们可以使用两个队列来模拟一个栈的行…
阅读更多...
十五、随机数和随机颜色

十五、随机数和随机颜色

项目功能实现：在原图上进行每隔0.5s随机绘制不同长度不同颜色的线段(保存之前的线段)，在另一个画布上进行绘制随机不同长度不同颜色的线段(不保存之前的线段) 按照之前的博文结构来，这里就不在赘述了 一、头文件 random.h #pragma once#i…
阅读更多...
Fiddler工具 — 19.Fiddler抓包HTTPS请求（二）

Fiddler工具 — 19.Fiddler抓包HTTPS请求（二）

5、查看证书是否安装成功 方式一： 点击Tools菜单 —> Options... —> HTTPS —> Actions 选择第三项：Open Windows Certificate Manager打开Windows证书管理器。 打开Windows证书管理器，选择操作—>查看证书，在搜索…
阅读更多...
【C++精简版回顾】6.构造函数

【C++精简版回顾】6.构造函数

一。类的三种初始化方式 1.不使用构造函数初始化类 使用函数引用来初始化类 class MM { public:string& getname() {return name;}int& getage() {return age;}void print() {cout << "name: " << name << endl << "age: &quo…
阅读更多...
跨境电商消息多发脚本制作需要用到的代码!

跨境电商消息多发脚本制作需要用到的代码!

在跨境电商的运营中&#xff0c;为了更有效地推广产品、提升品牌知名度并增强与消费者的互动&#xff0c;消息群发成为了一个重要的营销手段。 为了实现这一目的&#xff0c;许多跨境电商团队会选择制作消息多发脚本&#xff0c;通过自动化发送消息来提高效率和覆盖面&#xf…
阅读更多...
Postman接口测试之Mock快速入门

Postman接口测试之Mock快速入门

一、Mock简介 1.Mock定义 Mock是一种比较特殊的测试技巧&#xff0c;可以在没有依赖项的情况下进行接口或单元测试。通常情况下&#xff0c;Mock与其他方法的区别是&#xff0c;用于模拟代码依赖对象&#xff0c;并允许设置对应的期望值。简单一点来讲&#xff0c;就是Mock创建…
阅读更多...
LabVIEW多通道压力传感器实时动态检测

LabVIEW多通道压力传感器实时动态检测

LabVIEW多通道压力传感器实时动态检测 介绍了一种基于LabVIEW的多通道压力传感器实时动态检测系统&#xff0c;解决压阻式压力传感器温度补偿过程的复杂度&#xff0c;提高测量的准确性。通过自动轮询检测方法&#xff0c;结合硬件检测模型和多通道检测系统设计&#xff0c;本…
阅读更多...
ADC--模拟量转换成数字量

ADC--模拟量转换成数字量

目录 一、ADC硬件组成七大部分&#xff1a; 二、单次转换&#xff0c;连续转换&#xff0c;不连续采样模式&#xff0c;扫描模式区别 1、举例(5种组合情况) 2、模拟看门狗中断的作用&#xff1a; 三、MCU使用ADC步骤 一、ADC硬件组成七大部分&#xff1a; ①输入电压&#…
阅读更多...
C#知识点-14（索引器、foreach的循环原理、泛型、委托）

C#知识点-14（索引器、foreach的循环原理、泛型、委托）

索引器 概念&#xff1a;索引器能够让我们的对象&#xff0c;以索引&#xff08;下标&#xff09;的形式&#xff0c;便捷地访问类中的集合&#xff08;数组、泛型集合、键值对&#xff09; 应用场景&#xff1a; 1、能够便捷地访问类中的集合 2、索引的数据类型、个数、顺序不…
阅读更多...
【Linux】普通用户sudo失败怎么办

【Linux】普通用户sudo失败怎么办

普通用户&#xff0c;sudo失败报错怎么办 问题分析如何解决成功 问题分析 新建的普通用户sudo失败 sudo提权&#xff0c;是以root的身份执行命令。 当我们用sudo提升权限的时候&#xff0c;这里有个问题&#xff0c;Linux会提示我们输入当前普通用户的密码——这就有点不好。…
阅读更多...
机器人内部传感器阅读笔记及心得-位置传感器-旋转变压器、激光干涉式编码器

机器人内部传感器阅读笔记及心得-位置传感器-旋转变压器、激光干涉式编码器

旋转变压器 旋转变压器是一种输出电压随转角变化的检测装置&#xff0c;是用来检测角位移的&#xff0c;其基本结构与交流绕线式异步电动机相似&#xff0c;由定子和转子组成。 旋转变压器的原理如图1所示&#xff0c;定子相当于变压器的一次侧&#xff0c;有两组在空间位置上…
阅读更多...
华清远见嵌入式学习——驱动开发——DAY8

华清远见嵌入式学习——驱动开发——DAY8

作业要求&#xff1a; 1.使用GPIO子系统编写LED灯驱动&#xff0c;应用程序测试 2.注册三个按键的中断&#xff0c;只需要写内核代码 需要发布到CSDN 作业答案&#xff1a; GPIO子系统&#xff1a; 代码效果&#xff1a; 应用程序&#xff1a; #include<stdlib.h> …
阅读更多...
网页403错误（Spring Security报异常 Encoded password does not look like BCrypt）

网页403错误（Spring Security报异常 Encoded password does not look like BCrypt）

这个错误通常表现为"403 Forbidden"或"HTTP Status 403"&#xff0c;它指的是访问资源被服务器理解但拒绝授权。换句话说&#xff0c;服务器可以理解你请求看到的页面&#xff0c;但它拒绝给你权限。 也就是说很可能测试给定的参数有问题&#xff0c;后端…
阅读更多...
fastApi笔记05-路径参数和数值校验

fastApi笔记05-路径参数和数值校验

使用Path可以对路径参数声明与Query相同类型的校验和元数据 from typing import Annotatedfrom fastapi import FastAPI, Path, Queryapp FastAPI()app.get("/items/{item_id}") async def read_items(item_id: Annotated[int, Path(title"The ID of the item …
阅读更多...
软件开发工程师，几款常用的APP，你用过几款？最后一个测试网络必备

软件开发工程师，几款常用的APP，你用过几款？最后一个测试网络必备

作为一名程序员&#xff0c;手机里一定有几个常用的app&#xff0c;下面给大家推荐几款。 1. CSDN 国内最大编程论坛&#xff1b;虽然有多少人吐槽现在使用csdn就像屎里淘金&#xff0c; 但是不得不承认他仍然是大家搜索技术资料、问题的首选。 遇到问题打开app搜索&#x…
阅读更多...
【LeetCode】升级打怪之路 Day 01：二分法

【LeetCode】升级打怪之路 Day 01：二分法

今日题目&#xff1a; 704. 二分查找35. 搜索插入位置34. 在排序数组中查找元素的第一个和最后一个位置 目录 今日总结Problem 1: 二分法LeetCode 704. 二分查找 【easy】LeetCode 35. 搜索插入位置 ⭐⭐⭐⭐⭐LeetCode 34. 在排序数组中查找元素的第一个和最后一个位置 【medi…
阅读更多...
MySQL加锁策略详解

MySQL加锁策略详解

我们主要从三个方面来讨论这个问题&#xff1a; 啥时候加&#xff1f;如何加&#xff1f;什么时候该加什么时候不该加&#xff1f; 1、啥时候加 1.1 显式锁 MySQL 的加锁可以分为显式加锁和隐式加锁&#xff0c;显式加锁我们比较好识别的&#xff0c;因为他往往直接体现在 S…
阅读更多...
SketchUp好用的插件介绍！最后一个渲染必备

SketchUp好用的插件介绍！最后一个渲染必备

在3D设计的世界里&#xff0c;SketchUp因其用户友好的界面和高效能特性而广受欢迎。如果你期望扩展SketchUp的功能范围&#xff0c;市场上提供了众多插件&#xff0c;它们能够帮助你更进一步地取得专业级的设计效果。让我们一探究竟&#xff01; 1、Multiple Offsets 由Sam D …
阅读更多...
Leo赠书活动-18期 《高效使用Redis》

Leo赠书活动-18期 《高效使用Redis》

✅作者简介&#xff1a;大家好&#xff0c;我是Leo&#xff0c;热爱Java后端开发者&#xff0c;一个想要与大家共同进步的男人&#x1f609;&#x1f609; &#x1f34e;个人主页&#xff1a;Leo的博客 &#x1f49e;当前专栏&#xff1a; 赠书活动专栏 ✨特色专栏&#xff1a;…
阅读更多...
最新文章

Copyright @ 2022~2023