Python学习从0开始——Kaggle实践可视化001

Python学习从0开始——Kaggle实践可视化001

  • 一、创建和加载数据集
  • 二、数据预处理
    • 1.按name检查，处理重复值（查重）
    • 2.查看存在缺失值的列并处理（缺失值处理）
      • 2.1按行或列查看
      • 2.2无法推测的数据
      • 2.3可由其它列推测的数据
    • 3.拆列，获取元数据

使用数据集：“Top Ranked Anime Dataset 2024”，文件名称是：toprankedanime.csv

一、创建和加载数据集

登录kaggle选择创建新笔记本：

在这里插入图片描述

然后删掉默认代码，加载数据集：

import numpy as np 
import pandas as pd
# 路径
anime_file_path = '/kaggle/input/top-ranked-anime-dataset/toprankedanime.csv'
# 读取
anime_data = pd.read_csv(anime_file_path) 
# 总览数据，查看基本信息
#anime_data.describe()
#anime_data.head
#anime_data.columns
#anime_data.head(3)
nametypeepisodesstatusairedpremieredbroadcastproducerslicensorsstudiossourcegenresdurationratingscorerankedpopularityfavorites
Sousou no FrierenTV28Finished AiringSep 29, 2023 to Mar 22, 2024Fall 2023Fridays at 23:00 (JST)[‘Aniplex’, ‘Dentsu’, ……][‘add some’]MadhouseManga[‘Adventure’, ‘Drama’, ‘Fantasy’]24 min. per ep.PG-13 - Teens 13 or older9.36#1#25943,524
Steins;GateTV24Finished AiringApr 6, 2011 to Sep 14, 2011Spring 2011Wednesdays at 02:05 (JST)[‘Frontier Works’, ‘Media Factory’……][‘Funimation’]White Fox[‘Drama’, ‘Sci-Fi’, ‘Suspense’]24 min. per ep.PG-13 - Teens 13 or older9.07#3#13189,803
Fullmetal Alchemist: BrotherhoodTV64Finished AiringApr 5, 2009 to Jul 4, 2010Spring 2009Sundays at 17:00 (JST)[‘Aniplex’, ‘Square Enix’……][‘Funimation’, ‘Aniplex of America’]BonesManga[‘Action’, ‘Adventure’, ‘Drama’, ‘Fantasy’]24 min. per ep.R - 17+ (violence & profanity)9.09#2#3226,283

columns：Index([‘name’, ‘type’, ‘episodes’, ‘status’, ‘aired’, ‘premiered’, ‘broadcast’,
‘producers’, ‘licensors’, ‘studios’, ‘source’, ‘genres’, ‘duration’,
‘rating’, ‘score’, ‘ranked’, ‘popularity’, ‘favorites’],
dtype=‘object’)
#动漫名称：动漫的标题。
#类型：动漫分类（例如，电视、电影、OVA）。
#集数：集数。
#状态：广播状态（例如，“已完成播出”）。
#在电视台或在线平台上正式播出的时间
#播出日期：原播出日期。
#首映：首映的季节和年份。
#广播：每周广播时间。
#生产者：参与生产的公司。
#许可方：负责在不同地区授权动漫的公司。
#工作室：为该系列制作动画的工作室。
#来源：原始资料（例如，漫画、轻小说）。
#类型：描述节目的类别（例如，动作、剧情）。
#持续时间：每集的长度。
#等级：观众适宜性
#分数： MyAnimeList 用户给出的平均评分。
#排名：在MyAnimeList上排名。
#人气：在MyAnimeList上的人气排名。
#收藏夹：用户收藏的次数。

二、数据预处理

1.按name检查，处理重复值（查重）

使用Pandas库的duplicated方法。这个方法会返回一个布尔序列，指示哪些行在指定列（或所有列）中是重复的。

# 首先按name检查是否有重复值

duplicated_names = anime_data['name'].duplicated()  
# 查看所有重复的名称  
duplicate_names_list = anime_data[duplicated_names]['name'].unique().tolist()   
# 输出重复的名称（如果有的话）  
if len(duplicate_names_list) > 0:  
    print("存在重复的名称:")  
    print(duplicate_names_list)  
else:  
    print("name列中没有重复值。")

如果有重复行，那么需要额外的处理，以下是一些常见的处理重复值的方法：

  1. 删除重复行：
    如果你确定重复的行是多余的，并且你想要保留唯一的记录，你可以删除这些重复的行。在Pandas中，你可以使用drop_duplicates方法来实现这一点。

    anime_data = anime_data.drop_duplicates(subset='name', keep='first')  # keep='first'保留第一次出现的行
# 或者
# anime_data = anime_data.drop_duplicates(subset='name', keep='last')  # keep='last'保留最后一次出现的行
# 或者
# anime_data = anime_data.drop_duplicates(subset='name', keep=False)  # keep=False删除所有重复的行

  2. 合并重复行：
    如果重复的行包含了一些不同的信息，你可能想要合并这些行。这通常涉及到聚合操作，例如计算重复行的某个字段的平均值、总和等。

    # 假设你有一个想要聚合的字段'score'
anime_data_agg = anime_data.groupby('name').agg({'score': 'mean'}).reset_index()  # 计算每个动漫的平均评分

  3. 标记重复行：
    如果你想要保留重复的行，但同时想要知道哪些行是重复的，你可以使用duplicated方法（如之前所示）来创建一个新的布尔列来标记这些行。

    anime_data['is_duplicate'] = anime_data.duplicated(subset='name')

  4. 手动处理：
    在某些情况下，你可能需要手动检查重复的行，并根据具体情况决定如何处理它们。例如，你可能需要查看除了’name’列之外的其他列来确定是否应该合并或删除这些行。

  5. 错误检查：
    重复的值有时可能表示数据输入或处理过程中的错误。在这种情况下，你可能需要回到数据源，检查为什么会有重复的行，并修正错误。

  6. 保持备份：
    在对数据进行任何修改之前，最好先备份原始数据。这样，如果后续需要回到原始状态或重新处理数据，你可以很容易地做到这一点。

根据你的具体需求和数据集的特性，选择最适合你的方法来处理重复值。

2.查看存在缺失值的列并处理（缺失值处理）

要查看Pandas DataFrame中哪些列存在缺失值（通常表示为NaN），可以使用isnull()方法结合any()或sum()方法。

2.1按行或列查看

#按列查看
# 查看哪些列包含缺失值  
columns_with_missing = anime_data.columns[anime_data.isnull().any()].tolist()  
print("包含缺失值的列：", columns_with_missing)
# 包含缺失值的列： ['premiered', 'broadcast', 'source', 'rating']即首映，播放，来源，等级

# 查看每一列中缺失值的数量  
missing_counts = anime_data.isnull().sum()  
#print("每一列中缺失值的数量：")  
#print(missing_counts)

# 只查看包含缺失值的列及其缺失值的数量  
columns_with_missing_and_counts = anime_data.columns[anime_data.isnull().any()].tolist()  
missing_counts_filtered = anime_data[columns_with_missing_and_counts].isnull().sum()  
print("包含缺失值的列及其缺失值的数量：")  
print(missing_counts_filtered)
#包含缺失值的列及其缺失值的数量：
#premiered    988
#broadcast    988
#source       658
#rating         1
#dtype: int64

# 按行查看
# 使用 any(axis=1) 来检查每一行是否至少有一个缺失值  
rows_with_missing = anime_data[anime_data.isnull().any(axis=1)]  
  
# 显示这些行  
#print(rows_with_missing)

# 只显示该行的缺失列数据
#print(rows_with_missing.name,rows_with_missing[columns_with_missing])

# 打印缺失列
#for index, row in rows_with_missing.iterrows():  
#    print(f"在索引 {index} 的行中，缺失值的列有：")  
#    for column in row.index[row.isnull()]:  
#        print(column)  
#    print("\n")  # 打印一个空行分隔不同行的输出

2.2无法推测的数据

#处理缺失数据

#不修改原数据集，创建一个新的数据集修改
anime_data_filled = anime_data.copy()  

#处理rating
#找到rating为null的数据
#ratingNull=rows_with_missing[rows_with_missing['rating'].isnull()]
#selected_columns = ['name', 'rating', 'score']  
#print(ratingNull[selected_columns])
#输出：
#                              name rating  score
#1762  Xue Ying Ling Zhu 2nd Season    NaN   7.48
#rating列的缺失值被替换为'unknown'
anime_data_filled['rating'].fillna('unknown')

#处理其他列
#source和broadcast列的缺失值被替换为'unknown'
anime_data_filled['source'].fillna('unknown')
anime_data_filled['broadcast'].fillna('unknown')

2.3可由其它列推测的数据

如：aired值为Apr 1, 2007 to Sep 30, 2007，那么premiered就是Spring 2007

#处理premiered首映列控制问题
#premired列可以由aired列推出
#不推荐将premired值直接设为aired值，因为之后要用到日期分析
#anime_data_filled['premiered'] = anime_data_filled['premiered'].combine_first(anime_data_filled['aired'])  

# 推荐
import re  
from datetime import datetime  
  
def infer_premiered_season(aired_date):  
    # 首先尝试匹配包含开始和结束日期的格式:Oct 4, 2006 to Jun 27, 2007
    match = re.match(r'(\w+ \d+, \d+) to (\w+ \d+, \d+)', aired_date)  
    if match:  
        start_date_str, end_date_str = match.groups()  
        # 使用开始日期来确定季度  
        start_date = datetime.strptime(start_date_str, '%b %d, %Y')  
        season = get_season(start_date.month)  
        return f"{season} {start_date.year}"  
    
    # 如果没有匹配到开始和结束日期，尝试匹配单独的日期:Sep 17, 2016  
    match = re.match(r'(\w+ \d+, \d+)', aired_date)  
    if match:  
        date_str = match.group(1)  
        date_sigle = datetime.strptime(date_str, '%b %d, %Y') 
        season = get_season(date_sigle.month)  
        return f"{season} {date_sigle.year}" 
      
    # 如果没有匹配到开始和结束日期，尝试匹配单独的日期:17-Jan-20
    match = re.match(r'(\d+)-(\w+)-(\d+)', aired_date)  
    if match:  
        year_str, month_str, day_str = match.groups()  
        month_num = get_month_number(month_str)  
        if month_num is not None:  
            year = int(year_str)  
            if len(year_str) == 2:  # 如果是两位数的年份，可能需要一些逻辑来确定实际年份（例如，基于当前年份）  
                year += 2000 if int(year_str) > 20 else 1900  # 简化的年份推断，可能需要调整  
            season = get_season(month_num)  
            return f"{season} {year}" 
    # 如果没有匹配到开始和结束日期，尝试匹配单独的日期:May 2003
    match = re.search(r'(\w{3})\s(\d{4})', aired_date)  
    if match:  
        month_str, year_str = match.groups()  
        month_num = get_month_number(month_str)  
        year = int(year_str)  
        if month_num is not None:  
            return f"{get_season(month_num)} {year}" 
    # 如果没有匹配到任何日期格式，返回aired_date值或NaN，比如传来的值为2003
    return pd.NA    
  
def get_month_number(month_str):  
    # 将月份字符串转换为数字（例如，"Jan" -> 1）  
    month_dict = {  
        'Jan': 1, 'Feb': 2, 'Mar': 3, 'Apr': 4,  
        'May': 5, 'Jun': 6, 'Jul': 7, 'Aug': 8,  
        'Sep': 9, 'Oct': 10, 'Nov': 11, 'Dec': 12  
    }  
    return month_dict.get(month_str)  
  
def get_season(month):  
    # 根据月份返回季节（Spring, Summer, Fall, Winter）  
    if 3 <= month <= 5:  
        return 'Spring'  
    elif 6 <= month <= 8:  
        return 'Summer'  
    elif 9 <= month <= 11:  
        return 'Fall'  
    else:  
        return 'Winter'  
  

# 使用自定义函数填充premiered列的缺失值  
anime_data_filled['premiered'] = anime_data_filled['premiered'].fillna(anime_data_filled['aired'].apply(infer_premiered_season))  
print(anime_data_filled[anime_data_filled['premiered'].isnull()])
#此时输出如下，只有年份的数据，获取不到季节
#                                                  name        type     episodes  \
#1234  Saint Seiya: Meiou Hades Juuni Kyuu-hen - Yomi...     Special        2   
#1265  Meitantei Conan Movie 10: Tantei-tachi no Requ...  TV Special        1   
#1359  Meitantei Conan Movie 09: Suihei Senjou no Str...  TV Special        1   
#1690  Meitantei Conan OVA 04: Conan to Kid to Crysta...         OVA        1   
#1944                           Junjou Romantica Special     Special        1   
#               status aired premiered broadcast            producers  \
#1234  Finished Airing  2003      <NA>       NaN         ['add some']   
#1265  Finished Airing  2006      <NA>       NaN         ['add some']   
#1359  Finished Airing  2005      <NA>       NaN         ['add some']   
#1690  Finished Airing  2004      <NA>       NaN         ['add some']   
#1944  Finished Airing  2008      <NA>       NaN  ['Kadokawa Shoten'] 

#删除还是缺失值的数据
anime_data_filled = anime_data_filled.dropna(subset=['premiered'])
print(anime_data_filled[anime_data_filled['premiered'].isnull()])
#输出
#Empty DataFrame
#Columns: [name, type, episodes, status, aired, premiered, broadcast, producers, licensors, studios, source, genres, duration, rating, score, ranked, popularity, favorites]
#Index: []

3.拆列，获取元数据

上一部分对premiered的处理是为了统一成“季度 年份”的格式，然后将其拆分成年列和季度列，同时四个季度可以赋予不同的数值：

#继续处理premiered  
# 定义一个函数将季节转换为数字  
def season_to_number(season):  
    season_dict = {  
        'Spring': 1,  
        'Summer': 2,  
        'Fall': 3,  
        'Winter': 4  
    }  
    return season_dict.get(season, None)  
  
# 使用str.split方法拆分'premiered'列，并扩展结果到新的列  
# 注意：我们使用expand=True，分割后的两部分将作为两列（假设分割成功）添加到新的DataFrame中  
season_year_df = anime_data_filled['premiered'].str.split(n=1, expand=True)  
  
# 给新列重命名  
season_year_df.columns = ['season', 'year']    
# 将年份列转换为整数  
season_year_df['year'] = season_year_df['year'].astype(int)    
# 将拆分后的DataFrame添加到原始DataFrame中  
anime_data_filled = pd.concat([anime_data_filled, season_year_df], axis=1)  
# 创建一个新的'quarter'列，其中包含季节的数字表示  
anime_data_filled['quarter'] = anime_data_filled['season'].apply(season_to_number)  
  
# 显示结果  
print(anime_data_filled.head(3))
name……premiered……yearquarter
Sousou no Frieren TV……Fall 2023……20233
Steins;Gate TV……Spring 2011……20111
Fullmetal Alchemist: Brotherhood TV……Spring 2009……20091

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/774571.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Python爬取豆瓣电影+数据可视化，爬虫教程！

Python爬取豆瓣电影+数据可视化，爬虫教程！

1. 爬取数据 1.1 导入以下模块 import os import re import time import requests from bs4 import BeautifulSoup from fake_useragent import UserAgent from openpyxl import Workbook, load_workbook1.2 获取每页电影链接 def getonepagelist(url,headers):try:r reque…
阅读更多...
Android实现获取本机手机号码

Android实现获取本机手机号码

和上次获取设备序列号一样&#xff0c;仍然是通过无障碍服务实现&#xff0c;在之前的代码基础上做了更新。代码和demo如下&#xff1a; package com.zwxuf.lib.devicehelper;import android.accessibilityservice.AccessibilityService; import android.app.Activity; import…
阅读更多...
千万不能踏入的渠道管理五大误区！【附策略】

千万不能踏入的渠道管理五大误区！【附策略】

一、引言 在当今激烈的市场竞争环境中&#xff0c;有效的渠道管理是企业获得竞争优势的关键。然而&#xff0c;在实践过程中&#xff0c;不少企业因陷入管理误区而影响了市场拓展和品牌建设。本文旨在揭示渠道管理中常见的五大误区&#xff0c;并提供避免策略&#xff0c;帮助…
阅读更多...
现代农业利器：土壤检测仪器的应用与未来

现代农业利器：土壤检测仪器的应用与未来

在现代农业发展的浪潮中&#xff0c;土壤检测仪器以其精准、高效的特点&#xff0c;成为了农业生产的得力助手。这些看似不起眼的设备&#xff0c;实际上在保障农产品质量、提高农业生产效率方面发挥着举足轻重的作用。 一、土壤检测仪器&#xff1a;现代农业的“眼睛” 土壤检…
阅读更多...
科技云报道：人工智能“顶流”齐聚WAIC 2024，他们都做了什么？

科技云报道：人工智能“顶流”齐聚WAIC 2024，他们都做了什么？

科技云报道原创。 一个由智能驱动的未来世界长啥样&#xff1f; 从完成跨海跨城航线的“空中的士”、全无人驾驶汽车、实现奔跑功能的全尺寸通用人形机器人到百度文心一言、讯飞星火、阿里通义千问、华为盘古、商汤日日新等大模型&#xff0c;从智能制造引领的“灯塔工厂”到…
阅读更多...
TTS文本转声音：fish-speech 推理、requests访问接口案例

TTS文本转声音：fish-speech 推理、requests访问接口案例

参考： https://hub.docker.com/r/lengyue233/fish-speech https://speech.fish.audio/inference/#http-api 下载 下载模型： HF_ENDPOINT=https://hf-mirror.com huggingface-cli download fishaudio/fish-speech-1.2 --local-dir checkpoints/fish-speech-1.2下载的内容有…
阅读更多...
GoodTask for Mac：优雅高效的任务管理助手

GoodTask for Mac：优雅高效的任务管理助手

在快节奏的工作生活中&#xff0c;你是否需要一个优雅且高效的任务管理工具来助你一臂之力&#xff1f;GoodTask for Mac正是你的理想选择&#xff01; GoodTask以其简洁直观的界面设计&#xff0c;让你一眼就能看清所有的待办事项。你可以轻松创建任务、设置提醒&#xff0c;…
阅读更多...
请查收！模拟电路精选书单一份（可下载）

请查收！模拟电路精选书单一份（可下载）

在电子工程的广阔天地中&#xff0c;模拟电路设计是一门艺术&#xff0c;也是一种科学。它要求设计师不仅要有深厚的理论知识&#xff0c;还要有精湛的实践技能。随着技术的发展&#xff0c;模拟电路设计领域不断涌现新的理论、技术和工具&#xff0c;这使得学习和掌握模拟设计…
阅读更多...
虚拟ECU：纯电动汽车发展下的新选择

虚拟ECU：纯电动汽车发展下的新选择

人类文明的进步是一个不断自我否定、自我超越的过程。21世纪以来&#xff0c;随着科技进步和经济社会发展&#xff0c;能源和交通系统已从独立于自然环境的孤立系统&#xff0c;转变为与自然、技术、社会深度耦合的复杂系统。为实现可持续发展和应对气候变化&#xff0c;世界各…
阅读更多...
JDBC 学习笔记+代码整理

JDBC 学习笔记+代码整理

Tip Idea自带可视界面&#x1f449;MySQL 图形化界面-CSDN博客 Idea2022无add Framework support选项&#x1f449;最新版IDEA:Add web Framework Support步骤/构建JavaWeb项目步骤_idea add framework support-CSDN博客 基本步骤 1.加载驱动包Driver 2.建立与数据库的连接C…
阅读更多...
MYSQL 设置主从同步

MYSQL 设置主从同步

效果图 主数据库表数据 从数据库表数据 mysql 数据库配置：主数据库 设置主数据 my.cnf vim /etc/mysql/my.cnf 配置内容 [mysqld] server-id=1 log-bin=mysql-bin # 不需要同步的表 binlog-ignore-db=mysql binlog-ignore-db=sys binlog-ignore-db=performance_schema bi…
阅读更多...
Spire.PDF for .NET【文档操作】演示：以特定的缩放比例/百分比打开 PDF 文件

Spire.PDF for .NET【文档操作】演示：以特定的缩放比例/百分比打开 PDF 文件

有时&#xff0c;我们可能需要在显示 PDF 文件时更改缩放比例以满足我们的要求。在本文中&#xff0c;我们将演示如何使用 Spire.PDF for .NET 以特定的缩放比例/百分比&#xff08;例如默认值、100% 或任何其他所需的缩放比例&#xff09;打开 PDF 文件。 Spire.PDF for .NET…
阅读更多...
TAPD项目管理软件无法与企业微信进行关联

TAPD项目管理软件无法与企业微信进行关联

TAPD一段时间未使用后&#xff0c;需要重新启动&#xff0c;此时会出现你的企业微信尚未与TAPD账号关联的提示 解决方案&#xff1a;找到TAPD应用&#xff0c;先删除应用&#xff0c;然后再解除禁用即可
阅读更多...
基于python 的动态虚拟主机

基于python 的动态虚拟主机

将自己电脑上的Python脚本文件上传到虚拟机/var/www/cgi-bin/目录下 [rootlocalhost conf.d]# cd /var/www/cgi-bin/ [rootlocalhost cgi-bin]# rz -E rz waiting to receive.编辑vhost.conf配置文件 [rootlocalhost conf.d]# vim vhost.conf<virtualhost 192.168.209.140…
阅读更多...
消息中间件ApacheKafka在windows简单安装

消息中间件ApacheKafka在windows简单安装

一.背景 之前公司需要API网关管理软件ApacheShenYu&#xff0c;我相信把调用的记录都存到一个数据库。他支持日志推送到kafka&#xff0c;所以&#xff0c;我准备尝试一下通过kafka接收调用的日志信息。第一步&#xff0c;当然是安装kafka了。 二.ApacheKafka的下载 打开下载…
阅读更多...
Docker-自定义镜像发布到DockerHub仓库、阿里云仓库

Docker-自定义镜像发布到DockerHub仓库、阿里云仓库

文章目录 推送镜像DockerHub仓库推送镜像阿里云仓库 更多相关内容可查看 推送镜像DockerHub仓库 在服务器中 使用 docker 登录命令 docker login -u 账户 #enter 后输入密码推送镜像到DockerHub docker push 镜像名:tag但个人不建议推送到DockHub上&#xff0c;毕竟不是咱自…
阅读更多...
【Python机器学习】处理文本数据——停用词

【Python机器学习】处理文本数据——停用词

删除没有信息量的单词有一种方法&#xff0c;就是舍弃那些出现次数太多以至于没有信息量的单词。 有两种主要方法&#xff1a; 1、使用特定语言的停用词&#xff08;stopword&#xff09;列表&#xff1b; 2、舍弃那些出现过于频繁的单词。 scikit-learn的feature_extracti…
阅读更多...
gradle构建工具

gradle构建工具

setting.gradle // settings.gradle rootProject.name my-project // 指定根项目名称include subproject1, subproject2 // 指定子项目名称&#xff0c;可选jar包名称 方式一 jar {archiveBaseName my-application // 设置 JAR 文件的基本名称archiveVersion 1.0 // 设置…
阅读更多...
阿里云RDS云数据库库表恢复操作

阿里云RDS云数据库库表恢复操作

最近数据库中数据被人误删了,记录一下恢复操作方便以后发生时进行恢复. 1.打开控制台&#xff0c;进入云数据库实例. 2.进入实例后 &#xff0c;点击右侧的备份恢复&#xff0c;然后看一下备份时间点&#xff0c;中间这边都是阿里云自动备份的备份集&#xff0c;基本都是7天一备…
阅读更多...
与Flat Ads相约ChinaJoy 2024，共探全球化增长

与Flat Ads相约ChinaJoy 2024，共探全球化增长

在当今全球数字化浪潮的推动下,游戏产业作为文化与技术融合的先锋,正以前所未有的速度跨越国界,开启全球化发展的新篇章。随着第二十一届ChinaJoy的临近,全球的目光再次聚焦于上海新国际博览中心,这里即将成为数字娱乐与科技创新碰撞与交融的璀璨舞台。 而在这场盛会上,Flat A…
阅读更多...
最新文章

Copyright @ 2022~2023