各位大佬好 ，这里是阿川的博客 ， 祝您变得更强

个人主页：在线OJ的阿川

大佬的支持和鼓励，将是我成长路上最大的动力

阿川水平有限，如有错误，欢迎大佬指正

前面的博客
数据分析—技术栈和开发环境搭建
数据分析—Numpy和Pandas库基本用法及实例
Python初阶
Python–语言基础与由来介绍
Python–注意事项
Python–语句与众所周知
相信看完，您会有所了解

数据分析流程

流程:

1. 获取数据
2. 读取数据
3. 评估数据
4. 清洗数据
5. 整理数据
6. 分析数据
7. 可视化数据

详细化

获取数据

常见两种方式

• 公开数据集平台
  • 飞桨
  • 天池
  • 和鲸社区
• 自己获取
  • 公开API
  • 爬虫
    

数据格式

让人喜欢的数据格式

• json（编程人员喜欢的格式）

  • 对象

  • 数组

    • 对象和数组中的数据，通过解析加转换可以变成Python数据

    • 读取json格式文件实例（read_json）:

    

• scv（分析师喜欢的格式）
  • 体积小
  • 结构工整
  • 容易让人理解
• 读取csv格式文件实例（csv）
  • 实例目录
    • read_csv 读取csv格式文件
    • index_col 指定标签索引
    • header 指定列标签
    • set_option 展示更多想要的内容
    • info 展示概况信息
    • describe 展示统计学信息

评估数据

数据错误类型

数据错误主要分为

• 结构类

  • 乱数据
  • 整洁数据
    • 每列是一个变量
    • 每行是一个观察值
    • 每个单元格是个一个值
      

• 内容类

  • 脏数据
    • 丢失数据
    • 重复数据
    • 不一致数据
    • 无效/错误数据
  • 干净数据

如何进行评估

针对结构类

• .head 看前几行
• .tail 看后几行
• .sample 随机几行
  
• 针对内容类

1. 评估缺失值

   • info 可查看一些概况

   • isnull 查看缺失值

     • 搭配sum 可得缺失值的个数

     

2. 评估重复值

• duplicated 一个值第1次出现为false，第2次出现为true
  • 参数subset 指定列条件
    

3. 评估不一致数据
   value_counts 查看类型
   

4. 评估无效/错误数据

   • 用两种方法来尝试

     • sort_values 看是否有值明显错误的数据
     • descripbe 看是否有值明显错误的数据

好的，到此为止啦，祝您变得更强

道阻且长 行则将至

个人主页：在线OJ的阿川大佬的支持和鼓励，将是我成长路上最大的动力