数据解析与处理

数据解析与处理是数据科学、分析或开发中的核心步骤，涉及从原始数据中提取、清洗、转换和存储有效信息的过程。

一、数据解析

数据解析就是将原始数据（如文本、二进制、日志、API响应等）转换为结构化格式（如表格、字典、JSON等）的过程。

常见场景与工具

1、结构化数据（CSV、Excel、数据库表）：

Python：使用pandas（read_csv, read_excel）、csv 模块。
R：使用 read.csv、readxl 包。

2、半结构化数据（JSON、XML）：

Python：使用 json 库（json.loads()）、xml.etree.ElementTree。
JavaScript： JSON.parse()。

JSON（JavaScript Object Notation）和XML（eXtensible Markup Language）是两种常用的数据交换格式。它们用于存储和传输结构化数据。

JSON：

轻量级，易于阅读和编写。
常用于Web API的数据交换。

 import json

  # 解析JSON
  json_data = '{"name": "John", "age": 30}'
  data = json.loads(json_data)
  print("Name:", data['name'])

  # 生成JSON
  data = {'name': 'Jane', 'age': 25}
  json_data = json.dumps(data)
  print("JSON:", json_data)

XML：

更复杂，但功能强大。
常用于配置文件和数据交换。

 import xml.etree.ElementTree as ET

  # 解析XML
  xml_data = "<root><name>John</name><age>30</age></root>"
  root = ET.fromstring(xml_data)

  # 提取数据
  name = root.find('name').text
  age = root.find('age').text
  print("Name:", name, "Age:", age)

3、非结构化数据（文本、日志）：

正则表达式（如re模块）、自然语言处理（NLP）工具（如NLTK、spaCy）。

正则表达式（Regular Expressions，简称Regex）是一种强大的工具，用于在文本中进行模式匹配和提取。它可以用于搜索、替换和验证字符串。

常见用途：

验证电子邮件、电话号码等格式。
提取特定模式的文本（如日期、URL等）。
替换文本中的特定部分。

示例：

 import re

  # 匹配电子邮件地址
  text = "Contact us at support@example.com."
  match = re.search(r'[\w\.-]+@[\w\.-]+', text)
  if match:
      print("Email found:", match.group())

XPath

XPath（XML Path Language）是一种用于在XML和HTML文档中定位节点的语言。它通过路径表达式来选择文档中的节点或节点集。

常见用途：

从XML或HTML文档中提取数据。
定位特定的元素或属性。

from lxml import etree

  # 解析XML
  xml = "<root><element attribute='value'>Text</element></root>"
  root = etree.fromstring(xml)

  # 使用XPath提取元素
  element = root.xpath("//element[@attribute='value']/text()")
  print("Element text:", element[0])

4、Web数据（HTML）：

Python：使用 BeautifulSoup、lxml、requests 获取并解析网页。

5、API数据：

解析 RESTful API 返回的 JSON/XML 数据（如 requests.get().json()）。

示例（Python解析JSON）

import json

raw_data = '{"name": "Alice", "age": 30, "city": "New York"}'
parsed_data = json.loads(raw_data)
print(parsed_data["name"])  # 输出: Alice

二、数据处理（Data Processing）

数据处理是对解析后的数据进行清洗、转换、分析和存储的过程。

关键步骤：

1、数据清洗（Data Cleaning）：

处理缺失值：删除空值（dropna()）、填充默认值（fillna()）。
去重：pandas的drop_duplicates()。
处理异常值：通过统计方法（如 Z-Score）或业务规则过滤。
格式标准化：日期格式转换、字符串大小写统一。

2、数据转换（Data Transformation）：

列拆分/合并：如将“姓名”拆分为“姓”和“名”。
数据归一化/标准化：sklearn.preprocessing中的MinMaxScaler、StandardScaler。
分类数据编码：独热编码（pd.get_dummies()）、标签编码（LabelEncoder）。

3、数据分析（Data Analysis）

聚合统计：groupby、pivot_table。
关联分析：如使用 pandas的merge或 SQL 的JOIN。
时间序列分析：滚动窗口计算（rolling()）、重采样（resample()）。

4、数据存储（Data Storage）：

存储到数据库：SQL（MySQL、PostgreSQL）、NoSQL（MongoDB）。
存储到文件：CSV、Parquet、HDF5。

示例（Pandas数据处理）：

import pandas as pd

# 读取数据并清洗
df = pd.read_csv("data.csv")
df.dropna(inplace=True)  # 删除缺失值
df["date"] = pd.to_datetime(df["date"])  # 转换日期格式

# 数据聚合
result = df.groupby("category")["sales"].sum()