数据采集与预处理01： 项目1 数据采集与预处理准备

任务1 认识数据采集技术，熟悉数据采集平台

数据采集：足够的数据量是企业大数据战略建设的基础，因此数据采集成为大数据分析的前站。数据采集是大数据价值挖掘中重要的一环，其后的分析挖掘都建立在数据采集的基础上。大数据技术的意义确实不在于掌握规模庞大的数据信息，而在于对这些数据进行智能处理，从而分析和挖掘出有价值的信息，但前提是拥有大量的数据。

数据采集过程中涉及3个过程：数据的抽取Extract，数据的清洗转换Transform和数据的加载Load。英文缩写为ETL。

数据采集的来源：管理信息系统、Web信息系统、物理信息系统、科学实验系统。

数据采集的方法：

​ 数据采集的新方法有系统日志采集方法、网络数据采集方法等

​ 另外有网页数据采集的方法。

数据采集的过程基本步骤如下：

1. 将需要抓取的数据网站的URL信息写入URL队列。
2. 爬虫从URL队列中获取需要抓取数据网站的URL信息。
3. 获取某个具体网站的网页内容。
4. 从网页内容中抽取出该该网站正文页内容的链接地址。
5. 从数据库中读取已经抓取国内容的网页地址。
6. 过滤URL。对当前的URL和已经抓去过的URL进行比较。
7. 如果该网页地址没被抓去过，则将该地址写入数据库。如果该地址已经被抓取过，则放弃对这个地址的抓取操作。
8. 获取该地址的网页内容，并抽取出所需属性的内容值。
9. 将抽取的网页内容写入数据库。

任务实施

1. Scrapy系统环境搭建

Scrapy是Python开发的一个快速、高层次的屏幕抓取和Web抓取框架。支持多种类型的爬虫基类。

sudo apt-get install python-pip
pip install --upgrade pip
pip install scrapy

日志系统环境的搭建

1. 安装Flume

Flume是Cloudera提供的一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输系统，支持在日志系统中定制各种数据发送方，用于收集数据。同时，Flume具有对数据进行简单处理，并写到各种数据接收方的能力。

Flume需要JDK环境，使用 java -version 命令查看系统是否配置了JDK环境

没有的话则需要下载安装。

接着下载flume。

https://flume.apache.org/

在官网下载。

然后执行解压与安装

cd 下载
sudo tar -zxvf apache-flume-1.11.0-bin.tar.gz -C /usr/local

cd usr/local
sudo chown 777 apache-flume-1.11.0-bin
sudo mv apache-flume-1.11.0-bin flume

2. 配置环境变量

执行sudo gedit /etc/profile 命令

export FLUME_HOME=/usr/local/flume
export FLUME_CONF_DIR=$FLUME_HOME/conf
export PATH=$java_home/bin:$PATH:$FLUME_HOME/bin

使用source /etc/profile使其生效。

另外还要修改配置文件什么的，非常繁琐。

https://blog.csdn.net/qq_43452181/article/details/109187373

给个参考。

检测成果。

cd /usr/local/flume
./bin/flume-ng version

这样就行。

任务2 认识数据预处理技术

数据预处理是指在对数据进行数据挖掘的主要处理以前，先对原始数据进行必要的清理、集成、转换、离散、归约、特征选择和提取等一系列处理工作，达到挖掘算法进行知识获取、研究所要求的最低规范和标准。

数据预处理的常见问题：

1. 数据采样 分为加权采样、随机采样和分层采样3类，其目的是从数据集中采集部分样本进行处理。
2. 数据清理 ，清理技术通常包括填补遗漏的数据值、平滑有噪声数据、识别或者除去异常值。

​ 2.1 数据填充：包括人工填写、特殊值填充、平均值填充、热卡填充（就近填充）、k近邻填充。

​ 2.2 平滑噪声；分箱、回归、聚类

​ 2.3 数据集成： 实体识别、冗余和相关分析、元组重复、数据值冲突的检测与处理、数据转换、数据归约、特征选择和特征提取。

任务实施

搭建pig系统。

https://blog.csdn.net/m0_52595361/article/details/127930651

搭建kettle系统。

https://blog.csdn.net/lcy1619260/article/details/132540385