任务描述

本阶段任务是导入项目的基础数据，包括空管基础数据和离线的实时飞行数据（已经脱敏）。

任务指导

本阶段任务需要导入两种数据：

1、在MySQL中导入空管基础数据

• kongguan.sql空管基础数据表说明：

1	告警信息表
2	告警历史信息
3	告警飞行历史信息
4	用户和角色表
5	用户表
6	角色表
7	权限表
8	角色和权限表
9	实时飞行变量表
10	机场表
11	航空公司表
12	航空雷达表
13	航空公司变量表
14	扇形饱和度变量表
15	值班变量表
16	航空变量表
17	机场变量表
18	机场经纬度表
19	航线变量表

• 数据字典：

表1：告警信息表（warntp_number）

Name	Code	Comment	Data Type	Length
主键id	id		int	11
告警类型	gj_type		varchar	100
告警唯一标识	gj_id		varchar	50
告警的类型	gj_msg_type		varchar	100
航迹号1	gj_track_num1		varchar	100
航迹号2	gj_track_num2		varchar	100
告警航班之间的距离	gj_distinct		varchar	100
告警之间的夹角	gj_radian		varchar	100
告警的名称	gj_name		varchar	100
告警距离参数	gj_distinct_bz		varchar	100
告警的城市	gj_city		varchar	1000
告警的发生时间	gj_date		varchar	100
航班号	gj_acids		varchar	100
飞机1经度	gj_num1_long		varchar	100
飞机1纬度	gj_num1_lat		varchar	100
飞机2经度	gj_num2_long		varchar	100
飞机2纬度	gj_num2_lat		varchar	100
数量	count		int	11

表2：告警历史信息表（warnsimilarhistory_number）

Name	Code	Comment	Data Type	Length
主键id	id		int	11
告警类型	gj_type		varchar	100
告警唯一标识	gj_id		varchar	50
告警的类型	gj_msg_type		varchar	100
告警数量	gj_num		varchar	100
航迹号	gj_track_num		varchar	100
告警扇区号	gj_sector		varchar	100
航班号	gj_acid		varchar	100
状态	gj_status		varchar	100
城市间	gj_city		varchar	100
时间	gj_date		varchar	100
数量	count		int	11

表3：告警飞行历史信息（warnflighthistory_number）

Name	Code	Comment	Data Type	Length
主键id	id		int	11
告警类型	gj_type		varchar	100
告警唯一标识	gj_id		varchar	50
告警类型	gj_msg_type		varchar	100
航迹号1	gj_track_num1		varchar	100
航迹号2	gj_track_num2		varchar	100
告警航班之间的距离	gj_distinct		varchar	100
告警航班之间的夹角	gj_radian		varchar	100
告警名称	gj_name		varchar	100
告警距离参数	gj_distinct_bz		varchar	100
告警的城市	gj_city		varchar	100
告警发生时间	gj_date		varchar	100
数量	count		int	11
告警扇区号	gj_sector		varchar	100

表4：用户和角色表（user_role）

Name	Code	Comment	Data Type	Length
主键id	id		int	10
用户id	user_id		int	11
角色id	role_id		int	11

表5：用户表（sys_user）

Name	Code	Comment	Data Type	Length
主键id	id		int	11
姓名	name		varchar	50
账号	account		varchar	50
密码	password		varchar	100
类型	type		int	11
用户类型id	user_type_id		int	11
是否删除	is_del		int	11
创建时间	create_time		datetime	0
创建角色	create_user		int	11
修改时间	update_time		datetime	0
修改用户	update_user		int	11
是否启用	is_enable		int	11
联系方式	contact		varchar	11

表6：角色表（sys_role）

Name	Code	Comment	Data Type	Length
主键id	id		int	11
角色名	role_name		varchar	100
是否删除	is_del		int	11
创建用户	create_user		int	11
创建时间	create_time		datetime	0
修改的用户	update_user		int	11
修改时间	update_time		datetime	0
是否启用	is_enable		int	11
角色编码	role_code		varchar	50

表7：权限表（sys_auth）

Name	Code	Comment	Data Type	Length
主键id	id		int	11
权限名称	auth_name		varchar	100
权限编码	auth_code		varchar	100
删除状态（0，正常；1，删除）	is_del		int	11
创建人	create_user		int	11
创建时间	create_time		datetime	0
更新人	update_user		int	11
更新时间	update_time		datetime	0
权限类型（0：按钮；1，菜单）	type		int	11
菜单Url	menu_url		varchar	255
父级id	parent_id		int	11
菜单图标地址	menu_icon		varchar	255
菜单顺序	menu_order		int	11

表8：角色和权限表（role_auth）

Name	Code	Comment	Data Type	Length
主键id	id		int	10
角色id	role_id		int	11
权限id	auth_id		int	11

表9：实时飞行变量表（multiradar_number）

Name	Code	Comment	Data Type	Length
主键id	id		int	11
轨迹编号	TRACK_NUMBER		varchar	50
哪个地区的综合航迹	AREA_SOURCE		varchar	100
发送时间utc	SEND_RADAR_TIME		varchar	100
雷达种类	RADAR_TYPE		varchar	100
航班号	ACID		varchar	50
二次代码	SSR_CODE		varchar	100
直角坐标x	ZHIJIAO_X		varchar	100
直角坐标Y	ZHIJIAO_Y		varchar	100
小数形式的经度	RADAR_LONGTITUDE		varchar	100
小数形式的纬度	RADAR_LATITUDE		varchar	100
高度	RADAR_HEIGHT		varchar	100
x分量速度	SPEED_X		varchar	100
y分量速度	SPEED_Y		varchar	100
速度	RADAR_SPEED		varchar	100
航向	DIRECTION		varchar	100
指令高度	RADAR_CFL		varchar	100
飞行员报告高度	FCU		varchar	100
时间戳	TIME		varchar	100
飞行状态	FLYSTATUS		varchar	100
爬升/下降速度	CLIMBORDOWN_SPEED		varchar	100
扇区	section		varchar	100

表10：机场表（kg_airport）

Name	Code	Comment	Data Type	Length
机场标识id	ID		int	11
机场四字码	AIRPORT_CODE4		varchar	4
机场三字码	AIRPORT_CODE3		varchar	10
机场中文全称	AIRPORT_CNAME		varchar	50
机场英文全称	AIRPORT_ENAME		varchar	50
机场坐标经度	AIRPORT_LONGTITUDE		varchar	50
机场坐标纬度	AIRPORT_LATITUDE		varchar	50
中文简称	AIRPORT_SNAME		varchar	20
排序描述	AIRPORT_DESCRIPTION		varchar	255
机场标高	AIRPORT_HEIGHT		varchar	20
机场跑道磁项	AIRPORT_RUNWAYCOURSE		varchar	20
机场跑道长度	AIRPORT_RUNWAYLENGTH		varchar	20
机场跑道宽度	AIRPORT_RUNWAYWIDTH		varchar	20

表11：航空公司表（kg_airlinecompany）

Name	Code	Comment	Data Type	Length
主键id	ID		int	11
二字码	AIRCOMPANY_CODE2		varchar	4
三字码	AIRCOMPANY_CODE3		varchar	3
中文全称	AIRCOMPANY_CNAME		varchar	50
中文简称	AIRCOMPANY_SNAME		varchar	50
排序描述	AIRCOMPANY_DESCRIPTION		varchar	50
英文名称	AIRCOMPANY_ENAME		varchar	100

表12：航空雷达表（kg_aftn）

Name	Code	Comment	Data Type	Length
主键id	id		int	11
发送时间utc	send_time		varchar	255
地区资源	area_source		varchar	255
计划资源	plan_source		varchar	255
飞机id	acid		varchar	255
起飞	adep		varchar	255
降落	ades		varchar	255
计划起飞的时间	stod		varchar	255
计划落地的时间	stoa		varchar	255
状态	aftn_status		varchar	255
执行时间	execute_date		varchar	255
编码	ssr_code		varchar	255
飞行类型	fly_type		varchar	255
飞机类型	aircraft_type		varchar	255
尾速	tail_flow		varchar	255
计划高度	plan_height		varchar	255
计划速度	plan_speed		varchar	255

表13：航空公司变量表（company_number）

Name	Code	Comment	Data Type	Length
主键id	id		int	11
飞机id	acid		varchar	100
公司三字码	company_code3		varchar	100
公司名	company_name		varchar	100
延误数	delay_count		int	11

表14：扇形饱和度变量表（callsaturation_number）

Name	Code	Comment	Data Type	Length
主键id	id		int	11
消息发送时间	SEND_TIME		varchar	100
数据区域	AREA_SOURCE		varchar	100
计算时间	THBH_TIME		varchar	100
计算的扇区	THBH_SECT		varchar	100
计算后饱和度	THBH_VALUE		varchar	100

表15：值班变量表（atcduty_number）

Name	Code	Comment	Data Type	Length
主键id	id		int	11
发送时间	send_time		varchar	100
数据区域	area_source		varchar	100
值班岗位	atc_duty_position		varchar	100
值班人员	atc_duty_person		varchar	100
值班人员管制扇区	atc_duty_sector		varchar	100
数量	count		int	11

表16：航空变量表（atc_number）

Name	Code	Comment	Data Type	Length
主键id	id		int	11
航班号	ACID		varchar	100
航班时间	ATC_TIME		varchar	100
执行日期	EXECUTE_DATE		varchar	100
计划扇区名称	PLAN_SECTOR_NAME		varchar	100

表17：机场变量表（airport_number）

Name	Code	Comment	Data Type	Length
主键id	id		int	11
飞行编码	flightcode		varchar	20
机场名称	cname		varchar	100
经常英文名	ename		varchar	100
数量	count		int	11

表18：机场经纬度表（airport_longlat）

Name	Code	Comment	Data Type	Length
三字码	code3		varchar	255
城市	city		varchar	255
纬度	latitude		varchar	255
经度	longitude		varchar	255
四字码	code4		varchar	255

表19：航线变量表（airline_number）

Name	Code	Comment	Data Type	Length
主键id	id		int	11
飞机id	acid		varchar	50
起飞机场编码	adepcode		varchar	50
目标机场编码	adescode		varchar	50
	acids		varchar	500
机场名称	adepname		varchar	100
机场名称	adesname		varchar	100
机场经度	adeplong		varchar	100
机场纬度	adeplat		varchar	100
机场经度	adeslong		varchar	100
机场纬度	adeslat		varchar	100
数量	count		int	11

2、将离线的实时飞行数据（data.tar.gz）导入到HBase中

• HBase数据表说明：

1	管制值班人员表
2	ATFN报文数据
3	综合航迹表
4	计划数据
5	相似航班号数据表

• HBase数据字典：

kg_ATCDutyInfo	管制值班人员表
Name	Code	Comment	Data Type	Length
消息发送时间	SEND_TIME		string
数据区域	AREA_SOURCE		string
值班岗位名称	ATC_DUTY_POSITION		string
值班人员	ATC_DUTY_PERSON		string
值班人员管制扇区	ATC_DUTY_SECTOR		string

Kg_AFTN	ATFN报文数据
Name	Code	Comment	Data Type	Length
发送者时间，UTC 时间	SEND_TIME		string
数据区域	AREA_SOURCE		string
消息类型	PLAN_SOURCE		string
航班号	ACID		string
起飞机场	ADEP		string
目的机场	ADES		string
计划起飞时间	STOD		string
计划落地时间	STOA		string
当前状态	AFTN_STATUS		string
执行日期	EXECUTE_DATE		string
二次代码	SSR_CODE		string
飞行规则	FLY_RULE		string
飞行类型	FLY_TYPE		string
机型	AIRCRAFT_TYPE		string
尾流	TAILFLOW		string
注册号	REGID		string
巡航高度(来源 FPL 报)	PLAN_HEIGHT		string
巡航速度(来源 FPL 报)	PLAN_SPEED		string
任务	TASK		string
机载设备	AFTN_EQUIPMENT		string
性能	CAPABILITY		string
FPL 报预计起飞时间	ETOT		string
FPL 报预计落地时间	ELDT		string
实际起飞时间	ATOT		string
实际落地时间	ALDT		string
备降机场	EVENING_PORT		string
入界点	IBP		string
入界点时间	IBP_TIME		string
出界点	OBP		string
出界点时间	OBP_TIME		string
飞行总时间	FLY_TIME		string

Kg_MultiRadarData	综合航迹表
Name	Code	Comment	Data Type	Length
哪个地区的综合航迹	AREA_SOURCE		String
发送时间(UTC 时间)	SENDRADARTIME		String
雷达种类（综合航迹：MULTI，	RADAR_TYPE		String
航班号	ACID		String
航迹号	TRACK_NUMBER		Int
二次代码	SSR_CODE		String
直角坐标 X 分量（单位：km）	ZHIJIAO_X		double
直角坐标 Y 分量（单位：km）	ZHIJIAO_Y		double
小数形式的经度（单位：度）	RADAR_LONGTITUDE		double
小数形式的纬度（单位：度	RADAR_LATITUDE		double
高度	RADAR_HEIGHT		double
X 分量速度	SPEED_X		double
Y 分量速度	SPEED_Y		double
速度	RADAR_SPEED		double
航向	DIRECTION		double
指令高度	RADAR_CFL		double
飞行员报告高度	FCU		double
时间戳	TIME		double
飞行状态	FLYSTATUS		String
爬升/下降速度	CLIMBORDOWN_SPEED		double

Kg_PlanData	计划数据
Name	Code	Comment	Data Type	Length
消息发送时间，UTC 时间	SEND_TIME		string
数据区域	AREA_SOURCE		string
数据类型，来源于哪个系统	PLAN_SOURCE		string
航班号	ACID		string
起飞机场	ADEP		string
落地机场	ADES		string
计划起飞时间(次日计划时间)	STOD		string
计划落地时间(次日计划时间)	STOA		string
FPL 起飞时间	ETOT		string
FPL 落地时间	ELDT		string
机型	AIRCRAFT_TYPE		string
注册号	REGID		string
任务	TASK		string
航班执行日期	EXECUTE_DATE		string

Kg_WarnSimilarHistory	相似航班号数据表
Name	Code	Comment	Data Type	Length
告警类型	GJ_TYPE		String
告警的唯一标示编号	GJ_ID		String
告警的类型	GJ_MSG_TYPE		String
航迹号 1	GJ_TRACK_NUM1		String
航迹号 2	GJ_TRACK_NUM2		String
告警的扇区号	GJ_SECTOR		String
告警航班之间的距离	GJ_DISTINCT		Double
告警航班之间的夹角	GJ_RADIAN		Double
告警的名称	GJ_NAME		String
告警的距离参数	GJ_DISTINCT_BZ		String
告警的城市	GJ_CITY		String
告警发生的时间	GJ_DATE		String

• 其它表字段与mysql表字段相同

任务实现

【注意：当前任务的操作在node3节点上完成】

1、首先将data.tar.gz解压到自定义目录中

注意：由于数据文件的压缩包比较大，解压过程可能会持续3~5分钟，请耐心等待。

[root@node3 ~]# cd /opt/software/
[root@node3 software]# tar -xzf data.tar.gz -C /opt/

2、利用SQLyog或者其他数据库工具将保存在/opt/data目录中名为kongguan.sql的文件导入到MySQL数据库

• 使用 【mysql -uroot -p】 登录到MySQL（输入密码登录123456）
• 使用 show databases 命令，查看数据库列表

• 创建数据库：

mysql> create database kongguan;
mysql> use kongguan;

• 进入kongguan数据库，使用 source 命令执行kongguan.sql脚本导入数据（假设sql文件的位置：/opt/data/kongguan.sql）

mysql> use kongguan;
mysql> source /opt/data/kongguan.sql;

导入数据后，可使用 MySQL的show tables; 语句查看导入情况：

3、将HBase备份文件（空管数据及实时飞行数据）导入到集群的HBase数据库

• 切换到node3节点，在控制台输入以下命令，在HDFS上创建如下目录

[root@node3 ~]# hadoop fs -mkdir /hbase/table/ 
[root@node3 ~]# hadoop fs -mkdir /hbase/table/Kg_CallSaturation 
[root@node3 ~]# hadoop fs -mkdir /hbase/table/Kg_ATC 
[root@node3 ~]# hadoop fs -mkdir /hbase/table/Kg_PlanData 
[root@node3 ~]# hadoop fs -mkdir /hbase/table/Kg_ATCDutyInfo 
[root@node3 ~]# hadoop fs -mkdir /hbase/table/Kg_FlightState 
[root@node3 ~]# hadoop fs -mkdir /hbase/table/Kg_WarnFlightHistory 
[root@node3 ~]# hadoop fs -mkdir /hbase/table/Kg_AFTN 
[root@node3 ~]# hadoop fs -mkdir /hbase/table/Kg_WarnSimilarHistory
[root@node3 ~]# hadoop fs -mkdir /hbase/table/Kg_MultiRadarData

查看HDFS上目录的创建情况：

• 把数据上传至hdfs

注意：由于数据量较大，上传数据的过程可能会持续3-5分钟的时间，请耐心等待。

[root@node3 ~]# hadoop fs -put /opt/data/Kg_CallSaturation /hbase/table/Kg_CallSaturation 
[root@node3 ~]# hadoop fs -put /opt/data/Kg_ATC /hbase/table/Kg_ATC 
[root@node3 ~]# hadoop fs -put /opt/data/Kg_PlanData /hbase/table/Kg_PlanData 
[root@node3 ~]# hadoop fs -put /opt/data/Kg_ATCDutyInfo /hbase/table/Kg_ATCDutyInfo 
[root@node3 ~]# hadoop fs -put /opt/data/Kg_FlightState /hbase/table/Kg_FlightState 
[root@node3 ~]# hadoop fs -put /opt/data/Kg_WarnFlightHistory /hbase/table/Kg_WarnFlightHistory 
[root@node3 ~]# hadoop fs -put /opt/data/Kg_AFTN /hbase/table/Kg_AFTN 
[root@node3 ~]# hadoop fs -put /opt/data/Kg_WarnSimilarHistory /hbase/table/Kg_WarnSimilarHistory
[root@node3 ~]# hadoop fs -put /opt/data/Kg_MultiRadarData /hbase/table/Kg_MultiRadarData

• 进入HBase客户端运行【hbase shell】进入

[root@node3 software]# hbase shell

• 创建HBase表

create 'Kg_CallSaturation','SaturationHome' 
create 'Kg_ATC','ATCHome' 
create 'Kg_PlanData','ReportHome' 
create 'Kg_ATCDutyInfo','ATCDutyHome' 
create 'Kg_FlightState','StateHome' 
create 'Kg_WarnFlightHistory','WarnFlightHome' 
create 'Kg_AFTN','AFTNHome' 
create 'Kg_WarnSimilarHistory','WarnSimilarHome'
create 'Kg_MultiRadarData','RadarHome'

• 查看创建情况

• 退出HBase客户端

• 然后执行导入操作

注意：由于此过程要执行多个MapReduce操作，可能需要5-10分钟左右的时间，请耐心等待。

[root@node3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_CallSaturation /hbase/table/Kg_CallSaturation/Kg_CallSaturation
[root@node3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_ATC /hbase/table/Kg_ATC/Kg_ATC
[root@node3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_PlanData /hbase/table/Kg_PlanData/Kg_PlanData 
[root@node3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_ATCDutyInfo /hbase/table/Kg_ATCDutyInfo/Kg_ATCDutyInfo
[root@node3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_FlightState /hbase/table/Kg_FlightState/Kg_FlightState
[root@node3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_WarnFlightHistory /hbase/table/Kg_WarnFlightHistory/Kg_WarnFlightHistory
[root@node3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_AFTN /hbase/table/Kg_AFTN/Kg_AFTN 
[root@node3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_WarnSimilarHistory /hbase/table/Kg_WarnSimilarHistory/Kg_WarnSimilarHistory
[root@node3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_MultiRadarData /hbase/table/Kg_MultiRadarData/Kg_MultiRadarData

例如：

• 查看数据导入情况

4、实时飞行数据说明

• 解压data.tar.gz后的文件导入到集群的HBase数据库，所以直接读取HBase即可，但是由于真实的数据里实时飞行数据的时间间隔过短，在地图上不能感觉到飞机的实时运动状态，所以在项目中使用的实时飞行数据是从HBase中取出的真实飞行数据经过一定的处理后将时间间隔变大的数据，这样做可以在地图上明显感觉到飞机的运动状态。
• 当前项目提供了已经处理好的实时飞行数据，即：part-00000 ~ part-00011。使用时需要根据当前位置修改后台读取的位置即可，如下图：

part-000xx文件的内容格式如下：

这些文件可以放到本地，也可以放到HDFS上，例如：如果要在【client节点机器上】上读取“实时飞行数据”，可以使用【scp】命令将该数据从node3节点复制到client节点上。

 [root@node3 ~]# scp -rq /opt/data client:/opt/

在后面阶段任务，读取时要根据自己的实际存放位置修改代码中的读取路径：