Superset基础入门

1 Superset概述

Apache Superset 是一个现代的数据探索和可视化平台。它功能强大且十分易用，可对接各种数据源，包括很多现代的大数据分析引擎，拥有丰富的图表展示形式，并且支持自定义仪表盘。

2 Superset安装

Superset 是由 Python 语言编写的 Web 应用，要求 Python3.7 的环境。
python安装步骤：
（1）安装Miniconda。conda 是一个开源的包、环境管理器，可以用于在同一个机器上安装不同 Python 版本的软件包及其依赖，并能够在不同的 Python 环境之间切换，Anaconda 包括 Conda、Python 以及一大堆安装好的工具包，比如：numpy、pandas 等，Miniconda 包括 Conda、Python。此处，我们不需要如此多的工具包，故选择 MiniConda。Miniconda下载地址：https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
```
bash Miniconda3-latest-Linux-x86_64.sh
```
运行后指定安装路径后安装成功

（2）加载环境变量配置文件，使之生效
```
source ~/.bashrc
```
（3）Miniconda 安装完成后，每次打开终端都会激活其默认的 base 环境，我们可通过以下命令，禁止激活默认 base 环境。
```
conda config --set auto_activate_base false
```
（4）配置 conda 国内镜像
```
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
```
（5）创建 Python3.8 环境
```
conda create --name superset python=3.8
```
superset安装部署步骤
（1）安装依赖
```
sudo yum install -y gcc gcc-c++ libffi-devel python-devel python-pip python-wheel python-setuptools openssl-devel cyrus-sasl-developenldap-devel
```
（2）安装（更新）setuptools 和 pip
```
pip install --upgrade setuptools pip -i https://pypi.douban.com/simple/
```
（3）安装superset
```
pip install apache-superset -i https://pypi.douban.com/simple/
```
（4）初始化 Supetset 数据库（元数据库），报错的话安装pip install wtforms==2.3.3
```
superset db upgrade
```
（5）创建管理员用户，输入用户名superset、个人信息（可回车跳过）、密码superset，报错的话安装pip install pillow
```
export FLASK_APP=superset
superset fab create-admin
```
（6）Superset 初始化
```
superset init
```
启动superset步骤，将superset部署到web容器中

（1）安装gunicorn，gunicorn 是一个 Python Web Server，可以和 java 中的 TomCat 类比
```
pip install gunicorn -i https://pypi.douban.com/simple/
```
（2）确保当前 conda 环境为 superset，启动superset，–workers：指定进程个数， --timeout：worker 进程超时时间，超时会自动重启， --bind：绑定本机地址，即为 Superset 访问地址， --daemon：后台运行
```
gunicorn --workers 5 --timeout 120 --bind hadoop102:8787 "superset.app:create_app()" --daemon
```
（3）访问hadoop102:8787，输入账号密码即可登录
关闭superset，没有现成的命令，需要手动关闭进程，过滤出所有包含superset的进程并kill
```
ps -ef | awk '/superset/ && !/awk/{print $2}' | xargs kill -9
```

superset启停脚本

#!/bin/bash
superset_status(){
result=`ps -ef | awk '/gunicorn/ && !/awk/{print $2}' | wc -l`
if [[ $result -eq 0 ]]; then
return 0
else
return 1
fi
}
superset_start(){
source ~/.bashrc
superset_status >/dev/null 2>&1
if [[ $? -eq 0 ]]; then
conda activate superset ; gunicorn --workers 5 --timeout 120 --bind hadoop102:8787 --daemon 'superset.app:create_app()'
else
echo "superset 正在运行"
fi
}
superset_stop(){
superset_status >/dev/null 2>&1
if [[ $? -eq 0 ]]; then
echo "superset 未在运行"
else
ps -ef | awk '/gunicorn/ && !/awk/{print $2}' | xargs kill -9
fi
}
case $1 in
start )
echo "启动 Superset"
superset_start
;;
stop )
echo "停止 Superset"
superset_stop
;;
restart )
echo "重启 Superset"
superset_stop
superset_start
;;
status )
superset_status >/dev/null 2>&1
if [[ $? -eq 0 ]]; then
echo "superset 未在运行"
else
echo "superset 正在运行"
fi
esac

3 Superset使用

3.1 配置数据源

要对接不同的数据源，需要安装不同的依赖，https://superset.apache.org/docs/databases/installing-database-drivers，这里安装对接mysql的依赖，然后重启superset
```
conda install mysqlclient
```
配置数据源步骤
（1）点击 Data/Databases
（2）点击＋DATABASE
（3）点击填写 Database 相关信息进行连接
配置表步骤
（1）点击 Data/Datasets
（2）点击+DATASET
（3）选择要配置的数据库以及表进行添加

3.2 制作仪表盘

创建空白仪表盘步骤
（1）点击 Dashboards/+DASHBOARDS
（2）命名并保存
创建图表步骤
（1）点击 Charts/+CHART
（2）选则数据源及图表类型
（3）对图表进行配置后创建，配置界面分为三块，分别是表的信息区、表的配置区、表的预览区；其中TIME COLUMN指明数据源表中代表时间的字段，后面它的值会作为横轴；TIME GRAIN代表时间粒度，TIME RANGE代表时间范围，可以设置要展示的时间范围；METRICS则代表衡量指标，可以选择一个数据源表的字段，后面它的值会作为纵轴，同时还需要选择一个聚合函数AGGREGATE，该聚合函数会按照前面选择的时间粒度进行数据的聚合；

（4)点击右上角保存生成的图表，选择要添加到的仪表盘
（5)可在相应的仪表盘中看到刚刚创建的图表，如果有多个图表的话，可以点击编辑按钮，使用行列组件预先布局，然后再把图表拖到对应的位置上
（6)在仪表盘右上角可以选择设置自动刷新时间间隔