博主历时三年精心创作的《大数据平台架构与原型实现:数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行,点击《重磅推荐:建大数据平台太难了!给我发个工程原型吧!》了解图书详情,京东购书链接:https://item.jd.com/12677623.html,扫描左侧二维码进入京东手机购书页面。
1. 整库导出为一个SQL文件
database = "<your-database-name>"
cat << EOF > $database .sql
drop database if exists $database cascade;
create database if not exists $database ;
use $database ;
EOF
for table in $( beeline -n hadoop -u jdbc:hive2:// --showHeader = false --outputformat = tsv2 -e "use $database ; show tables;" ) ; do
beeline -n hadoop -u jdbc:hive2:// --showHeader = false --outputformat = tsv2 -e "show create table $database .$table ;" >> $database .sql
echo ";" >> $database .sql
done
2. 从SQL文件导入数据库
spark-sql -f /path/to/your-exported-db.sql