此安装包是《去破解站长》在公司真实生产环境所使用的安装包。
引言:Hive引擎包括:默认MR、tez、spark
Download:www.qupojie.com
1、Hive on Spark
1、Hive onSpark:Hive既作为存储元数据又负责SQL的解析优化,语法是HQL语法,执行引擎变成了Spark,Spark负责采用RDD执行。
2、Spark on Hive : Hive只作为存储元数据,Spark负责SQL解析优化,语法是Spark
SQL语法,Spark负责采用RDD执行。
2、hive3.1.2编译
- 使用hive3.1.2和spark3.0.0配置hive on
spark的时候,发现官方下载的hive3.1.2和spark3.0.0不兼容。 - hive3.1.2默认支持的版本为spark2.3.0,而spark3.0对应的hadoop版本是hadoop2.6或hadoop2.7或更高。
- 所以,如果想要使用高版本的hive和hadoop,我们要重新编译hive,兼容spark3.0.0。
- 目前,有关hive3.1.2编译的帖子相对较少,,除了兼容spark3.0.0外,还将hive3.1.3的guava的版本提升到了hadoop3.x一致,以兼容hadoop3.2.0。
- 另外还修复官方hive3.1.2release版本的一些bug,详见hive3.1.2修复bug。