macbook本地部署 pyhive环境连接 hive用例

前言

公司的测试和生产环境中尚未提供基于Hive的客户端。若希望尝试操作Hive表，目前一个可行的方案是使用Python语言，通过借助pyhive库，您可以对Hive表进行各种操作。以下是一些示例记录供您参考。

一、pyhive是什么？

PyHive是一个Python库，用于与Apache Hive进行交互和查询。Apache Hive是建立在Hadoop平台上的数据仓库工具，旨在方便地执行SQL类型的查询以分析大型数据集。PyHive库允许Python开发人员通过编程语言来访问和操作Hive数据库，从而进行数据查询、分析和处理。

通过PyHive，可以使用Python编写Hive查询和命令，并从Python应用程序中直接访问和操作Hive中存储的数据。PyHive提供了与Hive数据库交互所需的API和功能，使得在Python环境中进行大规模数据处理变得更加简单和高效。

二、本地安装 pyhive库

1. 安装 pip 包管理工具

在Python环境中，通常会同时安装有pip和pip3这两个包管理工具，它们的主要区别在于所针对的Python版本。
pip：pip是用于Python 2.x版本的包管理工具。在Python 2.x环境下，pip通常是默认的包管理工具，用于安装、升级和管理Python包和依赖项。
pip3：pip3则是专为Python 3.x版本设计的包管理工具。在Python 3.x环境中，pip3用于安装、升级和管理Python 3.x的包和依赖项。需要注意的是，在某些情况下，pip3也可以用来代替pip，以确保在Python 2.x和Python 3.x环境中都能使用相同的包管理工具。
因此如果需要在Python 3环境下安装包时，应优先选择使用pip3来安装，以确保Python 3.x环境中的包管理工具正确安装和管理依赖项。如果您同时使用Python 2和Python 3环境，则需要注意使用不同的pip版本以避免混淆和冲突。

在 MacBook 上安装 pip 工具，可以按照以下步骤进行：

1. 安装 Homebrew（如果尚未安装）

Homebrew 是一个包管理工具，可以用来方便地安装和管理 macOS 上的软件包。

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

2. 安装 Python（包括 pip）

使用 Homebrew 安装 Python，pip 通常会随 Python 一起安装。

brew install python

安装完成后，你可以检查 python3 和 pip3 是否已经安装：

python3 --version
pip3 --version

3. 安装或升级 pip

如果你已经有 Python 安装，但没有 pip 或需要升级 pip，可以使用以下命令：

python3 -m ensurepip --upgrade

或者，如果你已经有 pip，可以通过以下命令升级它：

pip3 install --upgrade pip

4. 使用 pip 安装包

确认 pip 安装成功后，你可以使用 pip 安装 Python 包。例如，安装 requests 包(做个测试)：

pip3 install requests
(myenv) ➜  ~ pip3 install requests
Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple
Collecting requests
  Downloading https://pypi.tuna.tsinghua.edu.cn/packages/f9/9b/335f9764261e915ed497fcdeb11df5dfd6f7bf257d4a6a2a686d80da4d54/requests-2.32.3-py3-none-any.whl (64 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 64.9/64.9 kB 1.6 MB/s eta 0:00:00
Collecting charset-normalizer<4,>=2 (from requests)
  Downloading https://pypi.tuna.tsinghua.edu.cn/packages/2e/7d/2259318c202f3d17f3fe6438149b3b9e706d1070fe3fcbb28049730bb25c/charset_normalizer-3.3.2-cp312-cp312-macosx_10_9_x86_64.whl (122 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 122.2/122.2 kB 4.1 MB/s eta 0:00:00
Collecting idna<4,>=2.5 (from requests)
  Downloading https://pypi.tuna.tsinghua.edu.cn/packages/e5/3e/741d8c82801c347547f8a2a06aa57dbb1992be9e948df2ea0eda2c8b79e8/idna-3.7-py3-none-any.whl (66 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 66.8/66.8 kB 2.1 MB/s eta 0:00:00
Collecting urllib3<3,>=1.21.1 (from requests)
  Downloading https://pypi.tuna.tsinghua.edu.cn/packages/a2/73/a68704750a7679d0b6d3ad7aa8d4da8e14e151ae82e6fee774e6e0d05ec8/urllib3-2.2.1-py3-none-any.whl (121 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 121.1/121.1 kB 4.0 MB/s eta 0:00:00
Collecting certifi>=2017.4.17 (from requests)
  Downloading https://pypi.tuna.tsinghua.edu.cn/packages/5b/11/1e78951465b4a225519b8c3ad29769c49e0d8d157a070f681d5b6d64737f/certifi-2024.6.2-py3-none-any.whl (164 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 164.4/164.4 kB 4.1 MB/s eta 0:00:00
Installing collected packages: urllib3, idna, charset-normalizer, certifi, requests
Successfully installed certifi-2024.6.2 charset-normalizer-3.3.2 idna-3.7 requests-2.32.3 urllib3-2.2.1

额外步骤：安装虚拟环境（可选）

使用虚拟环境可以帮助你管理项目依赖：

pip3 install virtualenv

创建一个新的虚拟环境：

python3 -m venv myenv

激活虚拟环境：

source myenv/bin/activate

退出虚拟环境：

deactivate

如何安装的速度太慢可以考虑换下国内的镜像：

常见的国内镜像源
以下是几个常见的国内 PyPI 镜像源：

清华大学： https://pypi.tuna.tsinghua.edu.cn/simple
阿里云： https://mirrors.aliyun.com/pypi/simple/
豆瓣(douban)： https://pypi.douban.com/simple/
中国科学技术大学： https://pypi.mirrors.ustc.edu.cn/simple/
华中理工大学： https://pypi.hustunique.com/

2. 实操演示

代码如下（示例）：

# 新建虚拟环境
➜  ~ python3 -m venv myenv
# 激活环境
➜  ~ source myenv/bin/activate
(myenv) ➜  ~ python -m pip install pyhive
Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple
Collecting pyhive
  Downloading https://pypi.tuna.tsinghua.edu.cn/packages/f6/ec/5c658b3a4d99a6d9145030cc8e003c3f7efc668d866e88544812ab0af310/PyHive-0.7.0.tar.gz (46 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 46.5/46.5 kB 652.1 kB/s eta 0:00:00
  Installing build dependencies ... done
  Getting requirements to build wheel ... done
  Installing backend dependencies ... done
  Preparing metadata (pyproject.toml) ... done
Collecting future (from pyhive)
  Downloading https://pypi.tuna.tsinghua.edu.cn/packages/da/71/ae30dadffc90b9006d77af76b393cb9dfbfc9629f339fc1574a1c52e6806/future-1.0.0-py3-none-any.whl (491 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 491.3/491.3 kB 3.1 MB/s eta 0:00:00
Collecting python-dateutil (from pyhive)
  Downloading https://pypi.tuna.tsinghua.edu.cn/packages/ec/57/56b9bcc3c9c6a792fcbaf139543cee77261f3651ca9da0c93f5c1221264b/python_dateutil-2.9.0.post0-py2.py3-none-any.whl (229 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 229.9/229.9 kB 5.7 MB/s eta 0:00:00
Collecting six>=1.5 (from python-dateutil->pyhive)
  Downloading https://pypi.tuna.tsinghua.edu.cn/packages/d9/5a/e7c31adbe875f2abbb91bd84cf2dc52d792b5a01506781dbcf25c91daf11/six-1.16.0-py2.py3-none-any.whl (11 kB)
Building wheels for collected packages: pyhive
  Building wheel for pyhive (pyproject.toml) ... done
  Created wheel for pyhive: filename=PyHive-0.7.0-py3-none-any.whl size=53872 sha256=da53a804b81ecb864a3cc38acb060e3b17bd93cf9c7d914ebdccdbd999964302
  Stored in directory: /Users/mac/Library/Caches/pip/wheels/99/bf/03/0562e50cb60a3bcb0e09602d7060ea2c6da7039f99bda3ec86
Successfully built pyhive
Installing collected packages: six, future, python-dateutil, pyhive
Successfully installed future-1.0.0 pyhive-0.7.0 python-dateutil-2.9.0.post0 six-1.16.0




# 进入环境测试导入包无错误
➜  ~ source myenv/bin/activate
(myenv) ➜  ~ python
Python 3.12.3 (main, Apr  9 2024, 08:09:14) [Clang 15.0.0 (clang-1500.3.9.4)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> from pyhive import hive
>>>

# 注意，如果还是报错可能还需要安装其他包（按照要求安装即可）
pip install pyhive
pip install thrift
pip install sasl
pip install thrift_sasl

3. 测试连接hive示例

3.1 hive连接 jdbc 命令行

(myenv) ➜  hive bin/beeline -u jdbc:hive2://localhost:10000 -n root -p root
Connected to: Apache Hive (version 3.1.3)
Driver: Hive JDBC (version 3.1.3)
Transaction isolation: TRANSACTION_REPEATABLE_READ
Beeline version 3.1.3 by Apache Hive
0: jdbc:hive2://localhost:10000> show databases;
INFO  : Compiling command(queryId=mac_20240608144604_4395d68b-785d-4808-8c09-1732ad816350): show databases
INFO  : Concurrency mode is disabled, not creating a lock manager
INFO  : Semantic Analysis Completed (retrial = false)
INFO  : Returning Hive schema: Schema(fieldSchemas:[FieldSchema(name:database_name, type:string, comment:from deserializer)], properties:null)
INFO  : Completed compiling command(queryId=mac_20240608144604_4395d68b-785d-4808-8c09-1732ad816350); Time taken: 0.748 seconds
INFO  : Concurrency mode is disabled, not creating a lock manager
INFO  : Executing command(queryId=mac_20240608144604_4395d68b-785d-4808-8c09-1732ad816350): show databases
INFO  : Starting task [Stage-0:DDL] in serial mode
INFO  : Completed executing command(queryId=mac_20240608144604_4395d68b-785d-4808-8c09-1732ad816350); Time taken: 0.037 seconds
INFO  : OK
INFO  : Concurrency mode is disabled, not creating a lock manager
+----------------+
| database_name  |
+----------------+
| default        |
| test           |
| tmp            |
+----------------+
3 rows selected (1.113 seconds)
0: jdbc:hive2://localhost:10000>


0: jdbc:hive2://localhost:10000> select * from test.login_data limit 3;
+----------------------+------------------------+------------------+----------------+
|  login_data.logtime  | login_data.account_id  |  login_data.ip   | login_data.dt  |
+----------------------+------------------------+------------------+----------------+
| 2019-07-15 00:00:00  | 102325                 | 223.116.97.23    | 2019-07-15     |
| 2019-07-15 00:00:00  | 221977                 | 223.104.247.162  | 2019-07-15     |
| 2019-07-15 00:00:00  | 223764                 | 59.32.248.102    | 2019-07-15     |
+----------------------+------------------------+------------------+----------------+
3 rows selected (1.487 seconds)

3.2 pyhive连接获取数据示例

(myenv) ➜  ~ python
Python 3.12.3 (main, Apr  9 2024, 08:09:14) [Clang 15.0.0 (clang-1500.3.9.4)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> from pyhive import hive
>>> conn = hive.Connection(host="localhost", port=10000, username="root")
>>> cursor = conn.cursor()
>>> cursor.execute('select * from test.login_data limit 3')
>>> for row in cursor.fetchall():
...     print(row)
...
('2019-07-15 00:00:00', 102325, '223.116.97.23', '2019-07-15')
('2019-07-15 00:00:00', 221977, '223.104.247.162', '2019-07-15')
('2019-07-15 00:00:00', 223764, '59.32.248.102', '2019-07-15')
>>> cursor.close()
>>> conn.close()

完整示例：

from pyhive import hive
import logging

# 配置日志记录
logging.basicConfig(level=logging.INFO)
logger = logging.getLogger(__name__)

try:
    # 配置 Hive 连接参数
    host = 'localhost'
    port = 10000
    username = 'root'
    database = 'test'

    # 创建连接
    conn = hive.Connection(host=host, port=port, username=username, database=database)

    # 创建游标
    cursor = conn.cursor()

    # 执行查询
    query = 'select * from test.login_data limit 3'
    cursor.execute(query)

    # 获取查询结果
    results = cursor.fetchall()
    for row in results:
        print(row)

except Exception as e:
    logger.error("Error occurred while connecting to Hive or executing query", exc_info=True)
finally:
    # 确保游标和连接在异常情况下也能正确关闭
    try:
        if cursor:
            cursor.close()
    except Exception as e:
        logger.error("Error occurred while closing cursor", exc_info=True)
    try:
        if conn:
            conn.close()
    except Exception as e:
        logger.error("Error occurred while closing connection", exc_info=True)

运行结果：

(myenv) ➜  tmp python test.py
INFO:pyhive.hive:USE `test`
INFO:pyhive.hive:select * from test.login_data limit 3
('2019-07-15 00:00:00', 102325, '223.116.97.23', '2019-07-15')
('2019-07-15 00:00:00', 221977, '223.104.247.162', '2019-07-15')
('2019-07-15 00:00:00', 223764, '59.32.248.102', '2019-07-15')

未解决问题

使用 Pycharm开发的时候提示如下报错：
在这里插入图片描述
这个应该是没有应用到我虚拟 myenv环境导致的，尝试新建一个新的解释器但是未成功，有么有知道怎么做的欢迎和我讨论。

参考

https://www.cnblogs.com/SunshineKimi/p/12969751.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/700539.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

计算机网络 —— 运输层（运输层概述）

计算机网络 —— 运输层（运输层概述）

计算机网络 —— 运输层&#xff08;运输层概述&#xff09; 运输层运输层端口号复用分用复用&#xff08;Multiplexing&#xff09;分用&#xff08;Demultiplexing&#xff09; 常用端口号页面响应流程 我们今天进入到运输层的学习&#xff1a; 运输层 我们之前学习的物理层…
阅读更多...
Vitis HLS 学习笔记--矢量数据类型

Vitis HLS 学习笔记--矢量数据类型

目录 1. 简介 2. 用法详解 2.1 存储器布局 2.2 示例展示 2.3 综合报告 3. 总结 1. 简介 在 Vitis HLS 中&#xff0c;矢量数据类型是一种特殊的数据类型&#xff0c;它允许你一次处理多个数据元素&#xff0c;就像一排并排的盒子&#xff0c;每个盒子里都装着一个数据元…
阅读更多...
短视频矩阵源码---矩阵托管1000个账号如何正规开发规则实现

短视频矩阵源码---矩阵托管1000个账号如何正规开发规则实现

一、短视频矩阵源码开发实现规则&#xff1a; 1.首先是确保各个官方平台api接口的稳定性&#xff0c;一定要是各个平台正规的api 2.其次是保证服务器运行&#xff0c;带宽保证能够并行&#xff0c;目前我们这边用的是源码所需服务器配置&#xff1a;规格:最低8核16G2、硬盘:系…
阅读更多...
易舟云财务软件：引领财务数字化转型的新篇章

易舟云财务软件：引领财务数字化转型的新篇章

在数字化浪潮的推动下&#xff0c;财务软件已经成为企业财务管理不可或缺的工具。而易舟云财务软件&#xff0c;作为一款深受用户喜爱的财务管理系统&#xff0c;正引领着财务数字化转型的新篇章。 财务软件行业背景与易舟云的定位 财务软件行业正经历着前所未有的变革。随着《…
阅读更多...
视频行人搜索 (Person Search in Videos)

视频行人搜索 (Person Search in Videos)

文章目录 视频行人搜索 (Person Search in Videos)图像行人搜索存在问题Video PS 定义MTA-PS数据集First person search dataset in videosComplicated ambient conditions and realistic monitoring scenariosPrivacy insensitivity 方法 视频行人搜索 (Person Search in Vide…
阅读更多...
数字芯片——时钟与复位

数字芯片——时钟与复位

关于此次章节我想要探讨的问题是门控时钟的处理&#xff08;Clock Gating Methodology&#xff09;和时钟复位策略。在低功耗设计中&#xff0c;门控时钟是结构最简洁&#xff0c;最容易实现的电路结构。如上期所讲的&#xff0c;一个控制信号和时钟逻辑与在一起输出的信号作用…
阅读更多...
万界星空科技定制化MES系统，实现数字化生产

万界星空科技定制化MES系统，实现数字化生产

一、MES生产管理系统强调三个方面&#xff1a; 1、MES是对整个车间制造过程的优化&#xff0c;而不是单一的解决某个生产瓶颈。 2、MES必须提供实时收集生产过程中数据的功能&#xff0c;并作出相应的分析和处理。 3、MES需要与计划层和控制层进行信息交互&#xff0c;通过企业…
阅读更多...
程序员，真有不变的技术和稳定的工作吗？

程序员，真有不变的技术和稳定的工作吗？

在程序员这个充满变化和创新的领域&#xff0c;很多人追求“稳定”的工作&#xff0c;认为找到一个合适的公司和岗位就能安心一辈子。然而&#xff0c;技术的快速更新迭代和市场需求的不断变化&#xff0c;使得真正的稳定变得越来越难以捉摸。作为程序员&#xff0c;我们需要反…
阅读更多...
C# Winform内嵌窗体(在主窗体上显示子窗体)

C# Winform内嵌窗体(在主窗体上显示子窗体)

在开发Winform项目中&#xff0c;经常会要切换不同的窗体。通常程序都有一个主窗体&#xff0c;在切换窗体时往往需要关闭其他子窗体&#xff0c;这个实例就来介绍MDI主窗体内嵌子窗体的实现方法。 MDI主窗体要设置一个比较重要的属性&#xff0c;IsMdiContainertrue。子窗体的…
阅读更多...
【云原生】创建harbor私有仓库及使用aliyun个人仓库

【云原生】创建harbor私有仓库及使用aliyun个人仓库

1.安装docker #删除已有dockersystemctl stop docker yum remove docker \docker-client \docker-client-latest \docker-common \docker-latest \docker-latest-logrotate \docker-logrotate \docker-engine #安装docker yum install -y docker-ce-20.10.1…
阅读更多...
NLP中的Tokenizer分词器的概念与实现

NLP中的Tokenizer分词器的概念与实现

Tokenizer 在开始学习 NLP 相关知识之前&#xff0c;先要学习一个叫 Tokenizer 的概念&#xff0c;这可谓是所有 NLP 模型开始训练前需要做的一个步骤&#xff0c;那么 Tokenizer 是什么&#xff1f; 在计算机处理一行语句的时候&#xff0c;我们给其输入一个 String&#xff…
阅读更多...
Android Media Framework（五）Tunnel Mode

Android Media Framework（五）Tunnel Mode

本篇将聚焦Android Tunnel Mode&#xff0c;详细解析组件之间隧道连接过程、数据传递过程、组件销毁过程。通过阅读本篇内容&#xff0c;我们应能对tunneled组件的连接过程和buffer分配过程有所了解。 1、Tunnel Mode介绍 IL Spec详细描述了Tunnel Component的实现方式&#x…
阅读更多...
【ArcGISProSDK】OpenItemDialog打开文件对话框

【ArcGISProSDK】OpenItemDialog打开文件对话框

打开单个文件 效果 代码 public async void OpenFunction() {// 获取默认数据库var gdbPath Project.Current.DefaultGeodatabasePath;OpenItemDialog openItemDialog new OpenItemDialog() { Title "打开要素文件",InitialLocation gdbPath,Filter ItemFilte…
阅读更多...
Linux 性能优化实战

Linux 性能优化实战

文章目录 33 | 关于 Linux 网络&#xff0c;你必须知道这些&#xff08;上&#xff09;设计高并发架构需要考虑什么&#xff1f;如何理解分布式&#xff1f;如何理解云计算&#xff1f;如何理解微服务&#xff1f;TCP/IP网络分层模型是什么&#xff1f;每一层的功能是什么&…
阅读更多...
矩阵练习2

矩阵练习2

48.旋转图像 规律&#xff1a; 对于矩阵中第 i行的第 j 个元素&#xff0c;在旋转后&#xff0c;它出现在倒数第i 列的第 j 个位置。 matrix[col][n−row−1]matrix[row][col] 可以使用辅助数组&#xff0c;如果不想使用额外的内存&#xff0c;可以用一个临时变量 。 还可以通…
阅读更多...
STM32项目分享：智能窗帘系统

STM32项目分享：智能窗帘系统

目录 一、前言 二、项目简介 1.功能详解 2.主要器件 三、原理图设计 四、PCB硬件设计 1.PCB图 2.PCB板打样焊接图 五、程序设计 六、实验效果 七、资料内容 项目分享 一、前言 项目成品图片&#xff1a; 哔哩哔哩视频链接&#xff1a; https://www.bilibili.c…
阅读更多...
基于VLC可见光通信的室内光通信信道信噪比分析matlab仿真

基于VLC可见光通信的室内光通信信道信噪比分析matlab仿真

目录 1.算法运行效果图预览 2.算法运行软件版本 3.部分核心程序 4.算法理论概述 5.算法完整程序工程 1.算法运行效果图预览 2.算法运行软件版本 matlab2022a 3.部分核心程序 ..................................................................... % 接收功率计算Pr …
阅读更多...
使用spark基于出租车GPS数据实现车辆数量统计以及北京每个城区的车辆位置点数分析

使用spark基于出租车GPS数据实现车辆数量统计以及北京每个城区的车辆位置点数分析

使用spark基于出租车GPS数据实现车辆数量统计以及北京每个城区的车辆位置点数分析 本文将介绍如何使用pyspark以及scala实现的spark分析出租车GPS数据&#xff0c;具体来说&#xff0c;我们将计算每个北京城区内的车辆位置点数&#xff0c;以及统计出租车的数量。我们将使用两…
阅读更多...
Vue 3与ESLint、Prettier：构建规范化的前端开发环境

Vue 3与ESLint、Prettier：构建规范化的前端开发环境

title: Vue 3与ESLint、Prettier&#xff1a;构建规范化的前端开发环境 date: 2024/6/11 updated: 2024/6/11 publisher: cmdragon excerpt: 这篇文章介绍了如何在Vue 3项目中配置ESLint和Prettier以统一代码风格&#xff0c;实现代码规范性与可读性的提升。通过设置规则、解…
阅读更多...
49、Flink 的数据源的 SplitReader API 详解

49、Flink 的数据源的 SplitReader API 详解

SplitReader API a&#xff09;概述 核心的 SourceReader API 是完全异步的&#xff0c;但实际上&#xff0c;大多数 Sources 都会使用阻塞的操作&#xff0c;例如客户端&#xff08;如 KafkaConsumer&#xff09;的 poll() 阻塞调用&#xff0c;或者分布式文件系统&#xff…
阅读更多...
最新文章

Copyright @ 2022~2023