当前位置: 代码网 > it编程>数据库>Mysql > 伪分布式hadoop上安装hive

伪分布式hadoop上安装hive

2024年08月02日 Mysql 我要评论
安装伪分布式hadoop容器,在容器内安装hive,安装mysql容器并允许远程访问数据库,修改hive-site.xml中与mysql连接所用的用户和密码。

建立hadoop镜像

直接拉取镜像

docker pull sequenceiq/hadoop-docker

报错,docker版本问题,没找到v1的安装方法,放弃。

[root@izbp16wtaqqczu3i61y0amz ~]# docker pull sequenceiq/hadoop-docker
using default tag: latest
latest: pulling from sequenceiq/hadoop-docker
[deprecation notice] docker image format v1 and docker image manifest version 2, schema 1 support is disabled by default and will be removed in an upcoming release. suggest the author of docker.io/sequenceiq/hadoop-docker:latest to upgrade the image to the oci format or docker image manifest v2, schema 2. more information at https://docs.docker.com/go/deprecated-image-specs/

打包hadoop.tar加载镜像

打包之前pull成功了的上述镜像并加载,具体文件见评论区链接,方法参考【问题解决】如何将一个服务器的docker迁移到另一个服务器_docker转移-csdn博客

创建hadoop容器端口映射如下(找了一些常用的)

安装hive

在上述hadoop容器安装hive。

官网下载hive-2.3.9-bin.tar.gz安装包到宿主机(因为hadoop容器里无法wget),通过docker cp 宿主机文件 容器id:容器内地址  传到服务器上。

安装参考【hadoop——hive的安装和配置】保姆式教学_hive和hadoop必须安装到一个目录下吗-csdn博客

安装mysql

安装了三个mysql。①一个之前装好xampp的镜像,mysql出现问题导致hive没有连接成功,挣扎了一下放弃解决。②在宿主机安装mysql,宿主机是实验室服务器,每次登录mysql都需要用sudo,创建了新用户不需要sudo,但是连接也失败。

③成功,参考https://blog.csdn.net/m0_49683806/article/details/124388844

hive-site.xml的配置:hostname -i查看mysql容器的ip

 -h 172.17.0.4 -u root -p 123456

还需要解决的问题:每次重启docker后ip可能会变,就需要修改hive-site.xml

对于表insert和select遇到报错:

修改hive-site.xml

(0)

相关文章:

版权声明:本文内容由互联网用户贡献,该文观点仅代表作者本人。本站仅提供信息存储服务,不拥有所有权,不承担相关法律责任。 如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 2386932994@qq.com 举报,一经查实将立刻删除。

发表评论

验证码:
Copyright © 2017-2025  代码网 保留所有权利. 粤ICP备2024248653号
站长QQ:2386932994 | 联系邮箱:2386932994@qq.com