Flink提交作业时报错Cannot support file system for ‘hdfs‘ via Hadoop_ar

flink整合hdfs提交作业时报错

分享一个flink提交作业时的报错，由于我用的是1.12版本的flink，对于hadoop3.0新特性是没有支持的，我的hadoop版本是3.3.1。然后flink-shaded-hadoop-3-uber jar包是没有的，需要手动添加。

我也试过很多中解决方案

添加hadoop_classpath环境变量，但是我试了没有效果

在你的项目中添加hadoop-client这个jar包，我也试过了，并没有很好解决，也给出下面的依赖。

<dependency>
    <groupid>org.apache.hadoop</groupid>
    <artifactid>hadoop-client</artifactid>
    <version>${你的hadoop版本}</version>
</dependency>

在flink下面添加两个jar包，可以从maven中心仓库中下载。

https://mvnrepository.com/artifact/org.apache.flink/flink-shaded-hadoop-3-uber/3.1.1.7.2.1.0-327-9.0

flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar
commons-cli-1.5.0.jar

第三种我试过是可以提交作业成功的，然后自己提交的作业也可以运行。
在这里插入图片描述

参考链接

https://www.bilibili.com/read/cv11506216

生成的RDD中保存的是T的值，Seq[String]部分的数据会按照Seq[(T,Seq[String])]的顺序存放到各个分区中，一个Seq[String]对应存放至一个分区，并…

2024年08月02日 • 游戏开发

SparkGraphX在欺诈检测中的应用作者：禅与计算机程序设计艺术1. 背景介绍1.1 欺诈检测的挑战欺诈检测是当今社会面临的一项严峻挑战，尤其是在金融、保险... [阅读全文]

元组(Tuple)是一种类似于列表的结构，但与列表不同的是，元组可以包含不同类的元素。元组的值是通过将单个的值包含在圆括号中构成的。映射(Map)是一种可迭代的... [阅读全文]

通过本教程，您已经学习了如何在Jupyter Notebook中集成和使用Spark进行大数据分析。从环境设置、数据加载与预处理到数据处理与分析，再到高级分析与... [阅读全文]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人…

2024年08月02日 • 游戏开发

数据仓库的主题域（Subject Area）是按照特定业务领域或主题对数据进行分类和组织的方式。每个主题域集中反映一个特定的业务方面，使得数据分析和查询更加清晰... [阅读全文]


验证码：

验证码：