Hadoop学习总结（使用Java API操作HDFS）_java 操作hadoop hdfs_Java

//main()方法中调用
downloal(“/data.txt”,“d:/大数据/文件”); //下载

五、创建目录

// 创建目录
public static void mkdir(string path_str) throws ioexception {
//path_str所要创建目录路径
fs.mkdirs(new path(path_str));
// 关闭资源
fs.close();
system.out.println(“创建目录成功”);
}

//main()方法中调用
mkdir(“/input”); //创建目录

六、重命名文件或文件夹

// 重命名文件夹
public static void rename(string old_name,string new_path) throws ioexception {
//old_name原文件名路径 //new_path新文件名路径
fs.rename(new path(old_name),new path(new_path));
fs.close();
system.out.println(“重命名文件夹成功”);
}

//main()方法中调用
rename(“/aa”,“/aa2”); //重命名文件夹

七、删除文件

// 删除文件 ,如果是非空文件夹,参数2必须给值true
public static void delete(string path_str) throws ioexception {
//ture表示递归删除可以用来删除目录 rm -rf
//false表示非递归删除
fs.delete(new path(path_str),true);
// 关闭资源
fs.close();
system.out.println(“删除文件夹成功”);
}

//main()方法中调用
delete(“/aa2”); //删除文件

八、查看文件信息

1、查看文件信息

// 查看文件信息
public static void listfiles(string path_str) throws ioexception {
//获取迭代器对象
remoteiterator listfiles = fs.listfiles(new path(path_str),true);
//遍历
while (listfiles.hasnext()){
locatedfilestatus filestatus = listfiles.next();
//打印当前文件名
system.out.println(filestatus.getpath().getname());
//打印当前文件块大小
system.out.println(filestatus.getblocklocations());
//打印当前文件权限
system.out.println(filestatus.getpermission());
//打印当前文件内容长度
system.out.println(filestatus.getlen());
//获取该文件块信息(包含长度、数据块、datanode的信息)
// blocklocation[] blocklocations = filestatus.getblocklocations();
// for (blocklocation bl : blocklocations){
// system.out.println(“block-length:” + bl.getlength()+“–”+“block-offset:”+bl.getoffset());
// string[] hosts = bl.gethosts();
// for (string host : hosts){
// system.out.println(host);
// }
// }
}
system.out.println(“--------分割线---------”);
fs.close();
}

//main()方法中调用
listfiles(“/data.txt”); //查看文件信息

// 1、统计目录下所有文件(包括子目录)
// 1、统计某个路径(由main方法决定哪个路径),下所有的文件数里,例如：输出：该路径下共有 3 个文件
public static void count(string path_str) throws ioexception {
//获取迭代器对象
remoteiterator listfiles = fs.listfiles(new path(path_str),true);
//遍历
int count = 0;
while (listfiles.hasnext()) {
locatedfilestatus filestatus = listfiles.next();
count++;
}
system.out.println(“路径：【”+ path_str +“】下,文件数量为”+count);
fs.close();
}

//main()方法中调用
count(“/”); //统计

3、列出某个路径下所有的文件数里

// 2、列出某个路径(由main方法决定哪个路径),下所有的文件数里,例如：文件1,文"路径：【“+ path_str +”】下,文件有：“+件2,…
public static void filelist(string path_str) throws ioexception {
//获取迭代器对象
remoteiterator listfiles = fs.listfiles(new path(path_str),true);
string res = “”;
//遍历
while (listfiles.hasnext()) {
locatedfilestatus filestatus = listfiles.next();
res += filestatus.getpath().getname() + “, “;
}
if (res.equals(””)){
res = “没有文件”;
}else {
res = res.substring(0,res.length() - 2);
}
system.out.println(“路径：【”+ path_str +”】下的文件：" + res);
// fs.close();
}

//main()方法中调用
filelist(“/”); //查看有什么文件
filelist(“/input”); //查看有什么文件

4、查看所有文件

/* 路径【/】下共有 7 子文件
文件数量：1,文件列表：data.txt
目录数量：6,文件列表：a, exp, input, output, test, tmp*/
public static void list(string path) throws ioexception {
filestatus[] filestatuses = fs.liststatus(new path(path));
string res = “路径【” + path + “】下共有 " + filestatuses.length + " 子文件”;
int file_num = 0;
string file_list = “”;
int dir_num = 0;
string dir_list = “”;
for (filestatus filestatus:filestatuses){
if (filestatus.isfile()){
file_num ++;
file_list += filestatus.getpath().getname() + ", ";
}else {
dir_num ++;
dir_list += filestatus.getpath().getname() + ", ";
}
}
if (file_num != 0) res += “\n\t文件数量：” + file_num + “,文件列表：” + file_list.substring(0,file_list.length()-2);
if (dir_num != 0) res += “\n\t目录数量：” + dir_num + “,文件列表：” + dir_list.substring(0,dir_list.length()-2);
system.out.println(res);
}

//main()方法中调用
list(“/”); //查看所有

5、判断是文件还是目录

// 检查路径是目录还是文件
public static void mulu(string path_str) throws ioexception {
path path = new path(path_str);
// 判断路径是否存在
if (fs.exists(path)) {
// 获取指定路径的详细信息
filestatus status = fs.getfilestatus(path);
if (status.isdirectory()) {
system.out.println(path + “这是一个目录”);
} else if (status.isfile()) {
system.out.println(path + “这是一个文件”);
} else {
system.out.println(“这是一个未知类型”);
}
} else {
system.out.println(“路径不存在”);
}
//关闭资源
fs.close();
}

//main()方法中调用
mulu(“/exp/word.txt”); //检查路径是目录还是文件

九、源代码

package com.itcast.hdfsdemo;

import org.apache.hadoop.conf.configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.yarn.webapp.hamlet.hamlet;
import sun.tracing.dtrace.dtraceproviderfactory;

import java.io.ioexception;
import java.util.arrays;

public class hdfs_crud {

static filesystem fs = null;

// 完成上传功能
public static void upload(string path_str,string path_str1) throws ioexception {
//上传文件到hdfs
//path_str本地文件路径 path_str1是上传到hdfs文件路径
fs.copyfromlocalfile(new path(path_str),new path(path_str1));
// 关闭资源
fs.close();
system.out.println(“文件上传成功”);
}

// 完成下载文件
public static void downloal(string path_str,string path_str1) throws ioexception {
//从 hdfs 下载文件到本地

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、oppo等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。