JAVA操作HDFS案例的简单实现

JAVA操作HDFS案例的简单实现

本文介绍了java操作HDFS案例的简单实现，分享给大家，也给自己做个笔记

Jar包引入，pom.xml：

org.apache.hadoop

hadoop-common

2.8.0

<groupId>org.apache.hadoop

hadoop-hdfs

2.8.0

将本地文件上传到hdfs服务器:

/**

* 上传文件到hdfs上

*/

@Test

public void upload() throws IOException {

Configuration conf = new Configuration();

conf.set("fs.defaultFS","hdfs://hzq:9000");

FileSystem fs = FileSystem.get(conf);

fs.copyFromLocalFile(new Path("/home/hzq/jdk1.8.tar.gz"),new Path("/demo"));

}

解析：

在开发中我没有引入“core-site.xml”配置文件，所以在本地调用时使用conf进行配置“conf.set("fs.defaultFS","hdfs://hzq:9000");“，下面雷同。

将hdfs上文件下载到本地：

/**

* 将hdfs上文件下载到本地

*/

@Test

public void download() throws IOException {

Configuration conf = new Configuration();

conf.set("fs.defaultFS","hdfs://hzq:9000");

FileSystem fs = FileSystem.newInstance(conf);

fs.copyToLocalFile(new Path("/java/jdk1.8.tar.gz"),new Path("/home/hzq/"));

}

删除hdfs上指定文件：

/**

* 删除hdfs上的文件

* @throws Ihttp://OException

*/

@Test

public void removeFile() throws IOException {

Configuration conf = new Configuration();

conf.set("fs.defaultFS","hdfs://hzq:9000");

FileSystem fs = FileSystem.newInstance(cosPdwSmInf);

fs.delete(new Path("/demo/jdk1.8.tar.gz"),true);

}

在hdfs上创建文件夹：

/**

* 在hdfs更目录下面创建test1文件夹

* @throws IOException

*/

@Test

public void mkdir() throws IOException {

Configuration conf = new Configuration();

conf.set("fs.defaultFS","hdfs://hzq:9000");

FileSystem fs = FileSystem.newInstance(conf);

fs.mkdirs(new Path("/test1"));

}

列出hdfs上所有的文件或文件夹：

@Test

public void listFiles() throws IOException {

Configuration conf = new Configuration();

conf.set("fs.defaultFS","hdfs://hzq:9000");

FileSystem fs = FileSystem.newInstance(conf);

// true 表示递归查找 false 不进行递归查找

RemoteIterator iterator = fs.listFiles(new Path("/"), true);

while (iterator.hasNext()){

LocatedFileStatus next = iterator.next(); http://

System.out.println(next.getPath());

}

System.out.println("----------------------------------------------------------");

FileStatus[] fileStatuses = fs.listStatus(new Path("/"));

for (int i = 0; i < fileStatuses.length; i++) {

FileStatus fileStatus = fileStatuses[i];

System.out.println(fileStatus.getPath());

}

}

运行结果：

结果分析：

“listFiles“列出的是hdfs上所有文件的路径，不包括文件夹。根据你的设置，支持递归查找。

”listStatus“列出的是所有的文件和文件夹，不支持递归查找。如许递归，需要自己实现。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。