Hadoop怎么以流形式上传本地文件到分布式文件系统中
发表于:2024-09-30 作者:千家信息网编辑
千家信息网最后更新 2024年09月30日,这篇文章主要介绍"Hadoop怎么以流形式上传本地文件到分布式文件系统中",在日常操作中,相信很多人在Hadoop怎么以流形式上传本地文件到分布式文件系统中问题上存在疑惑,小编查阅了各式资料,整理出简
千家信息网最后更新 2024年09月30日Hadoop怎么以流形式上传本地文件到分布式文件系统中
这篇文章主要介绍"Hadoop怎么以流形式上传本地文件到分布式文件系统中",在日常操作中,相信很多人在Hadoop怎么以流形式上传本地文件到分布式文件系统中问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答"Hadoop怎么以流形式上传本地文件到分布式文件系统中"的疑惑有所帮助!接下来,请跟着小编一起来学习吧!
说明如题:
package org.apache.hadoop.examples.yao;import java.io.File;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.LocalFileSystem;import org.apache.hadoop.fs.Path;public class ReadLocalFile2Hadoop { public static void main(String[] args) throws IOException{ readLocalFile2Hadoop("/home/yaokj/temp","test"); } /** * 以流形式上传本地文件到分布式文件系统中 * @param inputDir 本地文件夹 * @param hdfsDir Hadoop 上的文件夹 * @throws IOException */ public static void readLocalFile2Hadoop(String inputDir,String hdfsDir) throws IOException{ Configuration cfg = new Configuration(); cfg.addResource(new Path("/home/yaokj/hadoop-0.20.203.0/conf/hdfs-site.xml"));//配置文件上的位置 cfg.addResource(new Path("/home/yaokj/hadoop-0.20.203.0/conf/core-site.xml")); FileSystem fs = FileSystem.get(cfg); LocalFileSystem localFS = FileSystem.getLocal(cfg); fs.mkdirs(new Path(hdfsDir)); FileStatus[] inputFiles = localFS.listStatus(new Path(inputDir)); FSDataOutputStream out ; FSDataInputStream in; for (int i = 0 ; i < inputFiles.length ; i++) { System.out.println(inputFiles[i].getPath().getName()); in = localFS.open(inputFiles[i].getPath()); out = fs.create(new Path(hdfsDir+inputFiles[i].getPath().getName())); byte[] buffer = new byte[256]; int byteRead = 0 ; while ((byteRead = in.read(buffer)) > 0) { out.write(buffer, 0, byteRead); } out.close(); in.close(); File file = new File(inputFiles[i].getPath().toString()); //System.out.println(inputFiles[i].getPath().toString()); System.out.println(file.delete()); } } }
到此,关于"Hadoop怎么以流形式上传本地文件到分布式文件系统中"的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注网站,小编会继续努力为大家带来更多实用的文章!
文件
分布式
形式
系统
学习
文件夹
更多
帮助
实用
接下来
位置
文章
方法
理论
知识
篇文章
网站
资料
跟着
问题
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
如何增加云服务器空间
魔兽世界燃烧的远征物品数据库
石家庄市委网络安全培训
青海教育网络技术有限公司
广警网络安全与技术篮球比赛
网络安全宣传周情况总结
深圳市华思特网络技术
asp连不上数据库
怎样知道服务器地址
自贡软件开发销售价格
福州国家网络安全宣传
软件开发项目资源跟踪表
注重网络安全小诗
dell 服务器 声卡
软件开发技术部考核绩效
电脑怎么切换服务器登录不同框
浙江水性软件开发产业
软件开发资质证书图片
怎么删除数据库中的表格信息
没有电脑可以学习的软件开发
工业软件开发技术什么意思
windows上传文件到linux服务器
保障数据库安全对经济的意义
网络安全第一版答案
芜湖软件开发培训哪家好
深信服网络安全产品有哪些
腾讯云服务器越来越贵了
转录组数据库英文缩写
软件开发工具cs
图数据库spark