4、Intelij+Maven搭建Hadoop项目
发表于:2024-10-22 作者:千家信息网编辑
千家信息网最后更新 2024年10月22日,1创建工程点击project--Maven--next2通过maven导入项目依赖jar包(1)设置maven自动导入依赖jar包勾选 Import Maven projects automatica
千家信息网最后更新 2024年10月22日4、Intelij+Maven搭建Hadoop项目
1创建工程
点击project--Maven--next
2通过maven导入项目依赖jar包
(1)设置maven自动导入依赖jar包
勾选 Import Maven projects automatically,点击apply
(2)配置pom.xml文件
pom.xml配置文件如下:
4.0.0 com.kaikeba.hadoop com.kaikeba.hadoop 1.0-SNAPSHOT jar 2.7.3 commons-cli commons-cli 1.2 commons-logging commons-logging 1.1.3 org.apache.hadoop hadoop-mapreduce-client-jobclient ${hadoop.version} org.apache.hadoop hadoop-common ${hadoop.version} org.apache.hadoop hadoop-hdfs 2.7.3 org.apache.hadoop hadoop-hdfs ${hadoop.version} org.apache.hadoop hadoop-mapreduce-client-app ${hadoop.version} org.apache.hadoop hadoop-mapreduce-client-hs ${hadoop.version}
3编写HDFS读写程序
****把本地文件传输到HDFS****package com.kaikeba.hadoop.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IOUtils;import java.io.*;import java.net.URI;/** * 将本地文件系统的文件通过java-API写入到HDFS文件 */public class FileCopyFromLocal { public static void main(String[] args) { String source = "E:\\aa.mp4"; //获取/data的m目录存在(根据自己的环境更改) String destination = "hdfs://122.51.241.109:9000/data/hdfs01.mp4"; InputStream in = null; try { in = new BufferedInputStream(new FileInputStream(source)); //HDFS读写的配置文件 Configuration conf = new Configuration(); //生成一个文件系统对象 FileSystem fs = FileSystem.get(URI.create(destination),conf); //生成一个输出流 OutputStream out = fs.create(new Path(destination)); IOUtils.copyBytes(in, out, 4096, true); } catch (FileNotFoundException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } }}
**把HDFS中的文件传输到本地**package com.kaikeba.hadoop.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IOUtils;import java.io.BufferedOutputStream;import java.io.FileOutputStream;import java.io.IOException;import java.net.URI;/** * 从HDFS读取文件 * 打包运行jar包 [bruce@node-01 Desktop]$ hadoop jar com.kaikeba.hadoop-1.0-SNAPSHOT.jar com.kaikeba.hadoop.hdfs.FileReadFromHdfs */public class FileReadFromHdfs { public static void main(String[] args) { try { // String srcFile = "hdfs://122.51.241.109:9000/data/hdfs01.mp4"; Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(URI.create(srcFile),conf); FSDataInputStream hdfsInStream = fs.open(new Path(srcFile)); BufferedOutputStream outputStream = new BufferedOutputStream(new FileOutputStream("/opt/hdfs01.mp4")); IOUtils.copyBytes(hdfsInStream, outputStream, 4096, true); } catch (IOException e) { e.printStackTrace(); } }}
4通过运行jar包的方式验证
双击package
生成com.kaikeba.hadoop-1.0-SNAPSHOT.jar,考入到服务器中执行
执行命令:hadoop jar com.kaikeba.hadoop-1.0-SNAPSHOT.jar com.kaikeba.hadoop.hdfs.FileReadFromHdfs
注意: com.kaikeba.hadoop.hdfs.FileReadFromHdfs是全类名,根据自己的项目更改。
文件
生成
配置
项目
系统
传输
运行
命令
对象
工程
方式
服务器
环境
目录
程序
类名
服务
输出
验证
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
网站服务器怎么清理空间
服务器 不停发包
数据库跳过权限
数据库计算app
bt盒子服务器吗
数据库中的身份验证模式
桂林网络安全兼职
建站之星数据库配置
网络安全情况责任书
数据库优化的几种方式
语音系统与数据库的区别
南京常见的分布式存储服务器
网络技术学的安全
企业应用数据库技术的案例
大学生网络安全责任书
关于软件开发的问题及答案
互联网的核心是数据库吗
数据库实验原理报告
大型网络技术员
arm服务器装linux
湖北通信软件开发设施服务标准
忻州软件开发价格多少
达梦数据库查看大小写
网络安全在我心中
网络安全应做到
二维码支付数据库
不能登录到加密服务器
武汉恩得尔网络技术
APP软件开发的数据库设计
网络安全卡巴斯基