导航：首页 > 互联网科技 >

hadoop零散笔记

发表于：2025-02-23 作者：千家信息网编辑

千家信息网最后更新 2025年02月23日，查找有没有这个软件通过管道查询：sudo apt-cache search ssh | grep ssh安装的话：sudo apt-get install xxxxx安装ssh后要生成一个文件即执行：

千家信息网最后更新 2025年02月23日hadoop零散笔记

查找有没有这个软件通过管道查询：sudo apt-cache search ssh | grep ssh

安装的话：sudo apt-get install xxxxx

安装ssh后要生成一个文件即执行：ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa

最后在soft/haoop/etc/hadoop目录下的三个文件中执行core-site.xml、hdfs-site.xml、mapred-site.xml中配置

-----------------------------------------------------

查看端口：netstat -lnpt netstat 或netstat -plut 。查看所有的端口：netstat -ano

--------------------------------------------------------------

把文件放到哪里用 hadoop fs -put xxxx /xxxx/xxxxx/xxx

往上面集群上放文件：hadoop --config /soft/hadoop/etc/hadoop_cluster fs -put /home/ubuntu/hell.txt /user/ubuntu/data/

在集群上下载文件是：hadoop --config /soft/hadoop/etc/hadoop_cluster fs -get /user/ubuntu/data/hello.txt bb.txt

查看文件的健康情况：hdfs --config /soft/hadoop/etc/hadoop/etc/hadoop_cluster fsck /user/ubuntu/data/hello.txt

通过scp远程复制：scp -r /xxx/x

格式化文件系统：hdfs --config /soft/hadoop/etc/hadoop_cluster namenode -format

touch 是建一个文本文件

从一个虚拟机登录到另个虚拟机ssh s2 ,如果是ssh s2 ls ~ 的话就是显示一列列是的样子。如果执行

ssh s2 ls ~ | xargs 是显示一横的内容

查看集群状况：hadoop --config /soft/hadoop/etc/hadoop_cluster fs -lsr /

把文件放到集群上面就是hadoop --config /soft/hadoop/etc/hadoop_cluster fs -put xxxxx 后面是加所放的路径位置

查看进程 ssh s2 jps 。ps -Af 也是查看进程。杀死进程是kill -9 后面加进程的端口号

su root 根用户

--------------------------------------------------

HDFS概念：namenode & datanode

namenode:镜像文件+编辑日志，存放于本地磁盘，以及数据节点信息，不含block信息。block信息在cluster启动时由datanode重建

datanode:work节点，存储检索block定期向namenode发送block list

在usr/local/sbin下切换到su root 用户下建脚本，编写你想要的执行脚本

修改blocksize大小，默认是128m

它在[hdfs-site.xml]

dfs.blocksize = 8m 设置块大小是8M

1、测试方式：put 文件 > 8m, 通过webui查看块大小

---------------------------------------------------------

hadoop:可靠、可伸缩、分布式的计算框架，开源软件

四大模块：1、common ----hadoop-commom-xxx.jar

2、hdfs

3、mapreduce

4、yarn

hadoop完全分布式：

1、hdfs --->NameNode、Datanode、SecondaryNode（辅助名称节点）

2、Yarn---->ResourceManager（资源管理器）、NodeManager（节点管理器）

---------------------------------------------------

配置静态ip进入etc的network里面下编辑sudo nano interfaces：

# This file describes the network interfaces available on your system

# and how to activate them. For more information, see interfaces(5).

# The loopback network interface

auto lo

iface lo inet loopback

# The primary network interface

auto eth0

iface eth0 inet dhcp

iface eth0 inet static（设置为静态的ip）

address 192.168.92.148（客户机的ip）

netmask:255.255.255.0(客户机的)

gateway 192.168.92.2 （NAT网关地址）

dns-nameservers 192.168.92.2

最后是重启网卡：sudo /etc/init.d/networking restart

-------------------------------------------------

客户机关机命令：

1、sudo poweroff

2、sudo shutdown -h o

3、sudo halt

------------------------------

配置文本模式

进入到/boot/grub里面查看一下

再进入cd /etc/default里面执行gedit grub

在#GRUB_CMDLINE_LINUX_DEFAULT="quiet"的下面编写GRUB_CMDLINE_LINUX_DEFAULT="text"

在# Uncomment to disable graphical terminal (grub-pc only)下面编写：

GRUB_TERMINAL=console //打开注释

改后执行sudo update-grub最后执行重启sudo reboot

-----------------------------------------

启动所有的数据节点：

hadoop-daemons.sh start namenode //在名称节点服务器上执行启动名称节点

hadoop-daemons.sh start datanode //在指定的datanode上执行，启动所有的数据节点

hadoop-daemon.sh start secondsrynamenode //启动辅助名称节点

-------------------------------------------------------

hdfs getconf 能查看到节点配置信息。比如hdfs getconf -namenode 可以知道是在s1客户机上运行

-----------------------------------------------------------------

四大模块：

1、common

hadoop-coommon-xxx.jar

core-site.xml

core-default.xml

2、hdfs

hdfs-site.xml

hdfs-defailt.xml

3、mapreduce

mapre-site.xml

mapred-default.xml

4、yarn

yarn-site.xml

yarn-default.xml

----------------------------------

常用的端口：

1、namenode rpc //8020 webui //50070

2、datanode rpc //8032 webui //50075

3、2nn webui //50090

4、historyServer webui //19888

5、resourcmanager webui//8088

--------------------------------------

dfs.hosts:决定能够连接namenode

dfs.hosts.exclude:决定不能连接namenode

dfs.hosts dfs.hosts.exclude

---------------------------------------------

0 0 //不能连接

0 1 //不能连

1 0 //能连

1 1 //能连会退役

---------------------------------------------

安全模式

1、namenode启动时，合并p_w_picpath和edit成新的p_w_picpath,并产生新的edit log

2、整个智能safe模式下，客户端只能读取

3、查看nameode是否位于安全模式

hdfs dfsadmin -safemode get //查看安全模式

hdfs dfsadmin -safemode enter //进入安全模式

hdfs dfsadmin -safemode leave //离开安全模式

hdfs dfsadmin -safemode wait //等待安全模式

4、手动保存名字空间：dfsadmin -saveNamespace

5、手动保存镜像文件：hdfs dfsadmin -fetchImage

6、保存元数据：(保存在hadoop_home下即：hadoop /logs/下)hdfs dfsadmin -metasave xxx.dsds

7、start-balancer.sh :启动均衡器，目的让集群数据存储上更加平均，提高整个集群的性能（一般我们在增加节点的情况下才启动均衡器）

8、hadoop fs -count统计目录

--------------------------------------------------

Hadoop Snapshot快照:就是把当前的情况拍照保存起来。一般目录默认的情况是不能创建快照的。必须执行hdfs dfsadmin -allowSnapshot /user/ubuntu/data。允许创建快照，后面跟的是你想创建快照的地址路径。在这里允许创建快照后我们就可以执行hadoop fs -createSnapshot /user/ubuntu/data snap-1创建快照了。snap-1是你创建快照名。查看快照的话直接hadoop fs -ls -R /user/ubuntu/data/.snapshot/。还有你在创建快照的情况下是不能禁用快照的

1、创建快照hadoop fs [-createSnapshot []]

2、删除快照hadoop fs [-deleteSnapshot ]

3、重命名快照hadoop fs [-renameSnappshot ]

4、允许目录快照hadoop dfsadmin [-allowSnapshot ]

5、禁用目录快照hadoop dfsamdin[-disallowSnapshot]

------------------------------------------

回收站

1、默认是0秒，意味着禁用回收站

2、设置文件回收站的驻留时间[corep-site.xml] fs.trash.interval=1 //分钟数计算

3、通过shell命令删除的文件，会进入trash

4、每个用户都有自己的回收站（目录）即：/user/ubuntu/.Trash

5、编程方式删除不进入回收站，立即删除，可以调用。moveToTrash()方法，返回false，说明禁用回收站或者已经在站中