千家信息网

Hadoop中的RPC机制

发表于:2024-11-26 作者:千家信息网编辑
千家信息网最后更新 2024年11月26日,这篇文章主要讲解了"Hadoop中的RPC机制",文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习"Hadoop中的RPC机制"吧!RPC(Remote Pr
千家信息网最后更新 2024年11月26日Hadoop中的RPC机制

这篇文章主要讲解了"Hadoop中的RPC机制",文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习"Hadoop中的RPC机制"吧!

RPC(Remote Procedure Call)-远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。

RPC采用客户机/服务器模式。请求程序就是一个客户机,而服务提供程序就是一个服务器。首先,客户机调用进程发送一个有进程参数的调用信息到服务进程,然后等待应答信息。在服务器端,进程保持睡眠状态直到调用信息的到达为止。当一个调用信息到达,服务器获得进程参数,计算结果,发送答复信息,然后等待下一个调用信息,最后,客户端调用进程接收答复信息,获得进程结果,然后调用执行继续进行。

Hadoop的整个体系结构就是构建在RPC之上的(见org.apache.hadoop.ipc包)

使用RPC: (搭建一个Hadoop伪分布式虚拟机(Server端), 本地Windows连接该虚拟机(Client端))


1. 定义RPC协议接口 LoginProtocol (Hadoop RPC协议通常是一个Java接口), RPC协议接口是Client和Server之间的通信接口, 它定义了Server对外提供的接口. LoginProtocol接口声明了一个login()方法, 需要注意的是Hadoop中所有自定义的RPC协议接口都有一个为versionID的字段, 它描述了该协议的版本信息, 这个RPC协议接口为Client/Server共同持有, Server端, Client端都必须有同一个LoginProtocol.class文件

 public interface LoginProtocol { public static final long versionID = 1L; public String login(String username, String password);}

2. 在Server端, LoginProtocolImpl 实现RPC协议接口( LoginProtocol )

public class LoginProtocolImpl implements LoginProtocol { @Override public String login(String username, String password) {  return "wellcome " + username; }}

3. 在Server端构造并启动RPC Server, "192.168.8.101"是Server的ip地址, Server端监听了"1234"端口

public static void main(String[] args) throws HadoopIllegalArgumentException, IOException {  // 设置4个必需参数:  // setBindAddress("192.168.8.101") : Server端的IP地址  // setPort(1234) : 端口  // setProtocol(LoginProtocol.class) : setRPC协议接口的class对象  // setInstance(new LoginProtocolImpl()) : RPC协议接口的实现类的实例  Server server = new RPC.Builder(new Configuration()).setBindAddress("192.168.8.101").setPort(1234)    .setProtocol(LoginProtocol.class).setInstance(new LoginProtocolImpl()).build();  server.start();}}

4. 在Client端构造RPC客户端, 使用RPC类静态方法getProxy()构造客户端RPC代理对象( proxy ), 调用RPC代理对象( proxy )的login()方法, 发送RPC请求. "192.168.8.101"是Server的ip地址, "1234"是Server端监听端口

public class LoginClient {public static void main(String[] args) throws IOException {  // getProxy()参数:  // LoginProtocol.class : RPC协议接口的class对象  // 1L : RPC协议接口的版本信息(versionID)  // new InetSocketAddress("192.168.8.101", 1234) : Server端的IP地址及端口  // conf : Configuration实例  LoginProtocol proxy = RPC.getProxy(LoginProtocol.class, 1L, new InetSocketAddress("192.168.8.101", 1234),    new Configuration());  String result = proxy.login("rpc", "xxx");  System.out.println(result); }}

接下来, 神奇的一幕发生了!

本地Windows的Console输出:

wellcome rpc

本地Windows有LoginProtocol接口的实现吗?

没有哟!

感谢各位的阅读,以上就是"Hadoop中的RPC机制"的内容了,经过本文的学习后,相信大家对Hadoop中的RPC机制这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是,小编将为大家推送更多相关知识点的文章,欢迎关注!

0