网站做编辑,电脑打字赚钱一单一结,cname解析对网站影响,wordpress 博客地址更改在学习 RPC 框架之前#xff0c;我们先来手写一个RPC。
我们在学习的过程中#xff0c;一定要做到知其然#xff0c;还要知其所以然。
架构演进
单体架构
要知道#xff0c;在以前单体架构的时候#xff0c;会将所有的应用功能都集中在一个服务当中。 单体架构初始开发…在学习 RPC 框架之前我们先来手写一个RPC。
我们在学习的过程中一定要做到知其然还要知其所以然。
架构演进
单体架构
要知道在以前单体架构的时候会将所有的应用功能都集中在一个服务当中。 单体架构初始开发简单所有的功能都在一个项目中容易理解整个应用的业务而且部署也比较简单就一个服务。 还有就是方便测试和更容易实现跨多个业务功能的事务性操作。
但是单体服务也存在很多缺点可维护性差、难以扩展、可用性低等等
拆分服务
既然单体服务有这么多缺点那咋办嘛将服务根据业务需求进行拆分呗。 拆分服务之后那服务之间需要互相调用啊采用什么方式交流呢通信方式数据的一致性怎么保证呢 首先我们可能会想到服务拆分了但是数据库可以不用拆啊多个服务共享统一份数据 这样数据的一致性就很容易保证了。 或者对于数据一致性要求不高的服务采用消息中间件保证数据的最终一致性就行 再或者服务之间通过RPC这种通讯机制通信也行啊。
RPC只是一种泛概念在不同时期有不同的表现方式。
早期基于Web的RPC。如XML-RPC使用XML格式编码其调用和HTTP作为传输机制。虽然它支持跨语言调用但由于XML的冗余性效率相对较低。 现代RPC系统如JSON-RPC一个无状态、轻量级的远程过程调用RPC协议以JSONJavaScript Object Notation作为数据格式可以使用各种传输协议。
在现代分布式系统开发中RPC对任何开发者来说都是一项重要的技能因此学习RPC就显得很重要了。
在正式学习RPC框架之前我们手动实现一个PRC框架方便于后面对其他RPC框架的学习。
手写RPC 首先来看看上面这张图做一个详细的介绍 两个角色、三个项目
两个角色一个服务提供者和一个服务消费者
三个项目rpc-api、rpc-provider和rpc-consumer
API工程是整个服务的标准 各类服务传输过程当中的传输对象的标准包括接口的标准。
Provider工程 将依赖于上面的标准就是API工程并且将会去实现IService即实现标准当中定义的接口。还要基于网络对外提供服务因此会包含Net Server这个模块来提供网络服务。主要用来接收和解析网络请求并去调用 Service Dispatch 来完成整个服务的调用和分发。
Consumer工程 Net Client 主要是完成网络的调用。 ProxyFactory动态代理模式主要在调用的过程当中屏蔽网络通讯相关的一些细节使得我们开发人员在使用过程中不再关注网络细节。
工程搭建步骤
为了简单演示rpc-api项目中只有一个接口接口中有一个方法addUser(); 接口的具体实现在rpc-provider中rpc-consumer中模拟调用addUser() 方法。
建立三个maven项目首先创建API工程
搭建 rpc-api
如何新建maven工程这里就不做介绍了下面只包含具体代码
1、pom文件
只包含一个lombok依赖主要是为了方便不用手写getter和setter
project xmlnshttp://maven.apache.org/POM/4.0.0 xmlns:xsihttp://www.w3.org/2001/XMLSchema-instancexsi:schemaLocationhttp://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsdmodelVersion4.0.0/modelVersiongroupIdcom.mntalk/groupIdartifactIdrpc-api/artifactIdversion1.0-SNAPSHOT/versiondependenciesdependencygroupIdorg.projectlombok/groupIdartifactIdlombok/artifactIdversion1.18.30/version/dependency/dependencies/project
2、UserDto
三个属性name、age、userId 因为需要在网络中传输实现了Serializable并添加了序列化id
package com.mntalk.dto;import lombok.Data;
import java.io.Serializable;Data
public class UserDto implements Serializable {private static final long serialVersionUID 4266781378102409837L;private String name;private int age;private String userId;
}
3、UserService
定义接口和方法
package com.mntalk.api;import com.mntalk.dto.UserDto;public interface UserService {// 添加用户public UserDto addUser(UserDto userDto);}
4、RPACommonReqDto
定义统一的传输标准这里先定义成这样后面再详细解释为什么会包含者几个属性
package com.mntalk.dto;import lombok.Data;
import java.io.Serializable;
/*** 统一传输标准*/
Data
public class RPACommonReqDto implements Serializable {private static final long serialVersionUID 6212822493972023391L;// 方法名private String methodName;// 类的全路径名private String classPath;// 形参列表private Object[] args;
}
5、将工程打成jar包方便provider和consumer工程引入进行实现和调用
具体怎么打包就不做介绍了可以使用命令打包也可以接触idea打包
搭建 rpc-provider
提供接口实现并使用Socket网络编程模拟等待调用
1、pom文件
引入rpc-api工程
project xmlnshttp://maven.apache.org/POM/4.0.0 xmlns:xsihttp://www.w3.org/2001/XMLSchema-instancexsi:schemaLocationhttp://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsdmodelVersion4.0.0/modelVersiongroupIdcom.mntalk/groupIdartifactIdrpc-privider/artifactIdversion1.0-SNAPSHOT/versiondependenciesdependencygroupIdcom.mntalk/groupIdartifactIdrpc-api/artifactIdversion1.0-SNAPSHOT/version/dependency/dependencies/project
2、实现UserService
实现具体的addUser方法这里就模拟已经添加到数据库并生成了userId然后将生成的信息返回。 UserServiceImpl业务实现
package com.mntalk.impl;import com.mntalk.api.UserService;
import com.mntalk.dto.UserDto;import java.util.Random;public class UserServiceImpl implements UserService {Overridepublic UserDto addUser(UserDto userDto) {// todo xxx// 模拟插入数据库并生成了userIdSystem.out.println(接收 userDto);userDto.setUserId(new Random().nextInt(100000) );System.out.println(设置了用户id userDto);return userDto ;}
}
3、NetServer
根据上面实现手写RPC的思路图现在需要Socket网络编程模拟等待consumer来进行调用。
这里采用线程池来进行异步实现为什么不不直接在主线程中等待呢 因为ServerSocket的accept() 是典型的 Blocking IO会阻塞工作线程。
package com.mntalk.net;import java.io.IOException;
import java.net.ServerSocket;
import java.net.Socket;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;/*** 对外提供服务*/
public class NetServer {static final ExecutorService threadPool Executors.newFixedThreadPool(50);public static void startUp(int port) throws IOException {ServerSocket serverSocket new ServerSocket(port);// // 阻塞等待客户端连接
// Socket socket serverSocket.accept();
//
// // 典型的 Blocking IO会阻塞工作线程
// socket.getOutputStream();
// socket.getInputStream();// 多线程方式// 线程池while (true) {Socket socket serverSocket.accept();threadPool.submit(new RPCProcessor(socket));}}}
4、RPCProcessor
具体的socket处理实现Runnable接口方便放入多线程处理。 其中很重要的一点就是模拟服务的分发 ServiceDispatch.dispatch(reqObject);
package com.mntalk.net;import com.mntalk.dispatch.ServiceDispatch;import java.io.IOException;
import java.io.ObjectInputStream;
import java.io.ObjectOutputStream;
import java.net.Socket;
import java.util.Optional;public class RPCProcessor implements Runnable {ObjectInputStream objectInputStream null;ObjectOutputStream objectOutputStream null;private final Socket socket;/*** 因为需要处理socket的流所以需要注入socket*/public RPCProcessor(Socket socket) {this.socket socket;}Overridepublic void run() {try {// 将输入输出流包装成对象流objectInputStream new ObjectInputStream(socket.getInputStream());// 读取客户端对象Object reqObject objectInputStream.readObject();// 服务分发Object respObj ServiceDispatch.dispatch(reqObject);// 将结果进行输出objectOutputStream new ObjectOutputStream(socket.getOutputStream());objectOutputStream.writeObject(respObj);objectOutputStream.flush();} catch (Exception e) {throw new RuntimeException(e);} finally {try {if (Optional.ofNullable(objectInputStream).isPresent()) {objectInputStream.close();}if (Optional.ofNullable(objectOutputStream).isPresent()) {objectOutputStream.close();}} catch (IOException e) {System.out.println(远程调用流关闭错误 e.getMessage());}}}
}
5、ServiceDispatch 服务分发
在这里详细解释一下为什么之前要定义一个 RPACommonReqDto 标准传输对象并且包含三个属性 最主要的就是为了下面通过反射生成具体的instance然后调用方法。
通过classPath可以生成字节码对象通过方法参数列表可以得到参数类型列表然后再通过方法名就可以得到具体的方法 然后就可以进行方法调用了。
package com.mntalk.dispatch;import com.mntalk.dto.RPACommonReqDto;import java.lang.reflect.Constructor;
import java.lang.reflect.Method;public class ServiceDispatch {/*** 服务分发*/public static Object dispatch(Object reqObject) {// 大胆猜测一下reqObject 中应该包含了分发的内容属性// type 1 -- addUser// type 2 -- deleteUser// 上面的这样太呆板了// 基于反射机制就很灵活 instance方法的调用// classpath 全路径// 方法名 形参列表的类型列表// 实例对象 Class.newInstance// 方法在调用过程当中参数的值 ( getType 可以获得 形参列表的类型列表 )RPACommonReqDto reqDto (RPACommonReqDto)reqObject;String classPath reqDto.getClassPath();String methodName reqDto.getMethodName();Object[] args reqDto.getArgs();Class[] types null;if (args ! null args.length 0) {types new Class[args.length];for (int i 0; i args.length; i) {types[i] args[i].getClass();}}Object respObject null;// 方法获取及调用try {Class? clazz Class.forName(classPath);Method method clazz.getDeclaredMethod(methodName, types);Constructor? constructor clazz.getDeclaredConstructor();respObject method.invoke(constructor.newInstance(), args);} catch (Exception e) {e.printStackTrace();}return respObject;}}
搭建 rpc-consumer
模拟调用
1、pom文件
引入rpc-api工程
project xmlnshttp://maven.apache.org/POM/4.0.0 xmlns:xsihttp://www.w3.org/2001/XMLSchema-instancexsi:schemaLocationhttp://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsdmodelVersion4.0.0/modelVersiongroupIdcom.mntalk/groupIdartifactIdrpc-consumer/artifactIdversion1.0-SNAPSHOT/versiondependenciesdependencygroupIdcom.mntalk/groupIdartifactIdrpc-api/artifactIdversion1.0-SNAPSHOT/version/dependency/dependencies/project
2、TestRPC
模拟调用
package com.mntalk;import com.mntalk.api.UserService;
import com.mntalk.dto.UserDto;
import com.mntalk.proxy.FactoryProxy;public class TestRPC {public static void main(String[] args) {UserService userService FactoryProxy.getInstanceByClassType(UserService.class);UserDto userDto new UserDto();userDto.setName(feiz);userDto.setAge(18);System.out.println(invoke before: userDto);userDto userService.addUser(userDto); // 实际上是跑到RPCInvocationHandler的invoke方法中去执行逻辑了System.out.println(invoke after: userDto);}
}
3、FactoryProxy 代理工厂
通过JDK的动态代理底层会采用ASM字节码重组技术会生成一个新的class字节码对象 然后由ClassLoader将字节码对象加载到JVM进程当中经由这个类的实例 去创建出来了一个实例对象这个class对象实现了interfaceClazz接口。
package com.mntalk.proxy;import com.mntalk.api.UserService;import java.lang.reflect.InvocationHandler;
import java.lang.reflect.Proxy;/*** 代理工厂*/
public class FactoryProxy {// 写死的情况并不是我们需要的
// public static UserService getUserServiceInstance() {
// return (UserService) null;
// }// 你传入什么样的一个接口我希望得到的是你传入接口的实例对象public static T T getInstanceByClassType(ClassT interfaceClazz) {/*** 需要用到JDK的动态代理** ClassLoader loader, 类加载器Bootstrap、Application、Extension、户自定义类加载器 这里默认用Application* Class?[] interfaces, 实现的接口列表* InvocationHandler h 处理器*/return (T) Proxy.newProxyInstance(FactoryProxy.class.getClassLoader(),new Class[]{interfaceClazz},new RPCInvocationHandler());}
}4、RPCInvocationHandler
RPCInvocationHandler
package com.mntalk.proxy;import com.mntalk.dto.UserDto;import java.lang.reflect.InvocationHandler;
import java.lang.reflect.Method;// 创建实例对象时使用
public class RPCInvocationHandler implements InvocationHandler {Overridepublic Object invoke(Object proxy, Method method, Object[] args) throws Throwable {System.out.println(11111);UserDto userDto new UserDto();userDto.setAge(99);userDto.setName(feifei);return userDto;}
}
在TestRPC中点击运行 实际上userService.addUser(userDto);是跑到RPCInvocationHandler的invoke方法中去执行逻辑了 在invoke方法中实现了目标对象的保护和增强 那么我们可以将网络实现的细节放到这里面来实现让调用者无感知这件事情。
5、在invoke中组装网络请求
这里监听的是9999因为provider中使用的是9999端口自己根据自己的进行调整就行 package com.mntalk.proxy;import com.mntalk.anno.ServiceMapped;
import com.mntalk.dto.RPACommonReqDto;
import com.mntalk.dto.UserDto;
import com.mntalk.net.NetClient;import java.lang.reflect.InvocationHandler;
import java.lang.reflect.Method;// 创建实例对象时使用
public class RPCInvocationHandler implements InvocationHandler {Overridepublic Object invoke(Object proxy, Method method, Object[] args) throws Throwable {// 组装 RPACommonReqDto 对象完成网络的调用。。。RPACommonReqDto commonReqDto new RPACommonReqDto();commonReqDto.setArgs(args);commonReqDto.setMethodName(method.getName());String classPath method.getDeclaringClass().getDeclaredAnnotation(ServiceMapped.class).value();commonReqDto.setClassPath(classPath); // 使用注解的方式替代写死的方式// 完成网络的调用host暂时写死return NetClient.callRemoteService(localhost, 9999, commonReqDto);}
}
6、NetClient 拟调用
package com.mntalk.net;import java.io.IOException;
import java.io.ObjectInputStream;
import java.io.ObjectOutputStream;
import java.net.Socket;
import java.util.Optional;/*** 网络调用*/
public class NetClient {public static Object callRemoteService(String host, int port, Object reqObject) {ObjectOutputStream objectOutputStream null;ObjectInputStream objectInputStream null;Object respObject null;Socket socket null;try {socket new Socket(host, port);objectOutputStream new ObjectOutputStream(socket.getOutputStream());objectOutputStream.writeObject(reqObject);objectOutputStream.flush();objectInputStream new ObjectInputStream(socket.getInputStream());respObject objectInputStream.readObject();} catch (Exception e) {e.printStackTrace();} finally {try {if (Optional.ofNullable(objectInputStream).isPresent()) {objectInputStream.close();}if (Optional.ofNullable(objectOutputStream).isPresent()) {objectOutputStream.close();}} catch (IOException e) {System.out.println(远程调用流关闭错误 e.getMessage());}}return respObject;}}
7、使用注解替代classPath写死的情况
在rpc-api中定义注解**ServiceMapped** 并且在 UserService 接口上添加注解 ServiceMapped(“com.mntalk.impl.UserServiceImpl”)
package com.mntalk.anno;import java.lang.annotation.ElementType;
import java.lang.annotation.Retention;
import java.lang.annotation.RetentionPolicy;
import java.lang.annotation.Target;Retention(RetentionPolicy.RUNTIME)
Target({ElementType.TYPE})
public interface ServiceMapped {String value();
}7、在TestRPC中运行
如下图consumer调用provider成功模拟插入数据生成id并返回了。 小结
上面我们手动实现了一个RPC 能够发起远程调用了但是与 Dubbo 这样的框架相比还有什么需要优化的点
我们现在仅仅只是完成了跨进程、跨网络的调用。 这个机制还是有很多可以优化和调整的地方比如说
序列化方式
给予Java的网络编程Java的序列化还是不够妥当Java的序列化和反序列化在安全性方面考虑得非常多 把一个Java序列化和反序列化都会把整个类的层级结构进行序列化包括序列化ID的检查所以序列化出来的二进制占用的空间是非常大的。 这样在网络中传输就会占用更大的带宽带来更大的数据传输效率的影响。
Dubbo中默认采用Hessian2序列化 Hessian2是一种紧凑的、对各种语言友好的二进制协议它在性能和跨语言互操作性方面都表现不错。
网络编程中流的处理
我们现在采用的是基于线程池的异步处理方式。
可以使用更为友好的网络编程方式进行处理比如 MINA、Netty等等Dubbo底层的默认通讯框架就是Netty
Netty 这是一个异步的、事件驱动的网络应用程序框架可以快速开发可维护的高性能协议服务器与客户端。 Netty广泛用于开发网络游戏、大数据传输应用、实时通讯系统等。它提供了对多种传输类型的支持例如TCP和UDP的socket服务。
最后说一句(求关注求赞别白嫖我)
最近无意间获得一份阿里大佬写的刷题笔记和面经一下子打通了我的任督二脉进大厂原来没那么难。
这是大佬写的 7701页的阿里大佬写的刷题笔记让我offer拿到手软
求一键三连点赞、分享、收藏
点赞对我真的非常重要在线求赞加个关注我会非常感激小郑说编程
