16-模块发布器发布服务全过程

    • 导出服务(提供者)
      • 服务提供方通过指定端口对外暴露服务
    • 注册服务(提供者)
      • 提供方向注册中心注册自己的信息
    • (服务发现)-订阅服务(消费者)
      • 服务调用方通过注册中心订阅自己感兴趣的服务
    • (服务发现)-服务推送(消费者)
      • 注册中心向调用方推送地址列表
    • 调用服务(消费者调用提供者)
      • 调用方选择一个地址发起RPC调用
    • 监控服务
      • 服务提供方和调用方的统计数据由监控模块收集展示

    上面的完整的服务启动订阅与调用流程不仅仅适用于Dubbo 同样也适用于其他服务治理与发现的模型, 一般服务发现与服务调用的思路就是这样的,我们将以上内容扩展,暴漏服务可以使用http,tcp,udp等各种协议,注册服务可以注册到Redis,Dns,Etcd,Zookeeper等注册中心中,订阅服务可以主动去注册中心查询服务列表,服务发现可以让注册中心将服务数据动态推送给消费者.Dubbo其实就是基于这种简单的服务模型来扩展出各种功能的支持,来满足服务治理的各种场景,了解了这里可能各位同学就想着自行开发一个简单的微服务框架了。

    回到主题,从以上的服务完整发布调用流程可以看到,所有的功能都是由导出服务(提供者)开始的,只有提供者先提供了服务才可以有真正的服务让消费者调用。

    之前的博客内容 链接: 我们了解了 DefaultModuleDeployer模块器启动的流程,其中在start代码的模版方法中开始了导出服务的功能,这里我们来详细看下服务发布的全过程:

    入口代码: DefaultModuleDeployer的发布服务方法

    16.2 导出服务的入口

    入口代码: DefaultModuleDeployer的发布服务方法

    2.         //从配置管缓存中查询缓存的所有的服务配置然后逐个服务发布
    3.        for (ServiceConfigBase sc : configManager.getServices()) {
    4.            exportServiceInternal(sc);
    5.        }
    6.    }

    主要流程为遍历初始化的服务配置列表然后逐个服务开始到处
    内部导出服务代码:
    exportServiceInternal方法:

    1. private void exportServiceInternal(ServiceConfigBase sc) {
    3.        ServiceConfig<?> serviceConfig = (ServiceConfig<?>) sc;
    4.        //服务配置刷新 配置优先级覆盖
    5.        if (!serviceConfig.isRefreshed()) {
    6.            serviceConfig.refresh();
    7.        }
    8.        //服务已经导出过了就直接返回
    9.        if (sc.isExported()) {
    10.            return;
    11.        }
    12.        //是否异步方式导出 全局配置或者服务级其中一个配置了异步则异步处理
    13.        if (exportAsync || sc.shouldExportAsync()) {
    14.        //异步其实就是使用线程来导出服务serviceExportExecutor
    15.            ExecutorService executor = executorRepository.getServiceExportExecutor();
    16.            CompletableFuture<Void> future = CompletableFuture.runAsync(() -> {
    17.                try {
    18.                    if (!sc.isExported()) {
    19.                        sc.export();
    20.                        exportedServices.add(sc);
    21.                    }
    22.                } catch (Throwable t) {
    23.                    logger.error(getIdentifier() + " export async catch error : " + t.getMessage(), t);
    24.                }
    25.            }, executor);
    27.            asyncExportingFutures.add(future);
    28.        } else {
    29.            //同步导出服务
    30.            if (!sc.isExported()) {
    31.                sc.export();
    32.                exportedServices.add(sc);
    33.            }
    34.        }
    35.    }

    这个逻辑里面做了一些基本的操作,可以直接看注释然后调用ServiceConfig的export的来导出服务,继续往后看服务配置的导出服务方法。

    16.3 服务配置导出服务模板方法

    核心的服务导出代码是在服务配置中来做的ServiceConfig的 export() 方法
    ServiceConfig的 export() 方法代码如下:

    2.   @Override
    3.   public void export() {
    4.       //已经导出过服务直接放那会
    5.       if (this.exported) {
    6.           return;
    7.       }
    9.       // ensure start module, compatible with old api usage
    10.       //确保模块启动了(基本的初始化操作执行了)
    11.       getScopeModel().getDeployer().start();
    12. //悲观锁
    13.       synchronized (this) {
    14.           //双重校验
    15.           if (this.exported) {
    16.               return;
    17.           }
    18.     //配置是否刷新 前面初始化时候已经刷新过配置
    19.           if (!this.isRefreshed()) {
    20.               this.refresh();
    21.           }
    22.           //服务导出配置配置为false则不导出
    23.           if (this.shouldExport()) {
    24.               //服务发布前初始化一下元数据对象
    25.               this.init();
    27.               if (shouldDelay()) {
    28.                   //配置了服务的延迟发布配置则走延迟发布逻辑
    29.                   doDelayExport();
    30.               } else {
    31.                   //导出服务
    32.                   doExport();
    33.               }
    34.           }
    35.       }
    36.   }

    ServiceConfig 导出服务之前的初始化方法init

    1. public void init() {
    2.         if (this.initialized.compareAndSet(false, true)) {
    3.             //加载服务监听器 这里暂时没有服务监听器扩展
    4.             // load ServiceListeners from extension
    5.             ExtensionLoader<ServiceListener> extensionLoader = this.getExtensionLoader(ServiceListener.class);
    6.             this.serviceListeners.addAll(extensionLoader.getSupportedExtensionInstances());
    7.         }
    8.         //服务提供者配置传递给元数据配置对象 一个服务提供者配置会有一个元数据配置，服务配置
    9.         initServiceMetadata(provider);
    10.         //元数据
    11.         serviceMetadata.setServiceType(getInterfaceClass());
    13.         serviceMetadata.setTarget(getRef());
    14.         //元数据的key格式为 group/服务接口:版本号
    15.         serviceMetadata.generateServiceKey();
    16.     }

    ServiceConfig 导出服务核心逻辑

    1. protected synchronized void doExport() {
    2.         //取消发布
    3.         if (unexported) {
    4.             throw new IllegalStateException("The service " + interfaceClass.getName() + " has already unexported!");
    5.         }
    6.         //已经发布
    7.         if (exported) {
    8.             return;
    9.         }
    10.         //服务路径 为空则设置为接口名，本例子中为link.elastic.dubbo.entity.DemoService
    11.         if (StringUtils.isEmpty(path)) {
    12.             path = interfaceName;
    13.         }
    14.         //导出URL
    15.         doExportUrls();
    16.         //
    17.         exported();
    18.     }

    16.4.1 导出服务的URL配置逻辑

    ServiceConfig 导出URL核心逻辑

    1. private void doExportUrls() {
    2.        //模块服务存储库
    3.        ModuleServiceRepository repository = getScopeModel().getServiceRepository();
    4.        ServiceDescriptor serviceDescriptor;
    5.        //ref为服务实现类型 这里对应我们例子的DemoServiceImpl
    6.        final boolean serverService = ref instanceof ServerService;
    7.        if(serverService){
    8.            serviceDescriptor=((ServerService) ref).getServiceDescriptor();
    9.            repository.registerService(serviceDescriptor);
    10.        }else{
    11.            //我们代码走这个逻辑 注册服务 这个注册不是向注册中心注册 这个是解析服务接口将服务方法等描述信息存放在了服务存储ModuleServiceRepository类型对象的成员变量services中
    12.            serviceDescriptor = repository.registerService(getInterfaceClass());
    13.        }
    14.        //提供者领域模型， 提供者领域模型 封装了一些提供者需要的就基本属性同时内部解析封装方法信息 ProviderMethodModel 列表 ， 服务标识符 格式group/服务接:版本号
    15.        providerModel = new ProviderModel(getUniqueServiceName(),
    16.            //服务实现类DemoServiceImpl
    17.            ref,
    18.            //服务描述符 描述符里面包含了服务接口的方法信息，不过服务接口通过反射也可以拿到方法信息
    19.            serviceDescriptor,
    20.            //服务配置
    21.            this,
    22.            //当前所处模型
    23.            getScopeModel(),
    24.            //当前服务接口的元数据对象
    25.            serviceMetadata);
    27.     //模块服务存储库存储提供者模型对象ModuleServiceRepository
    28.        repository.registerProvider(providerModel);
    29.     //获取配置的注册中心列表 ，同时将注册中心配置转URL （在Dubbo中URL就是配置信息的一种形式）
    30.     //这里会获取到两个  由dubbo.application.register-mode 双注册配置决定
    31.     //注册中心 registry://127.0.0.1:2181/org.apache.dubbo.registry.RegistryService?application=dubbo-demo-api-provider&dubbo=2.0.2&pid=9008&registry=zookeeper&release=3.0.8&timestamp=1653703292768
    32.   //service-discovery-registry://8.131.79.126:2181/org.apache.dubbo.registry.RegistryService?application=dubbo-demo-api-provider&dubbo=2.0.2&pid=10275&registry=zookeeper&release=3.0.8&timestamp=1653704425920
    33.   //参数dubbo是dubbo协议的版本不是Dubbo版本 Dubbo RPC protocol version, for compatibility, it must not be between 2.0.10 ~ 2.6.2
    34.    //这里后面详细说下 服务双注册  dubbo.application.register-mode
    35.        List<URL> registryURLs = ConfigValidationUtils.loadRegistries(this, true);
    37.        for (ProtocolConfig protocolConfig : protocols) {
    38.            String pathKey = URL.buildKey(getContextPath(protocolConfig)
    39.                    .map(p -> p + "/" + path)
    40.                    .orElse(path), group, version);
    41.            // stub service will use generated service name
    42.            if(!serverService) {
    43.                // In case user specified path, register service one more time to map it to path.
    44.                //模块服务存储库ModuleServiceRepository存储服务接口信息
    45.               repository.registerService(pathKey, interfaceClass);
    46.            }
    47.            //导出根据协议导出配置到注册中心
    48.            doExportUrlsFor1Protocol(protocolConfig, registryURLs);
    49.        }
    50.    }

    16.4.2 应用级和接口级服务注册地址获取

    这里主要看下注册中心的获取，这里涉及到服务的双注册配置

    1. List<URL> registryURLs = ConfigValidationUtils.loadRegistries(this, true);

    关于loadRegistries方法的详情我们就不看了主要看loadRegistries方法中调用的genCompatibleRegistries添加服务发现注册中心

    1.   /**
    2.    * @param scopeModel 域模型
    3.    * @param registryList 配置的注册中心列表 例如：registry://127.0.0.1:2181/org.apache.dubbo.registry.RegistryService?application=dubbo-demo-api-provider&dubbo=2.0.2&pid=9008&registry=zookeeper&release=3.0.8&timestamp=1653703292768
    4.    * 
    5.    *  @param provider 是否为服务提供者 这里Demo为true
    6.    */
    7. private static List<URL> genCompatibleRegistries(ScopeModel scopeModel, List<URL> registryList, boolean provider) {
    8.         List<URL> result = new ArrayList<>(registryList.size());
    9.         //遍历所有的注册中心 为每个注册中心增加兼容的服务发现注册中心地址配置
    10.         registryList.forEach(registryURL -> {
    11.            //是否为提供者 
    12.             if (provider) {
    13.                 // for registries enabled service discovery, automatically register interface compatible addresses.
    15.                 String registerMode;
    16.                 //注册协议配置了service-discovery-registry 走这个逻辑
    17.                 //前面这个逻辑是直接接给result结果中添加应用级注册，如果是all配置则增加接口级注册信息
    18.                 if (SERVICE_REGISTRY_PROTOCOL.equals(registryURL.getProtocol())) {
    19.                     registerMode = registryURL.getParameter(REGISTER_MODE_KEY, ConfigurationUtils.getCachedDynamicProperty(scopeModel, DUBBO_REGISTER_MODE_DEFAULT_KEY, DEFAULT_REGISTER_MODE_INSTANCE));
    20.                     if (!isValidRegisterMode(registerMode)) {
    21.                         registerMode = DEFAULT_REGISTER_MODE_INSTANCE;
    22.                     }
    23.                     //这里配置的就是应用级配置 则先添加应用级地址，再根据条件判断是否添加接口级注册中心地址
    24.                     result.add(registryURL);
    25.                     if (DEFAULT_REGISTER_MODE_ALL.equalsIgnoreCase(registerMode)
    26.                         && registryNotExists(registryURL, registryList, REGISTRY_PROTOCOL)) {
    27.                         URL interfaceCompatibleRegistryURL = URLBuilder.from(registryURL)
    28.                             .setProtocol(REGISTRY_PROTOCOL)
    29.                             .removeParameter(REGISTRY_TYPE_KEY)
    30.                             .build();
    31.                         result.add(interfaceCompatibleRegistryURL);
    32.                     }
    33.                 } else {
    34.                     //正常情况下我们的配置会走这个逻辑
    35.                     // 获取服务注册的注册模式 配置为dubbo.application.register-mode 默认值为all 既注册接口数据又注册应用级信息
    36.                     registerMode = registryURL.getParameter(REGISTER_MODE_KEY, ConfigurationUtils.getCachedDynamicProperty(scopeModel, DUBBO_REGISTER_MODE_DEFAULT_KEY, DEFAULT_REGISTER_MODE_ALL));
    38.                     if (!isValidRegisterMode(registerMode)) {
    39.                         registerMode = DEFAULT_REGISTER_MODE_INTERFACE;
    40.                     }
    41.                      //根据逻辑条件判断是否添加应用级注册中心地址
    42.                     if ((DEFAULT_REGISTER_MODE_INSTANCE.equalsIgnoreCase(registerMode) || DEFAULT_REGISTER_MODE_ALL.equalsIgnoreCase(registerMode))
    43.                         && registryNotExists(registryURL, registryList, SERVICE_REGISTRY_PROTOCOL)) {
    44.                         URL serviceDiscoveryRegistryURL = URLBuilder.from(registryURL)
    45.                             .setProtocol(SERVICE_REGISTRY_PROTOCOL)
    46.                             .removeParameter(REGISTRY_TYPE_KEY)
    47.                             .build();
    48.                     }
    49.                        //根据逻辑条件判断是否添加接口级注册中心地址
    50.                     if (DEFAULT_REGISTER_MODE_INTERFACE.equalsIgnoreCase(registerMode) || DEFAULT_REGISTER_MODE_ALL.equalsIgnoreCase(registerMode)) {
    51.                         result.add(registryURL);
    52.                     }
    53.                 }
    55.                 FrameworkStatusReportService reportService = ScopeModelUtil.getApplicationModel(scopeModel).getBeanFactory().getBean(FrameworkStatusReportService.class);
    56.                 reportService.reportRegistrationStatus(reportService.createRegistrationReport(registerMode));
    57.             } else {
    58.                 result.add(registryURL);
    59.             }
    60.         });
    62.         return result;
    63.     }

    这个方法是根据服务注册模式来判断使用接口级注册地址还是应用级注册地址分别如下所示：
    配置信息：
    dubbo.application.register-mode
    配置值：

    • interface
      • 接口级注册
    • instance
      • 应用级注册
    • all
      • 接口级别和应用级都注册
    1. registry://127.0.0.1:2181/org.apache.dubbo.registry.RegistryService?application=dubbo-demo-api-provider&dubbo=2.0.2&pid=9008&registry=zookeeper&release=3.0.8&timestamp=1653703292768

    应用级注册地址：

    1. service-discovery-registry://8.131.79.126:2181/org.apache.dubbo.registry.RegistryService?application=dubbo-demo-api-provider&dubbo=2.0.2&pid=10275&registry=zookeeper&release=3.0.8&timestamp=1653704425920

    16.5 导出服务配置到本地和注册中心

    1. doExportUrlsFor1Protocol(protocolConfig, registryURLs);

    protocolConfig为：dubbo协议的配置
    <dubbo:protocol port=”-1” name=”dubbo” />

    registryURLs目前有两个 应用级注册地址和接口级注册地址：

    1. registry://127.0.0.1:2181/org.apache.dubbo.registry.RegistryService?application=dubbo-demo-api-provider&dubbo=2.0.2&pid=9008&registry=zookeeper&release=3.0.8&timestamp=1653703292768

    16.5.1 导出服务配置的doExportUrlsFor1Protocol方法

    16.5.2 导出服务配置模板方法

    继续看导出服务的模板方法，分为本地导出和注册中心导出
    //参数url为协议配置url可以参考：

    1. dubbo://192.168.1.9:20880/link.elastic.dubbo.entity.DemoService?anyhost=true&application=dubbo-demo-api-provider&background=false&bind.ip=192.168.1.9&bind.port=20880&deprecated=false&dubbo=2.0.2&dynamic=true&generic=false&interface=link.elastic.dubbo.entity.DemoService&methods=sayHello,sayHelloAsync&pid=10953&release=3.0.8&side=provider&timestamp=1653705630518
    1. private void exportUrl(URL url, List<URL> registryURLs) {
    2.         String scope = url.getParameter(SCOPE_KEY);
    3.         // don't export when none is configured
    4.         if (!SCOPE_NONE.equalsIgnoreCase(scope)) {
    6.             // export to local if the config is not remote (export to remote only when config is remote)
    7.             //未明确指定远程导出 则开启本地导出
    8.             if (!SCOPE_REMOTE.equalsIgnoreCase(scope)) {
    9.                 exportLocal(url);
    10.             }
    11.             //未明确指定本地导出 则开启远程导出
    12.             // export to remote if the config is not local (export to local only when config is local)
    13.             if (!SCOPE_LOCAL.equalsIgnoreCase(scope)) {
    14.                 url = exportRemote(url, registryURLs);
    15.                 if (!isGeneric(generic) && !getScopeModel().isInternal()) {
    16.                     MetadataUtils.publishServiceDefinition(url, providerModel.getServiceModel(), getApplicationModel());
    17.                 }
    18.             }
    19.         }
    20.         this.urls.add(url);
    21.     }

    16.6 导出服务到本地

    本地调用使用了 injvm 协议，是一个伪协议，它不开启端口，不发起远程调用，只在 JVM 内直接关联，但执行 Dubbo 的 Filter 链。

    直接通过代码来看吧

    1. private void exportLocal(URL url) {
    2.       //协议转为injvm 代表本地导出 host为127.0.0.1
    3.        URL local = URLBuilder.from(url)
    4.                .setProtocol(LOCAL_PROTOCOL)
    5.                .setHost(LOCALHOST_VALUE)
    6.                .setPort(0)
    7.                .build();
    8.        local = local.setScopeModel(getScopeModel())
    9.            .setServiceModel(providerModel);
    10.        doExportUrl(local, false);
    11.        logger.info("Export dubbo service " + interfaceClass.getName() + " to local registry url : " + local);
    12.    }
    1. private void doExportUrl(URL url, boolean withMetaData) {
    2.         //这里是由adaptor扩展类型处理过的 我们直接看默认的类型javassist 对应JavassistProxyFactory代理工厂 获取调用对象 （
    3.         Invoker<?> invoker = proxyFactory.getInvoker(ref, (Class) interfaceClass, url);
    4.         if (withMetaData) {
    5.             invoker = new DelegateProviderMetaDataInvoker(invoker, this);
    6.         }
    7.         Exporter<?> exporter = protocolSPI.export(invoker);
    8.         exporters.add(exporter);
    9.     }

    16.6.2 JavassistProxyFactory类型的getInvoker方法

    1. @Override
    2.     public <T> Invoker<T> getInvoker(T proxy, Class<T> type, URL url) {
    3.         try {
    4.             // TODO Wrapper cannot handle this scenario correctly: the classname contains '$'
    5.             // 创建实际服务提供者的代理类型，代理类型后缀为DubboWrap在这里类型为 link.elastic.dubbo.entity.DemoServiceImplDubboWrap0
    6.             final Wrapper wrapper = Wrapper.getWrapper(proxy.getClass().getName().indexOf('$') < 0 ? proxy.getClass() : type);
    7.             //创建一个匿名内部类对象 继承自AbstractProxyInvoker的Invoker对象
    8.             return new AbstractProxyInvoker<T>(proxy, type, url) {
    9.                 @Override
    10.                 protected Object doInvoke(T proxy, String methodName,
    11.                                           Class<?>[] parameterTypes,
    12.                                           Object[] arguments) throws Throwable {
    13.                     return wrapper.invokeMethod(proxy, methodName, parameterTypes, arguments);
    14.                 }
    15.             };
    16.         } catch (Throwable fromJavassist) {
    17.             // try fall back to JDK proxy factory
    18.             ...
    19.             }
    20.         }
    21.     }

    16.6.3 使用协议导出调用对象 export

    1. Exporter<?> exporter = protocolSPI.export(invoker);

    这个使用了Adaptor扩展和Wrapper机制Debug起来不太方便这里贴一下调用堆栈在这里插入图片描述

    16.6.3.1 协议序列化机制ProtocolSerializationWrapper

    1. @Override
    2.  public <T> Exporter<T> export(Invoker<T> invoker) throws RpcException {
    3.      //这里主要逻辑是将服务提供者url添加到服务存储仓库中
    4.      getFrameworkModel(invoker.getUrl().getScopeModel()).getServiceRepository().registerProviderUrl(invoker.getUrl());
    5.      return protocol.export(invoker);
    6.  }

    16.6.3.2 协议过滤器Wrapper ProtocolFilterWrapper

    1. @Override
    2.    public <T> Exporter<T> export(Invoker<T> invoker) throws RpcException {
    3.        //注册中心的协议导出直接执行
    4.        if (UrlUtils.isRegistry(invoker.getUrl())) {
    5.            return protocol.export(invoker);
    6.        }
    7.        //过滤器调用链FilterChainBuilder的扩展对象查询
    8.        FilterChainBuilder builder = getFilterChainBuilder(invoker.getUrl());
    9.           //这里分为2步 生成过滤器调用链 然后使用链表中的节点调用  这里值查询provider类型的过滤器
    10.        return protocol.export(builder.buildInvokerChain(invoker, SERVICE_FILTER_KEY, CommonConstants.PROVIDER));
    11.    }

    过滤器调用链的生成 对用DefaultFilterChainBuilder类型的buildInvokerChain方法

    1. @Override
    2.     public <T> Invoker<T> buildInvokerChain(final Invoker<T> originalInvoker, String key, String group) {
    3.         //originalInvoker代表真正的服务调用器
    4.         Invoker<T> last = originalInvoker;
    5.         URL url = originalInvoker.getUrl();
    6.         List<ModuleModel> moduleModels = getModuleModelsFromUrl(url);
    7.         List<Filter> filters;
    8.         if (moduleModels != null && moduleModels.size() == 1) {
    9.         //类型Filter key为service.filter 分组为provider 所有提供者过滤器拉取
    10.             filters = ScopeModelUtil.getExtensionLoader(Filter.class, moduleModels.get(0)).getActivateExtension(url, key, group);
    11.         } else if (moduleModels != null && moduleModels.size() > 1) {
    12.             filters = new ArrayList<>();
    13.             List<ExtensionDirector> directors = new ArrayList<>();
    14.             for (ModuleModel moduleModel : moduleModels) {
    15.                 List<Filter> tempFilters = ScopeModelUtil.getExtensionLoader(Filter.class, moduleModel).getActivateExtension(url, key, group);
    16.                 filters.addAll(tempFilters);
    17.                 directors.add(moduleModel.getExtensionDirector());
    18.             }
    19.             filters = sortingAndDeduplication(filters, directors);
    21.         } else {
    22.             filters = ScopeModelUtil.getExtensionLoader(Filter.class, null).getActivateExtension(url, key, group);
    23.         }
    25.         //倒序拼接，将过滤器的调用对象添加到链表中  最后倒序遍历之后 last节点指向了调用链路链表头节点的对象
    26.         if (!CollectionUtils.isEmpty(filters)) {
    27.             for (int i = filters.size() - 1; i >= 0; i--) {
    28.                 final Filter filter = filters.get(i);
    29.                 final Invoker<T> next = last;
    30.                 //每个invoker对象中都有originalInvoker对象
    31.                 last = new CopyOfFilterChainNode<>(originalInvoker, next, filter);
    32.             }
    33.             return new CallbackRegistrationInvoker<>(last, filters);
    34.         }
    36.         return last;
    37.     }

    1. @Override
    2.    public <T> Exporter<T> export(Invoker<T> invoker) throws RpcException {
    3.        //注册中心地址则直接导出
    4.        if (UrlUtils.isRegistry(invoker.getUrl())) {
    5.            return protocol.export(invoker);
    6.        }
    7.        // 先导出对象 再创建过滤器包装对象 执行监听器逻辑
    8.        return new ListenerExporterWrapper<T>(protocol.export(invoker),
    9.                Collections.unmodifiableList(ScopeModelUtil.getExtensionLoader(ExporterListener.class, invoker.getUrl().getScopeModel())
    10.                        .getActivateExtension(invoker.getUrl(), EXPORTER_LISTENER_KEY)));
    11.    }

    16.6.3.4 QOS的协议Wrapper QosProtocolWrapper

    1. @Override
    2.     public <T> Exporter<T> export(Invoker<T> invoker) throws RpcException {
    3.          //注册中心导出的时候开启QOS 默认端口22222
    4.         if (UrlUtils.isRegistry(invoker.getUrl())) {
    5.             startQosServer(invoker.getUrl());
    6.             return protocol.export(invoker);
    7.         }
    8.         return protocol.export(invoker);
    9.     }

    16.6.3.5 InjvmProtocol 的导出方法

    1. @Override
    2.   public <T> Exporter<T> export(Invoker<T> invoker) throws RpcException {
    3.       return new InjvmExporter<T>(invoker, invoker.getUrl().getServiceKey(), exporterMap);
    4.   }

    16.5.2 导出服务配置模板方法 中我们看到了服务导出会导出到本地和远程，接下来就看下导出到远程的方法exportRemote
    参数url:

    1. dubbo://192.168.1.9:20880/link.elastic.dubbo.entity.DemoService?anyhost=true&application=dubbo-demo-api-provider&background=false&bind.ip=192.168.1.9&bind.port=20880&deprecated=false&dubbo=2.0.2&dynamic=true&generic=false&interface=link.elastic.dubbo.entity.DemoService&methods=sayHello,sayHelloAsync&pid=12865&release=3.0.8&side=provider&timestamp=1653708351378

    参数registryURLs目前有两个 应用级注册地址和接口级注册地址：

    1. service-discovery-registry://8.131.79.126:2181/org.apache.dubbo.registry.RegistryService?application=dubbo-demo-api-provider&dubbo=2.0.2&pid=10275&registry=zookeeper&release=3.0.8&timestamp=1653704425920
    1. private URL exportRemote(URL url, List<URL> registryURLs) {
    3.         if (CollectionUtils.isNotEmpty(registryURLs)) {
    4.             //遍历所有注册地址与注册模式 逐个注册
    5.             for (URL registryURL : registryURLs) {
    6.               //为协议URL 添加应用级注册service-discovery-registry参数service-name-mapping为true
    7.                 if (SERVICE_REGISTRY_PROTOCOL.equals(registryURL.getProtocol())) {
    8.                     url = url.addParameterIfAbsent(SERVICE_NAME_MAPPING_KEY, "true");
    9.                 }
    11.                 //if protocol is only injvm ,not register
    12.                 if (LOCAL_PROTOCOL.equalsIgnoreCase(url.getProtocol())) {
    13.                     continue;
    14.                 }
    15.                 //为协议url 添加动态配置dynamic
    16.                 url = url.addParameterIfAbsent(DYNAMIC_KEY, registryURL.getParameter(DYNAMIC_KEY));
    17.                 //监控配置暂时为null
    18.                 URL monitorUrl = ConfigValidationUtils.loadMonitor(this, registryURL);
    19.                 if (monitorUrl != null) {
    20.                     url = url.putAttribute(MONITOR_KEY, monitorUrl);
    21.                 }
    23.                 // For providers, this is used to enable custom proxy to generate invoker
    24.                 String proxy = url.getParameter(PROXY_KEY);
    25.                 if (StringUtils.isNotEmpty(proxy)) {
    26.                     registryURL = registryURL.addParameter(PROXY_KEY, proxy);
    27.                 }
    29.                 //开始注册服务了 打印个认知 提示下
    30.                 if (logger.isInfoEnabled()) {
    31.                     if (url.getParameter(REGISTER_KEY, true)) {
    32.                         logger.info("Register dubbo service " + interfaceClass.getName() + " url " + url + " to registry " + registryURL.getAddress());
    33.                     } else {
    34.                         logger.info("Export dubbo service " + interfaceClass.getName() + " to url " + url);
    35.                     }
    36.                 }
    38.                 doExportUrl(registryURL.putAttribute(EXPORT_KEY, url), true);
    39.             }
    41.         } else {
    43.             if (logger.isInfoEnabled()) {
    44.                 logger.info("Export dubbo service " + interfaceClass.getName() + " to url " + url);
    45.             }
    47.             doExportUrl(url, true);
    48.         }
    51.         return url;
    52.     }

    16.7.1 doExportUrl方法

    与 16.6.1 doExportUrl方法 导出本地协议是一样的逻辑 ，我们来看看点不同地方

    1. private void doExportUrl(URL url, boolean withMetaData) {
    2.         Invoker<?> invoker = proxyFactory.getInvoker(ref, (Class) interfaceClass, url);
    3.         if (withMetaData) {
    4.           //远程服务导出逐个值为true 元数据invoker包装一下
    5.             invoker = new DelegateProviderMetaDataInvoker(invoker, this);
    6.         }
    7.         Exporter<?> exporter = protocolSPI.export(invoker);
    8.         exporters.add(exporter);
    9.     }

    与本地导出ProtocolFilterWrapper的不同之处
    服务发现service-discovery-registry的导出UrlUtils.isRegistry(invoker.getUrl() 判断结果为true会走这个逻辑

    1. @Override
    2.    public <T> Exporter<T> export(Invoker<T> invoker) throws RpcException {
    3.        //注册中心的协议导出直接执行
    4.        // 服务发现service-discovery-registry的导出会走这个逻辑
    5.        if (UrlUtils.isRegistry(invoker.getUrl())) {
    6.            return protocol.export(invoker);
    7.        }
    8.        //过滤器调用链FilterChainBuilder的扩展对象查询
    9.        FilterChainBuilder builder = getFilterChainBuilder(invoker.getUrl());
    10.           //这里分为2步 生成过滤器调用链 然后使用链表中的节点调用  这里值查询provider类型的过滤器
    11.        return protocol.export(builder.buildInvokerChain(invoker, SERVICE_FILTER_KEY, CommonConstants.PROVIDER));
    12.    }

    服务发现service-discovery-registry的导出UrlUtils.isRegistry(invoker.getUrl() 判断结果为true会走这个逻辑

    1. @Override
    2.        //注册中心地址则直接导出
    3.         // 服务发现service-discovery-registry的导出会走这个逻辑
    4.        if (UrlUtils.isRegistry(invoker.getUrl())) {
    5.            return protocol.export(invoker);
    6.        }
    7.        // 先导出对象 再创建过滤器包装对象 执行监听器逻辑
    8.        return new ListenerExporterWrapper<T>(protocol.export(invoker),
    9.                Collections.unmodifiableList(ScopeModelUtil.getExtensionLoader(ExporterListener.class, invoker.getUrl().getScopeModel())
    10.                        .getActivateExtension(invoker.getUrl(), EXPORTER_LISTENER_KEY)));

    与 16.6.3.4 QOS的协议Wrapper QosProtocolWrapper 不同之处

    服务发现service-discovery-registry的导出UrlUtils.isRegistry(invoker.getUrl() 判断结果为true会走这个逻辑

    1. @Override
    2.     public <T> Exporter<T> export(Invoker<T> invoker) throws RpcException {
    3.          //注册中心导出的时候开启QOS 默认端口22222
    4.         if (UrlUtils.isRegistry(invoker.getUrl())) {
    5.             startQosServer(invoker.getUrl());
    6.             return protocol.export(invoker);
    7.         }
    8.         return protocol.export(invoker);
    9.     }

    启动QOS服务startQosServer

    1. private void startQosServer(URL url) {
    2.         try {
    3.             if (!hasStarted.compareAndSet(false, true)) {
    4.                 return;
    5.             }
    7.             boolean qosEnable = url.getParameter(QOS_ENABLE, true);
    8.             if (!qosEnable) {
    9.                 logger.info("qos won't be started because it is disabled. " +
    10.                         "Please check dubbo.application.qos.enable is configured either in system property, " +
    11.                         "dubbo.properties or XML/spring-boot configuration.");
    12.                 return;
    13.             }
    15.             String host = url.getParameter(QOS_HOST);
    16.             int port = url.getParameter(QOS_PORT, QosConstants.DEFAULT_PORT);
    17.             boolean acceptForeignIp = Boolean.parseBoolean(url.getParameter(ACCEPT_FOREIGN_IP, "false"));
    18.             Server server = frameworkModel.getBeanFactory().getBean(Server.class);
    19.             server.setHost(host);
    20.             server.setPort(port);
    21.             server.setAcceptForeignIp(acceptForeignIp);
    22.             server.start();
    24.         } catch (Throwable throwable) {
    25.             logger.warn("Fail to start qos server: ", throwable);
    26.         }

    QOS的Server的启动方法start

    1. public void start() throws Throwable {
    2.         if (!started.compareAndSet(false, true)) {
    3.             return;
    4.         }
    5.         //1个主线程
    6.         boss = new NioEventLoopGroup(1, new DefaultThreadFactory("qos-boss", true));
    7.         //0个从线程
    8.         worker = new NioEventLoopGroup(0, new DefaultThreadFactory("qos-worker", true));
    9.         //服务端启动器，和参数设置
    10.         ServerBootstrap serverBootstrap = new ServerBootstrap();
    11.         serverBootstrap.group(boss, worker);
    12.         serverBootstrap.channel(NioServerSocketChannel.class);
    13.         serverBootstrap.option(ChannelOption.SO_REUSEADDR, true);
    14.         serverBootstrap.childOption(ChannelOption.TCP_NODELAY, true);
    15.         serverBootstrap.childHandler(new ChannelInitializer<Channel>() {
    17.             @Override
    18.             protected void initChannel(Channel ch) throws Exception {
    19.                 ch.pipeline().addLast(new QosProcessHandler(frameworkModel, welcome, acceptForeignIp));
    20.             }
    21.         });
    22.         try {
    23.             if (StringUtils.isBlank(host)) {
    24.                 serverBootstrap.bind(port).sync();
    25.             } else {
    26.                 serverBootstrap.bind(host, port).sync();
    27.             }
    29.             logger.info("qos-server bind localhost:" + port);
    30.         } catch (Throwable throwable) {
    31.             logger.error("qos-server can not bind localhost:" + port, throwable);
    32.             throw throwable;
    33.         }
    34.     }

    QOS处理器为QosProcessHandler关于QosProcessHandler的细节这里先不说

    最后一个不同的地方调用链路走的这个 RegistryProtocol

    16.7.2 通过注册协议导出服务与注册服务的流程

    RegistryProtocol的导出方法：
    这个方法非常重要也是服务注册的核心代码，先概括下包含了哪些步骤

    • 覆盖配置
    • 导出协议端口开启TCP服务
    • 注册到注册中心
    • 通知服务启动了
    1. @Override
    2.    public <T> Exporter<T> export(final Invoker<T> originInvoker) throws RpcException {
    3.       //service-discovery-registry://8.131.79.126:2181/org.apache.dubbo.registry.RegistryService?application=dubbo-demo-api-provider&dubbo=2.0.2&pid=14256&registry=zookeeper&release=3.0.8&timestamp=1653710477057
    4.        URL registryUrl = getRegistryUrl(originInvoker);
    5.        // url to export locally
    6.        //dubbo://192.168.1.9:20880/link.elastic.dubbo.entity.DemoService?anyhost=true&application=dubbo-demo-api-provider&background=false&bind.ip=192.168.1.9&bind.port=20880&deprecated=false&dubbo=2.0.2&dynamic=true&generic=false&interface=link.elastic.dubbo.entity.DemoService&methods=sayHello,sayHelloAsync&pid=14256&release=3.0.8&service-name-mapping=true&side=provider&timestamp=1653710479073
    7.        URL providerUrl = getProviderUrl(originInvoker);
    9.        // Subscribe the override data
    10.        // FIXME When the provider subscribes, it will affect the scene : a certain JVM exposes the service and call
    11.        //  the same service. Because the subscribed is cached key with the name of the service, it causes the
    12.        //  subscription information to cover.
    13.        //provider://192.168.1.9:20880/link.elastic.dubbo.entity.DemoService?anyhost=true&application=dubbo-demo-api-provider&background=false&bind.ip=192.168.1.9&bind.port=20880&category=configurators&check=false&deprecated=false&dubbo=2.0.2&dynamic=true&generic=false&interface=link.elastic.dubbo.entity.DemoService&methods=sayHello,sayHelloAsync&pid=14256&release=3.0.8&service-name-mapping=true&side=provider&timestamp=1653710479073
    15.        final URL overrideSubscribeUrl = getSubscribedOverrideUrl(providerUrl);
    16.        //override配置
    17.        final OverrideListener overrideSubscribeListener = new OverrideListener(overrideSubscribeUrl, originInvoker);
    18.        Map<URL, NotifyListener> overrideListeners = getProviderConfigurationListener(providerUrl).getOverrideListeners();
    19.        overrideListeners.put(registryUrl, overrideSubscribeListener);
    21.        providerUrl = overrideUrlWithConfig(providerUrl, overrideSubscribeListener);
    23.        //export invoker
    24.        final ExporterChangeableWrapper<T> exporter = doLocalExport(originInvoker, providerUrl);
    26.        // url to registry
    27.        //通过URL获取 注册中心Registry操作对象
    28.        final Registry registry = getRegistry(registryUrl);
    29.        //需要向注册中心注册地址转换
    30.        //dubbo://192.168.1.9:20880/link.elastic.dubbo.entity.DemoService?anyhost=true&application=dubbo-demo-api-provider&background=false&deprecated=false&dubbo=2.0.2&dynamic=true&generic=false&interface=link.elastic.dubbo.entity.DemoService&methods=sayHello,sayHelloAsync&pid=14656&release=3.0.8&service-name-mapping=true&side=provider&timestamp=1653711086189
    31.        final URL registeredProviderUrl = getUrlToRegistry(providerUrl, registryUrl);
    33.        // decide if we need to delay publish (provider itself and registry should both need to register)
    34.        boolean register = providerUrl.getParameter(REGISTER_KEY, true) && registryUrl.getParameter(REGISTER_KEY, true);
    35.        //是否向注册中心注册
    36.        if (register) {
    37.            register(registry, registeredProviderUrl);
    38.        }
    40.        // register stated url on provider model
    41.        registerStatedUrl(registryUrl, registeredProviderUrl, register);
    44.        exporter.setRegisterUrl(registeredProviderUrl);
    45.        exporter.setSubscribeUrl(overrideSubscribeUrl);
    47.        if (!registry.isServiceDiscovery()) {
    48.            // Deprecated! Subscribe to override rules in 2.6.x or before.
    49.            registry.subscribe(overrideSubscribeUrl, overrideSubscribeListener);
    50.        }
    51.     //内置监听器通知 这个不是通知消费者的
    52.        notifyExport(exporter);
    53.        //Ensure that a new exporter instance is returned every time export
    54.        return new DestroyableExporter<>(exporter);
    55.    }

    16.8 doLocalExport本地导出协议开启端口

    前面已经看过了本地协议JVM协议的服务导出和注册中心配置的导出，这里可以直接看一些关键代码：

    1. private <T> ExporterChangeableWrapper<T> doLocalExport(final Invoker<T> originInvoker, URL providerUrl) {
    2.       String key = getCacheKey(originInvoker);
    4.       return (ExporterChangeableWrapper<T>) bounds.computeIfAbsent(key, s -> {
    5.           Invoker<?> invokerDelegate = new InvokerDelegate<>(originInvoker, providerUrl);
    6.           //代码中用的这个protoco对象是dubbo自动生成的适配器对象protocol$Adaptive 适配器对象会根据当前协议的参数来查询具体的协议扩展对象
    7.           return new ExporterChangeableWrapper<>((Exporter<T>) protocol.export(invokerDelegate), originInvoker);
    8.       });
    9.   }

    上面这个protocol$Adaptive 协议的export导出方法与之前的一样也会经历下面几个过程，具体细节可以参考JVM协议的导出：

    • ProtocolSerializationWrapper
    • ProtocolFilterWrapper
    • ProtocolListenerWrapper
    • QosProtocolWrapper
    • 唯一不同的是我们这里对应的协议扩展类型为DubboProtocol、
      接下来来看下DubboProtocol的导出服务export方法实现：
    1. @Override
    2.    public <T> Exporter<T> export(Invoker<T> invoker) throws RpcException {
    3.        checkDestroyed();
    4.        //服务提供者的url参考例子dubbo://192.168.1.9:20880/link.elastic.dubbo.entity.DemoService?anyhost=true&application=dubbo-demo-api-provider&background=false&bind.ip=192.168.1.9&bind.port=20880&deprecated=false&dubbo=2.0.2&dynamic=true&generic=false&interface=link.elastic.dubbo.entity.DemoService&methods=sayHello,sayHelloAsync&pid=6043&release=3.0.8&service-name-mapping=true&side=provider&timestamp=1654224285437
    5.        URL url = invoker.getUrl();
    7.        // export service.
    8.        //生成服务的key参考：link.elastic.dubbo.entity.DemoService:20880
    9.        String key = serviceKey(url);
    10.        //创建导出服务用的导出器DubboExporter
    11.        DubboExporter<T> exporter = new DubboExporter<T>(invoker, key, exporterMap);
    13.        //export a stub service for dispatching event
    14.        //stub配置校验
    15.        Boolean isStubSupportEvent = url.getParameter(STUB_EVENT_KEY, DEFAULT_STUB_EVENT);
    16.        Boolean isCallbackservice = url.getParameter(IS_CALLBACK_SERVICE, false);
    17.        if (isStubSupportEvent && !isCallbackservice) {
    18.            String stubServiceMethods = url.getParameter(STUB_EVENT_METHODS_KEY);
    19.            if (stubServiceMethods == null || stubServiceMethods.length() == 0) {
    20.                if (logger.isWarnEnabled()) {
    21.                    logger.warn(new IllegalStateException("consumer [" + url.getParameter(INTERFACE_KEY) +
    22.                            "], has set stubproxy support event ,but no stub methods founded."));
    23.                }
    25.            }
    26.        }
    27.     //创建服务开启服务端口
    28.        openServer(url);
    29.        //
    30.        optimizeSerialization(url);
    32.        return exporter;
    33.    }

    这里就到了RPC协议的TCP通信模块了，对应DubboProtocol 的 openServer(url);方法

    1. private void openServer(URL url) {
    2.        checkDestroyed();
    3.        // find server. 地址作为key这里是192.168.1.9:20880
    4.        String key = url.getAddress();
    5.        // client can export a service which only for server to invoke
    6.        //默认提供者开启服务，消费者是不能开启服务的
    7.        boolean isServer = url.getParameter(IS_SERVER_KEY, true);
    8.        if (isServer) {
    9.            //协议服务器 下面一个双重校验锁检查，如果为空则创建服务
    10.            ProtocolServer server = serverMap.get(key);
    11.            if (server == null) {
    12.                synchronized (this) {
    13.                    server = serverMap.get(key);
    14.                    if (server == null) {
    15.                        serverMap.put(key, createServer(url));
    16.                    }else {
    17.                        server.reset(url);
    18.                    }
    19.                }
    20.            } else {
    21.                // server supports reset, use together with override
    22.                server.reset(url);
    23.            }
    24.        }
    25.    }

    为当前地址创建协议服务对应方法如下：
    DubboProtocol的createServer方法

    1. private ProtocolServer createServer(URL url) {
    2.           //下面将url增加了心跳参数最终如下dubbo://192.168.1.9:20880/link.elastic.dubbo.entity.DemoService?anyhost=true&application=dubbo-demo-api-provider&background=false&bind.ip=192.168.1.9&bind.port=20880&channel.readonly.sent=true&codec=dubbo&deprecated=false&dubbo=2.0.2&dynamic=true&generic=false&heartbeat=60000&interface=link.elastic.dubbo.entity.DemoService&methods=sayHello,sayHelloAsync&pid=6700&release=3.0.8&service-name-mapping=true&side=provider&timestamp=1654225251112
    3.         url = URLBuilder.from(url)
    4.                 // send readonly event when server closes, it's enabled by default
    5.                 .addParameterIfAbsent(CHANNEL_READONLYEVENT_SENT_KEY, Boolean.TRUE.toString())
    6.                 // enable heartbeat by default
    7.                 .addParameterIfAbsent(HEARTBEAT_KEY, String.valueOf(DEFAULT_HEARTBEAT))
    8.                 .addParameter(CODEC_KEY, DubboCodec.NAME)
    9.                 .build();
    10.        //这里服务端使用的网络库这里是默认值netty
    11.         String str = url.getParameter(SERVER_KEY, DEFAULT_REMOTING_SERVER);
    13.         if (StringUtils.isNotEmpty(str) && !url.getOrDefaultFrameworkModel().getExtensionLoader(Transporter.class).hasExtension(str)) {
    14.             throw new RpcException("Unsupported server type: " + str + ", url: " + url);
    15.         }
    16.         //dubbo交换器层对象创建
    17.         ExchangeServer server;
    18.         try {
    19.             //这个方法会绑定端口，关于交换器与传输网络层到后面统一说
    20.             //这里通过绑定url和请求处理器来创建交换器对象
    21.             server = Exchangers.bind(url, requestHandler);
    22.         } catch (RemotingException e) {
    23.             throw new RpcException("Fail to start server(url: " + url + ") " + e.getMessage(), e);
    24.         }
    26.         str = url.getParameter(CLIENT_KEY);
    27.         if (StringUtils.isNotEmpty(str)) {
    28.             Set<String> supportedTypes = url.getOrDefaultFrameworkModel().getExtensionLoader(Transporter.class).getSupportedExtensions();
    29.             if (!supportedTypes.contains(str)) {
    30.                 throw new RpcException("Unsupported client type: " + str);
    31.             }
    32.         }
    34.         DubboProtocolServer protocolServer = new DubboProtocolServer(server);
    35.         //关闭等待时长默认为10秒
    36.         loadServerProperties(protocolServer);
    37.     }

    16.9 向注册中心注册服务register

    这个细节在下个博客中说涉及到Dubbo3的双注册

    查看更多原文,技术咨询与支持,可以扫描微信公众号进行回复咨询
    在这里插入图片描述