Go 说话系统下的微效力框架选型：Dubbo-go

01 Go 微效力系统展开与选型

随着微效力技术的快速展开，其在各个范畴都组成了一系列究竟标准，在 Kubernetes 和容器技术加持下，云原生微效力已经成为了支流处置计划。而 Go 说话作为云原生范畴最受欢迎的开辟说话，正被越来越多的企业作为微效力开辟的首选说话，其中比力风行的包含 Go-micro、Go-zero、Dubbo-go 等。作为 Dubbo 微效力系统中多说话实现的一员，在 2022 年 Dubbo-go 以微效力领跑者的脚色积极拥抱云原生标准，探讨了 Proxyless Mesh 形状，配适宜配 Pixiu 云原生网关，组成了完善的 Dubbo-go 微效力生态矩阵。
以 Dubbo-go 为中心的微效力系统在多个著名企业中成功落地和理论，框架的稳定性在现实场景下经受住了考验。停止今年已有 60+ 家企业在我们的用户列表中挂号，其中较为典型案例请参考文章《小米电商 Apache Dubbo-go 微效力理论》。小米电商选用了 Dubbo-go + Nacos + sidecar + etcd + mirpc 为焦点的微效力系统，除了看中了 Dubbo-go 的互联互通和效力治理才能外，也认可 Dubbo-go 在微效力标的目标的沉淀和堆集。
02 Dubbo-go 简介

2.1 什么是 Dubbo-go

Apache Dubbo 是一款易用、高性能的 WEB 和 RPC 框架，同时为构建企业级微效力供给效力发现、流量治理、可不雅观察、认证鉴权等才能、工具与最好理论。Dubbo3 从设想上不绑定编程说话，社区目条件供了 Java、Go、Rust、Node.js 等多说话实现，在未来，我们计划为一切支流说话供给对等的微效力开辟体验。
Dubbo 框架作为国内最具影响力的开源微效力开辟框架之一，具有很是高的关注度和活跃度，在 GitHub 上具有 3.8 万+ stars。Dubbo 项目于 2017 年捐赠给 Apache 基金会，在履历了短短 15 个月孵化后顺遂结业，在 Apache 基金会打点的全数项目中关注度排名第三（前两名分袂是 echarts 和 superset），Dubbo-go 作为 Dubbo 多说话生态的重要一员，很好的兼容 Dubbo 生态的同时供给面向 Go 说话系统的微效力开辟体验。
Dubbo-go（项目地址 http://github.com/apache/dubbo-go）作为 Dubbo 多说话生态的重要组成部分，今朝完全兑现了 Dubbo3 架构的焦点才能，而且在云原生时代，凭仗 Go 说话无需重量级虚拟机、静态编译以及渣滓接管的特征，获得了普遍关注，其利用范围也慢慢扩大。从特征上来说，Dubbo-go 今朝支撑 HTTP/2、TCP、gRPC 协议通讯、效力发现、流量管控、设置打点、全链路追、可视化不雅观察等诸多新特征，Dubbo3 已是众多用户消耗情况首选的微效力框架（用户列表）；在生态建立方面，Dubbo-go 适配了包含 Zookeeper、Nacos、Sentinel、Zipkin、Kubernetes、Prometheus、云原生 API 网关项目 Dubbo-pixiu、异步收集库 Dubbo-getty、Hessian2 等生态项目。
2022 年 Dubbo-go 社区以生态互联、开辟者体验、稳定性为切入点，不竭优化系统架构，社区荣获多个开源奖项：

• Dubbo 生态被评为 2021 年中国 20 大最活跃社区之一
  
• Dubbo-go 入围 2021 年“科创中国”榜单。
  
• Dubbo-go 开源社区被 OSCHINA 评为“2022 年度 OSCHINA 良好开源技术团队”。
  

2.2 重要特征

通讯协议：遵守 Dubbo 焦点架构设想，Dubbo-go 在实现上不绑定通讯协议，今朝支撑 HTTP/2、TCP (Dubbo2)、JSONRPC、gRPC、HTTP 等多种通讯协议，开辟者可以按照利用处景灵敏的挑选通讯协议。
效力注册：支撑 Client-based 效力发现机制，支撑注册中心适配如 Nacos、Consul、Zookeeper 等。Dubbo3 的效力发现机制诞生于阿里巴巴超大范围微效力电商集群理论场景，其在性能、可伸缩性、易用性等方面的暗示大幅领先于业界大大都支流开源产物。
设置中心：Dubbo 设置中心可实现利用设置的远程托管，支撑设置变更的实时感知，今朝支撑 Nacos、Apollo（携程开源）、ZooKeeper 等作为设置中心。
负载平衡：Dubbo 供给了多种负载平衡战略，如随机负载平衡战略、分歧性哈希负载、基于权重的轮询、最小活跃度优先、自顺应负载平衡 P2C 等。
流量控制：Dubbo 的流量管控法则可以基于利用、效力、方式、参数等粒度精准的控制流量走向，基于此可灵敏的实现超不时候调剂、开启拜候日志、金丝雀公布、参数路由、同地区优先、按比例流量分发等。除此之外，经过接入 Hystrix、Sentinel 等，Dubbo-go 还支撑自顺应限流、限流熔断等。
散布式事务：支撑 Seata-golang 散布式事务框架，实现了 AT 形式和 TCC 形式散布式事务的挪用，AT 形式相较 TCC 形式对代码的入侵性更小、需要开辟的接口更少，但 AT 形式对事务操纵的数据持有全局锁，TCC 模子性能更好。
链路追踪：支撑基于 Jaeger、ZipKin 的链路追踪才能。
目标可视化：支撑利用 Prometheus 汇集框架目标和用户目标。
可扩大性：Dubbo-go 供给了灵敏的 extension 扩大机制，用户可随时按照本人的需求灵敏扩大效力发现、负载平衡、设置中心、流量管控法则、全链路追踪等中心件。
03 曩昔一年我们做了什么

3.1 文雅高低线

在微效力场景下，营业是以容器的形式对外供给效力，k8s 可以便当的对 Pod 停止转动升级，在旧版本被交换的时辰应当到达无损下线的结果，即容器不能被烧毁直到没有正在处置的哀告。假如其不能被正确切现，对于承载高流量的在线效力来说，在更新时代能够会致使大量的哀告报错，以致能够触发报警，其影响是宏大的。文雅高低线功用是 Dubbo-go 3.0 正式版本公布后的第一个严重增强，王晓伟同学（GitHub: @XiaoWeiKIN）奉献了全流程的文雅高低线才能。


Dubbo 典型的挪用流程如上图所示，这里面包括了效力供给者（Provider）、效力消耗者（Consumer）以及注册中心（Registry）三个关键组件，一个效力可以被挪用，首先需要供给者准备效力并对表面露端口（法式 0），然后供给者需要将挪用信息注册到注册中心中（法式 1），消耗者则会经过异步定阅的方式获得最新的供给者数据（法式 2），注册中心在有新数据后会自动推送给消耗者（法式 3），此时消耗者已经有本次挪用的全数信息了，最初消耗者发送挪用哀告（法式 4），这样就完成了全部挪用链路。
在单体利用中，上述逻辑很是了了和简单，可是在大范围微效力集群中，这个逻辑的每一个细节都需要被认真琢磨后，才能保证高低线的进程中挪用不出错。


文雅上线的目标是处置效力上线挪用报错的题目，首要针对微效力场景下的挪用依靠题目。在 Dubbo 生态中，Service 暗示一个效力，可以被表露并被其他效力挪用，Reference 暗示援用，可以简单的了解为下流效力。一个典型挪用机关如上图所示，该效力对表面露一个接口，同时援用了下流的 N 个效力。该效力在上线的时辰应当严酷遵守以下贱程，首先保证下流效力的援用被成功初始化，以后再初始化 Service 对表面露效力，最初再向注册中心注册效力。文雅上线相对来说逻辑比力简单，只需要严酷遵守初始化进程的依靠关系就能保证上线进程中效力可以被一般挪用。
文雅下线是文雅高低线的难点，触及到了信号监听、反注册、期待已有哀告完成挪用等逻辑。在需要烧毁容器的时辰，kubelet 会向容器发送 SIGTERM 信号，Dubbo-go 会进入文雅下线流程，此时容器并不会立即被烧毁。行将下线的供给者首先会履行反注册，即向注册中心中删除本人的信息，消耗者可以经过定阅获得这个信息，这个进程需要必定的时候。换句话说，在消耗者获得这个删除信息之前，流量还是有能够会流向该供给者，此时供给者应当拒绝这部分哀告。固然除了下线时代的新哀告外，还有残留的来自上游的哀告以及本人挪用下流的哀告，我们分袂为这两种情况设备一个计数器，当两个计数器都被清零时，可以以为该供给者是“清洁”的。Dubbo-go 的战略是拒绝新哀告，期待已放行的旧哀告。最初，烧毁协议并封闭监听，该容器就可以被安好的摘除。
在启动文雅高低线后，集群内无毛病哀告，成功率连结在100%。


3.2 新一代柔性效力

在客岁公布 Dubbo-go 3.0 版本的时辰，柔性效力初度作为一个重要特征被提出。时隔一年，我们带来了全新升级的新一代柔性效力，在新版本中我们将爬山算法交换为峰值干与算法，在经过屡次测试后新算法行为可控性更高、性能更良好，这部合作作由来自北京邮电大学的张业鹏同学（GitHub: @CoolIceV）奉献。
柔性效力是一种更智能的负载平衡算法。传统负载平衡算法大多是基于消耗者视角，它们配合的范围性是没法按照效力供给者确当前状态静态调剂分流战略，如 RR、hash 等算法。这些算法总是以尽能够公允的几率分派流量，但在理论中公允不即是负载平衡。
爬山算法是一种容量预估的算法，效力供给者需要将一些关键信息回传给消耗者，比如时延、哀告排队数目、预估容量等，消耗者利用 P2C 算法挑选一个负载最低的作为本次哀告的供给者。这些数据实效性要求很是高，假如这些数据是被动传递的，那末很难保证实效性，假如这些数据是被自动探测的，那末在一个大型集群下感知本钱很是高。基于上述题目，我们挑选了更可控的峰值干与算法。
消耗者部分中，我们利用了改良版的 P2C 算法，收集的目标包含哀告数（requests）、成功数（accepts）、哀告时延（rtt）。与原实现计分别歧的是，该版本采用了更公道的滑动窗口（SlidingWindowCounter）和指数移动均匀（EMA）两种带偶然序性的模块停止收集。
SlidingWindowCounter 会保存时长为统计周期 T 的数据，全部周期内的数据被朋分为多少个 Bucket，每个Bucket 保存计数时长内的数据，当前所处的 Bucket 会随着时候进步而向后移动。


EMA 操纵指数移动均匀算法停止平滑、减小发抖，适用于统计时延型的目标，计较公式：


以下为一个客户端哀告 3 个效力真个测试功效，3 个效力端设置分歧，分袂为 1 核 1GB、2 核 2GB、3 核 3GB。兰青色虚线代表初步利用上述负载平衡算法，可以看到开启前每个效力端接收到的哀告数几近不异，开启以后流量会按照供给者的规格停止智能分流。


供给者基于一个 AutoConcurrencyLimiter 组件限流，在哀告到达时会判定已承受的哀告能否跨越最大处置量，假如跨越了就会间接返回失利，限流致使的失利会影响负载平衡时的成功率，进而影响该实例被哀告的能够性。与常规限流组件分歧的是，该组件会按照采样情况自动调剂效力的最大处置量，不需要手动设置，而且增加了 CPU 负载作为启动开关，可以削减被毛病限流的数目。
该组件首要关注 QPS、无负载时延（NoLoadLatency）和最大并发量（maxConcurrency），同时有一个用户指定的超参数 exploreRatio，暗示探讨最大并发量的水平。更新法则是

• 利用总哀告数（包括未被采样的数据）计较 QPS，新 QPS 更大时候接交换，更小则利用指数移动均匀停止平滑处置。
  
• 利用采样数据计较均匀处置时延来预算 NoLoadLatency，均匀时延变小才会更新，并利用指数移动均匀停止平滑处置。
  
• 增加探讨因子启发式计较 maxConcurrency, 在采样时延或 QPS 在探讨答应的范围之内时会慢慢增大 exploreRatio，否则用指数移动均匀的方式停止平滑处置
  

最初可以供给给用户一个可以经过 cgroup v1 停止 CPU 限制，当当条件供者 CPU 负载太高的时辰，会无条件拒绝一切新哀告。CPU 限制是一种最坏情况下的兜底战略。
以下为 1 个客户端哀告一个效力真个测试功效，该测试随着时候推移，QPS 会慢慢增大，如蓝线所示。可以看到当CPU 负载（橙线）太高时，有哀告被限流（黄线），随后即使 QPS 再增大，CPU 负载、哀告成功数均已相对稳定。


3.3 Dubbo Mesh

今年 Dubbo Go 社区公布了 Dubbo Mesh [1] 架构的无缺实现，可以以 Proxyless Mesh 的形式加入 Istio 效力网格，开启了 Go 说话系统下的微效力新形状。
Istio 在架构层面分为控制平面（control plane）和数据平面（data plane），其中控制平面是一个名为 istiod 的进程，收集代理是 envoy 。Istiod 简体 Kubernetes 资本（resources）获得效力信息，比如 Service、Endpoint 等，将这些信息经过 xDS 协议发送给位于数据平面的 envoy。Envoy 作为一个自力代理进程以边车（sidecar）形式运转，该进程与营业进程配合加入同一个收集，劫持营业流量并转发到正确的位置。
效力网格可以屏障复杂的效力治理细节，让开辟者可以专注于营业实现。Istio 经过边车的形式实现了营业逻辑的无侵入性，下降了系统之间的耦合性，带来开辟便当的同时也引入了转发时延、额外资本消耗的题目。可是 Istio 作为云原生时代的标杆产物，其架构形式和思绪就有很是大的鉴戒意义，针对上述提到的 Proxy Mesh 的弊端，我们提出了一套基于 Dubbo-go 的 Proxyless Mesh 微效力治理形式。
Proxyless Mesh 是无代理效力网格，由 Google 提出后，多个开源产物在这个标的目标停止了探讨和理论。其焦点思绪是用 SDK 取代自力代理进程，SDK 作为数据平面接收来自控制平面的控制信息，负责效力之间的通讯和治理工作。
Dubbo-go 为了融入 Istio 系统，将扩大出来的注册发现流程停止了特别革新。除了复用 Istio 供给的 EDS、CDS 主机发现的才能之外，增加了接口名到主机名的映照，作为源数据注册在了控制平面上。客户端在倡议挪用前持有接口名，经过查询 istiod 上的元数据信息，拿到接口名到主机名到映照，转换为主机名；再经过 EDS、CDS 和路由，完成主机名到下流端点实例的转换。完效果力发现流程。
3.4 互联互通的新典型：Polaris 和 Dubbo-go 周全临接

Dubbo-go 从公布伊始，不竭很是重视与各个开源产物之间的互联互通，今年我们完成了与 Polaris 周全临接，这部合作作由社区邓正威同学（GitHub: @jasondeng1997）和春少同学（GitHub: @chuntaojun）奉献。
Polaris 是一款开源的效力治理平台，努力于处置散布式和微效力架构中的效力打点、流量打点、设置打点、故障容错和可不雅观察性题目，针对分歧的技术栈和情况供给效力治理的标准计划和最好理论。在典型 Dubbo-go 利用处景下，用户需要自行安插注册中心、可不雅观察效力、流量打点等组件，而 Polaris 内置了效力打点、流量打点、故障容错、设置打点和可不雅观察性五大功用，可以辅佐用户快速下降微效力开辟门坎
Polaris 有同一的控制平面，需要为 Dubbo-go 框架适配响应的数据平面 SDK，用户只需要在 Dubbo-go 中开启 Polaris，框架将自动经过 extension 机制停止注入，开辟者无需其他额外的开辟工作。从用户数据流的维度，当用户在 dubbogo 中启用 Polaris 的效力治理才能后，营业流量现实处置流程以下：


当前 Polaris 已实现了 Dubbo-go 原生的效力注册扩大点，因此原本效力注册逻辑不需要停止任何调剂，只需要在 dubbogo.yaml 设置文件中新增 polaris 协议的注册中心设置即可，以下所示
dubbo:
  registries:
    demo:
      protocol: polaris
      address: {polaris-ip}:8091其中 polaris-ip 暗示北极星效力端 IP 地址，此时 Dubbo-go 框架就接入了 Polaris 效力治理框架。Polaris 还供给了流量打点、故障容错等诸多内容，碍于篇幅限制这里就不逐一展开了，倘使有爱好请参阅 《互联互通的新典型：Polaris 和 Dubbo-go 周全临接》[2]。
3.5 TLS 安好通讯支撑

在今年我们为 Dubbo 协议、Triple 协议和 gRPC 协议实现了 TLS 安好通讯功用，微效力之间可以以可信的方式挪用，该部分由社区张立斌同学（GitHub: @ZLBer）奉献。
TLS 的前身是 SSL，被用于通讯加密，可以保证传输内容不被其他主机检察和篡改，已经被普遍的利用于 HTTPS 等技术中。在开启 TLS 之前，需要天生所需要的证书和秘钥，我们假定其保存在 x509 目录中。启用 TLS 不需要对营业逻辑停止点窜，只需要设备响应的 Dubbo-go 设置文件 dubbogo.yaml 即可。
消耗者设置文件：
dubbo:
  consumer:
    references:
      UserProvider:
        url: tri://localhost:20000
        protocol: tri
        serialization: json
        interface: com.apache.dubbogo.samples.rpc.extension.UserProvider
  tls_config:
      ca-cert-file: x509/server_ca_cert.pem
      tls-cert-file: x509/client2_cert.pem
      tls-key-file: x509/client2_key.pem
      tls-server-name: dubbogo.test.example.com供给者设置文件：
dubbo:
  protocols:
    triple:
      name: tri
      port: 20000
  provider:
    services:
      UserProvider:
        serialization: json
        interface: com.apache.dubbogo.samples.rpc.extension.UserProvider
  tls_config:
    ca-cert-file: x509/client_ca_cert.pem
    tls-cert-file: x509/server2_cert.pem
    tls-key-file: x509/server2_key.pem
    tls-server-name: dubbogo.test.example.com在正确开启 TLS 以后，供给者会输出一条 "Server initialized the TLSConfig configuration" 日志，消耗者会输出一条 "Client initialized the TLSConfig configuration" 日志。更具体的利用实例请参考 tls 示例 [3]。
04 展望 2023

2022 年是极不轻易的一年，感激大师的信赖，也很是感激社区中每位同学的奉献。展望 2023 我们将会延续打磨框架，在优先保障稳定性的条件下延续提升易用性，打造一流的 Go 说话微效力框架。
4.1 Dubbo 开源整体计划

• 官网与文档体验周全提升
  
• Go、Node.js、Rust 等多说话系统建立
  
• 周全提升整体可不雅观察性
  
• Dubbo Admin 一站式效力运维管控平台
  
• Dubbo Mesh 走向成熟
  
• 提升 HTTP 开辟体验，补全 Web 互通
  
• 打造 gRPC over Dubbo 最好理论
  
• 完善的认证鉴权系统
  

4.2 面向 Go 开辟者周全利用体验提升

Dubbo-go 根抵功用建立已经较为完善，同时在比来几年中我们延续在 dubbo-go-samples 目录完善示例代码 [4]，可以辅佐用户越发速速的上手项目。与此同时，Dubbo-go 文档内容还较为匮乏，代码示例只能让框架跑起来，可是这里面的利用和实现细节还需要在文档中进一步被具体论述，让用户知其然，更知其所以然。除了文档建立工作外，社区对开辟者工具的建立工作高度重视，在 2023 年，我们计划在 dubboctl 工具中集成更多号令，为用户供给快速建立微效力、支撑了 Hessian2 天生器、新建 Dubbo-go 项目等诸多特征。在 2023 年我们将会进一步提升文档和工具的建立工作，除了强大的功用之外，成为真正面向 Go 开辟者的轻量、易用的框架。
参考链接：
1、Dubbo-go-Mesh 开启新一代 Go 微效力形状
2、https://baijiahao.baidu.com/s?id=1751764790109427167&wfr=spider&for=pc
3、https://github.com/apache/dubbo-go-samples/tree/master/tls
4、https://github.com/apache/dubbo-go-samples
作者简介：牛学蔚（GitHub: @justxuewei）：Apache Dubbo PMC，对云原生、中心件、容器等范畴有浓厚爱好，活跃在 Dubbo 和 Kata containers 两个开源项目中。
原文链接
本文为阿里云原创内容，未经答应不得转载。

-----------------------------