分享好友 资讯首页 频道列表

云原生 Etcd 系列之Quorum 和唱票那回事

2021-12-06 12:004490

 

政府采购

关于 Quorum 的两个维度

前几回说了那么多框架,设计思想的文章。今天分享一个很小的点,etcd 的 quorum 是怎么实现的?

Quorum 机制本质就是一个关于多数派的事情,这个多数派应用的有两个方面:

选举过程:获得多数节点投票的节点才能获胜,成为 Leader ; 运行过程:被多数节点 commit 的日志位置,这个才是被集群可靠记录的位置。被集群 commit 的日志才能被应用 apply ;

那么这里有两个小思考问题:

既然是选举过程,那怎么选举结果唱票的?

既然是运行过程,那集群的这些节点怎么确认集群的 commit 位置?

有选举自然有唱票

唱票是在选举流程中的一个步骤。还记得以前选班干部的时候,在黑板上写“正”字,谁得票多谁就获胜当选。

etcd 里面也有选举,也就是 Leader 的选举。Leader 获胜的依据是的票满足大多数,也就是满足 quorum 机制。

今天我们就来看看 etcd 的唱票是怎么做的?

很简单的思路,我们给每个参与选举的朋友计数,得票超过半数的,那么就胜出。

比如说 A,B,C,D,E 五个人竞选,那么得到 3 票的就可以胜出。

来看看 etcd 的唱票

选举属于 quorum 机制,代码位于 etcd/raft/quorum/ 下。quorum 的核心实现在 MajorityConfig 的结构体,其实就是个 map 的封装:

type MajorityConfig map[uint64]struct{} 

这个 map 的 key 是节点的 id,这里面包含了集群的节点,map 的 value 不重要,所用用的是 struct{} 类型。

思考个小问题:那既然 value 不 care ,那为什么不用 slice 结构?

其实就是为了查找的需求,map 的查找是常数级别,value 又用的 struct{} ,不占空间,一举两得。

// etcd/raft/quorum/majority.go func (c MajorityConfig) VoteResult(votes map[uint64]bool) VoteResult {     // 搞个长度为 2 的数组     ny := [2]int{}     // 遍历集群节点     for id := range c {         v, ok := votes[id]         if !ok {             // 暂时没投票的             missing++             continue         }         if v {             // 投票赞同的             ny[1]++         } else {             // 投票拒绝的             ny[0]++         }     }     q := len(c)/2 + 1     if ny[1] >= q {         // 选举成功:得票数超过半数,,比如 votes => [yes, yes, yes]         return VoteWon     }     if ny[1]+missing >= q {         // 未知情况:不确定成功,也不确定失败         return VotePending     }     // 选举失败     return VoteLost } 

唱票的实现很简单,就如下几个步骤:

遍历集群节点; 统计谁赞同了、谁拒绝了、谁还没投票; 唱票的结果有三种:成功,失败,待定; 赞同投票的超过半数( len(c)/2+1 ),则胜利;

这实现可太简单了,就是一个遍历投票结果,写“正”字,“正”字超过半数则胜出。

集群的节点怎么确认集群的 commit 位置?

集群内被多数节点 commit 的位置才是集群的 commit 点。也就是说这个也需要满足 quorum 。这个就有意思了。

关键步骤:排序,然后取中间的位置。

取的这个中间的位置就是满足 quorum 的 commit 。

// etcd/raft/quorum/majority.go func (c MajorityConfig) CommittedIndex(l AckedIndexer) Index {     // 遍历集群节点:取出每个节点的 commit     for id := range c {         if idx, ok := l.AckedIndex(id); ok {             srt[i] = uint64(idx)             i--         }     }     // 排个序     insertionSort(srt)      // 取中间,这个位置就是大多数 commit 的位置,属集群共识     pos := n - (n/2 + 1)     return Index(srt[pos]) } 

这个实现就很有意思了,捞出每个节点当前的 commit 位置,组成一个数组,然后给这个数组排个序,取中间的位置。这个位置就是集群的 commit 位置,也就是 apply 的位置。

先把集群每个节点的 commit 位置取出来,是这样的:

政府采购

后来排个序是这样的,黑色的节点 commit 位置则是集群的 commit 位置:

政府采购

总结

Quorum 机制是分布式系统中很重要的理论部分,这是一个关于多数派的机制。etcd 关于多数派有两个方面:Leader 选举和 raft 日志运行;

etcd 的唱票实现非常简单,就是一个计数“正”字的实现,用一个 map 记录集群的节点,投票计数超过多数则胜出;

etcd 确认集群 commit 位置则是先把每个节点的 commit 位置放在数组,然后排个序,然后取中间位置,这个位置就是集群的 commit 位置;

多数节点 commit 过的日志才是集群 commit 的位置,集群 commit 的日志才能 apply ,这个要记住喽;

集群 commit 位置将由 Leader 通过心跳或者日志复制的消息告诉其他节点;

反对 0
举报 0
收藏 0
打赏 0
评论 0
云安全日报220322:IBM云原生数据和AI平台发现执行任意代码漏洞,需要尽快升级
IBM Watson Knowledge Catalog in Cloud Pak for Data是美国IBM公司的一个云原生数据和AI平台。通过IBM Cloud Pak

0评论2022-03-22495

实现Kubernetes安全加固的六个建议
随着更多的组织开始拥抱云原生技术,Kubernetes已成为容器编排领域的行业标准。向 Kubernetes转变的

0评论2022-02-15432

Veeam张弘:云原生是沃土,数据保护不可缺
Veeam张弘:云原生是沃土,数据保护不可缺 作者:任新勃 【原创】 2021-09-28 15:19:59关键字: Veeam 数据保护 云原生那么云原生架构和应用发展过程中,数据保护方面主要面临那些挑战?面对数据安全等挑战,Veeam

0评论2021-10-14436

英方软件CTO周华: 云原生架构和应用不具备预防勒索软件攻击的能力
英方软件CTO周华: 云原生架构和应用不具备预防勒索软件攻击的能力 作者:任新勃 【原创】 2021-09-28 15:24:04关键字: CDP 英方软件 云原生近日,针对云原生的数据保护,IT采购网采访了英方软件CTO周华,他认为,云

0评论2021-10-14476

现代化应用需要一个怎样的云原生平台,来看看华为云的答卷!
现代化应用需要一个怎样的云原生平台,来看看华为云的答卷! 作者:任新勃 【原创】 2021-09-24 19:24:49关键字: 云原生 华为云那么云原生如何加速企业数字化转型,华为云原生2.0战略之后,又有哪些新的进展?华为云PaaS服

0评论2021-10-14436

戴尔科技:云原生应用的开发和交付需要新的云基础技术架构
戴尔科技:云原生应用的开发和交付需要新的云基础技术架构 作者:任新勃 【原创】 2021-09-28 15:31:25关键字: 云原生移动互联时代,企业业务上云已经成为趋势,但是企业在云化转型过程是“牵一发而动全身”, 那么企业云化转型面

0评论2021-10-14439

AWS存储日:云原生NetApp ONTAP上线AWS云
AWS存储日:云原生NetApp ONTAP上线AWS云 来源:IT采购网存储频道 2021-09-03 11:46:33关键字: NetApp ONTAP AWSNetApp ONTAP是一套主流的文件系统,企业可以用它来管理关键任务应

0评论2021-10-14397