千家信息网

掌握分布式缓存负载均衡的规则处理方法及步骤

发表于:2025-02-02 作者:千家信息网编辑
千家信息网最后更新 2025年02月02日,下文给大家带来掌握分布式缓存负载均衡的规则处理方法及步骤,希望能够给大家在实际运用中带来一定的帮助,负载均衡涉及的东西比较多,理论也不多,网上有很多书籍,今天我们就用在行业内累计的经验来做一个解答。在
千家信息网最后更新 2025年02月02日掌握分布式缓存负载均衡的规则处理方法及步骤

下文给大家带来掌握分布式缓存负载均衡的规则处理方法及步骤,希望能够给大家在实际运用中带来一定的帮助,负载均衡涉及的东西比较多,理论也不多,网上有很多书籍,今天我们就用在行业内累计的经验做一个解答。

在大规模的缓存应用中,应运而生了分布式缓存系统。key-value如何均匀的分散到集群中?最常规的方式莫过于hash取模的方式。比如集群中可用机器适量为N,那么key值为K的的数据请求很简单的应该路由到hash(K) mod N对应的机器。但是在一些高速发展的web系统中,这样的解决方案仍有些缺陷。随着系统访问压力的增长,缓存系统不得不通过增加机器节点的方式提高集群的相应速度和数据承载量。增加机器意味着按照hash取模的方式,在增加机器节点的这一时刻,大量的缓存命不中,缓存数据需要重新建立,甚至是进行整体的缓存数据迁移,瞬间会给DB带来极高的系统负载,设置导致DB云服务器宕机。

如果不是缓存数据,而是持久化的数据,那么当扩容的时候,绝大部分数据都要迁移(取模的基数N变化了),这也是不能忍受的。

一致性哈希平衡负载

引入一致性哈希,解决以上增减机器导致负载瞬间整体增大问题

通过在整数范围内负责各区域的方式,节点负责区域的负载不会随着增减节点发生大规模的迁移

但是最简单的一致性哈希,在增减物理机的时候,似乎要增加一倍节点或减去一半节点才能保证各个节点的负载均衡

虚拟节点对一致性哈希的改进

对于一致性哈希的负载分布不平均问题,所以提出:虚拟节点对一致性哈希的改进

4个物理节点可以变成很多个虚拟节点,每个虚拟节点支持连续的哈希环上的一段。而这时如果加入一个物理节点,就会相应加入很多虚拟节点,这些新的虚拟节点是相对均匀地插入到整个哈希环上,这样,就可以很好的分担现有物理节点的压力了;如果减少一个物理节点,对应的很多虚拟节点就会失效,这样,就会有很多剩余的虚拟节点来承担之前虚拟节点的工作,但是对于物理节点来说,增加的负载相对是均衡的。

所以可以通过一个物理节点对应非常多的虚拟节点,并且同一个物理节点的虚拟节点尽量均匀分布的方式来解决增加或减少节点时负载不均衡的问题。

至于一个物理节点对应多少的虚拟节点才能达到比较好的均衡效果,有一个图

x轴表示的是需要为每台物理服务器扩展的虚拟节点倍数(scale),y轴是实际物理服务器数,可以看出,当物理服务器的数量很小时,需要更大的虚拟节点,反之则需要更少的节点,从图上可以看出,在物理服务器有10台时,差不多需要为每台服务器增加100~200个虚拟节点才能达到真正的负载均衡。

映射表与规则自定义计算方式

映射表示根据分库分表字段的值的查表法来确定数据源的方法,一般用于对热点数据的特殊处理,或者在一些场景下对不完全符合规律的规则进行补充。

可以通过自定义函数实现来计算最终的分库,举例来说,假设根据id取模分成了4个库,但是对于一些热点id,我们希望将其独立到另外的库,那么通过类似下面的表达式可以完成:

if (id in hotset) {
return nodes;
}
return hash(id);

看了以上关于掌握分布式缓存负载均衡的规则处理方法及步骤,如果大家还有什么地方需要了解的可以在行业资讯里查找自己感兴趣的或者找我们的专业技术工程师解答的,技术工程师在行业内拥有十几年的经验了。


节点 物理 数据 均衡 缓存 哈希 方式 一致 一致性 服务器 机器 服务 系统 规则 分布式 方法 处理 问题 集群 步骤 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 霜语和灰烬使者服务器 测试人员数据库笔试题及答案 上海聚宽科技网络技术有限公司 福建水性软件开发技术规范 传奇数据库物品代码 怎么查看时间戳服务器 软件开发c语言面试经验 网络安全小组组长 郑州专业软件开发定制 网络安全解决方案怎么写 dz论坛安装数据库没反应 绝地求生2为什么服务器只有一个 崩坏3的三个服务器有什么区别 能不能用网络技术把银行卡钱变多 青藤云网络安全交付师 十万用户的app服务器配置 软件开发需要考取什么证书 数据库中可以包含的对象类型 如何在万方数据库打印论文 石嘴山网络技术服务 数据库更改规则名称 直销软件开发找哪家 新基建网络安全公司 江西网络服务器机柜云主机 软件开发类别有哪些 互联网科技公司的国家政策 网络安全顺口溜60字 数据库可重复读举例 PCS7安装数据库 常青藤网络安全吗
0