分布式系统设计模式的分割日志原理是什么
发表于:2024-09-22 作者:千家信息网编辑
千家信息网最后更新 2024年09月22日,本篇内容介绍了"分布式系统设计模式的分割日志原理是什么"的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!
千家信息网最后更新 2024年09月22日分布式系统设计模式的分割日志原理是什么
本篇内容介绍了"分布式系统设计模式的分割日志原理是什么"的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!
分割日志(Segmented Log)
将大文件切分为更容易处理的多个更小的文件。
问题背景
单一的日志文件可能会增长到很大,并且在程序启动时读取从而成为性能瓶颈。老的日志需要定时清理,但是对于一个大文件进行清理操作很费劲。
解决方案
将单一日志切分为多个,日志在达到一定大小时,会切换到新文件继续写。
//写入日志public Long writeEntry(WALEntry entry) { //判断是否需要另起新文件 maybeRoll(); //写入文件 return openSegment.writeEntry(entry);}private void maybeRoll() { //如果当前文件大小超过最大日志文件大小 if (openSegment. size() >= config.getMaxLogSize()) { //强制刷盘 openSegment.flush(); //存入保存好的排序好的老日志文件列表 sortedSavedSegments.add(openSegment); //获取文件最后一个日志id long lastId = openSegment.getLastLogEntryId(); //根据日志id,另起一个新文件,打开 openSegment = WALSegment.open(lastId, config.getWalDir()); }}
如果日志做了切分,那么需要快速以某个日志位置(或者日志序列号)定位到某个文件的机制。可以通过两种方式实现:
每一个日志切分文件的名称都是包含特定开头以及日志位置偏移量(或者日志序列号)
每一个日志序列号包含文件名称以及 transaction 偏移。
//创建文件名称public static String createFileName(Long startIndex) { //特定日志前缀_起始位置_日志后缀 return logPrefix + "_" + startIndex + "_" + logSuffix;}//从文件名称中提取日志偏移量public static Long getBaseOffsetFromFileName(String fileName) { String[] nameAndSuffix = fileName.split(logSuffix); String[] prefixAndOffset = nameAndSuffix[0].split("_"); if (prefixAndOffset[0].equals(logPrefix)) return Long.parseLong(prefixAndOffset[1]); return -1l;}
在文件名包含这种信息之后,读操作就分为两步:
给定一个偏移(或者 transaction id),获取到大于这个偏移日志所在文件
从文件中读取所有大于这个偏移的日志
//给定偏移量,读取所有日志public ListreadFrom(Long startIndex) { List segments = getAllSegmentsContainingLogGreaterThan(startIndex); return readWalEntriesFrom(startIndex, segments);}//给定偏移量,获取所有包含大于这个偏移量的日志文件private List getAllSegmentsContainingLogGreaterThan(Long startIndex) { List segments = new ArrayList<>(); //Start from the last segment to the first segment with starting offset less than startIndex //This will get all the segments which have log entries more than the startIndex for (int i = sortedSavedSegments.size() - 1; i >= 0; i--) { WALSegment walSegment = sortedSavedSegments.get(i); segments.add(walSegment); if (walSegment.getBaseOffset() <= startIndex) { break; // break for the first segment with baseoffset less than startIndex } } if (openSegment.getBaseOffset() <= startIndex) { segments.add(openSegment); } return segments;}
"分布式系统设计模式的分割日志原理是什么"的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注网站,小编将为大家输出更多高质量的实用文章!
日志
文件
偏移
位置
名称
大小
序列
序列号
分布式
原理
模式
系统
设计模式
设计
内容
多个
文件名
更多
知识
实用
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
英雄联盟现在哪个服务器人多
博源软件开发
5g网络技术示意图
his数据库数据怎么修改
服务器有哪些安全控制选项
数据库中窗体与表的关系
临海软件开发图片
2003配置web服务器
盛久网络技术有限公司
网络安全监测工作原理
网络安全宣传周公益动画
广东江门网络安全宣传
ppt 粘贴链接数据库
数据库更新和删除哪个快
松江区智能化软件开发优势
软件开发工程师工作特点
我的世界服务器创造生存怎么弄
设立软件开发公司
浙江发展软件开发行业标准
儿童网络安全宣传标语
三门峡app软件开发公司
数据缓存服务器
菲律宾服务器优点
沈阳导航软件开发
饥荒连接不上科雷服务器怎么办
中国网络安全行业的三座高峰
一梦江湖挂锁需要一个服务器吗
网络安全专题教育心得
数据库比对工具类
mysql数据库分布式部署