千家信息网

Linux中MongoDB是怎么使用内存的

发表于:2024-12-13 作者:千家信息网编辑
千家信息网最后更新 2024年12月13日,这篇文章将为大家详细讲解有关Linux中MongoDB是怎么使用内存的,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。Linux如何管理内存在Linux里(别的系统也
千家信息网最后更新 2024年12月13日Linux中MongoDB是怎么使用内存的

这篇文章将为大家详细讲解有关Linux中MongoDB是怎么使用内存的,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。

  Linux如何管理内存

  在Linux里(别的系统也差不多),内存有物理内存和虚拟内存之说,物理内存是什么自然无需解释,虚拟内存实际是物理内存的抽象,多数情况下,出于方便性的考虑,程序访问的都是虚拟内存地址,然后操作系统会把它翻译成物理内存地址。

  很多人会把虚拟内存和Swap混为一谈,实际上Swap只是虚拟内存引申出的一种技术而已:操作系统一旦物理内存不足,为了腾出内存空间存放新内容,就会把当前物理内存中的内容放到交换分区里,稍后用到的时候再取回来,需要注意的是,Swap的使用可能会带来性能问题,偶尔为之无需紧张,糟糕的是物理内存和交换分区频繁的发生数据交换,这被称之为Swap颠簸,一旦发生这种情况,先要明确是什么原因造成的,如果是内存不足就好办了,加内存就可以解决,不过有的时候即使内存充足也可能会出现这种问题,比如MySQL就有可能出现这样的情况,解决方法是限制使用Swap:

  shell>sysctl-wvm.swappiness=0

  查看内存情况最常用的是free命令:

shell>free-m  totalusedfreesharedbufferscached  Mem:32101293772723023925880  -/+buffers/cache:325828842  Swap:204702047

  新手看到used一栏数值偏大,free一栏数值偏小,往往会认为内存要用光了。其实并非如此,之所以这样是因为每当我们操作文件的时候,Linux都会尽可能的把文件缓存到内存里,这样下次访问的时候,就可以直接从内存中取结果,所以cached一栏的数值非常的大,不过不用担心,这部分内存是可回收的,操作系统会按照LRU算法淘汰冷数据。除了cached,还有一个buffers,它和cached类似,也是可回收的,不过它的侧重点在于缓解不同设备的操作速度不一致造成的阻塞,这里就不多做解释了。

  知道了原理,我们就可以推算出系统可用的内存是free+buffers+cached:

  shell>echo"2723+239+25880"|bc-l

  28842

  至于系统实际使用的内存是used-buffers-cached:

  shell>echo"29377-239-25880"|bc-l

  3258

  除了free命令,还可以使用sar命令:

shell>sar-r  kbmemfreekbmemused%memusedkbbufferskbcached  32243922964773290.1924611626070160  31163242975580090.5224599226157372  29595202991260491.0024555626316396  27922483007987691.5124568026485672  27182603015386491.7324568426563540  shell>sar-W  pswpin/spswpout/s  0.000.00  0.000.00  0.000.00  0.000.00  0.000.00

  希望你没有被%memused吓到,如果不幸言中,请参考free命令的解释。

  Linux中MongoDB是如何使用内存

  目前,MongoDB使用的是内存映射存储引擎,它会把磁盘IO操作转换成内存操作,如果是读操作,内存中的数据起到缓存的作用,如果是写操作,内存还可以把随机的写操作转换成顺序的写操作,总之可以大幅度提升性能。MongoDB并不干涉内存管理工作,而是把这些工作留给操作系统的虚拟缓存管理器去处理,这样的好处是简化了MongoDB的工作,但坏处是你没有方法很方便的控制MongoDB占多大内存,事实上MongoDB会占用所有能用的内存,所以最好不要把别的服务和MongoDB放一起。

  有时候,即便MongoDB使用的是64位操作系统,也可能会遭遇臭名昭著的OOM问题,出现这种情况,多半是因为限制了虚拟内存的大小所致,可以这样查看当前值:

  shell>ulimit-a|grep'virtual'

  多数操作系统缺省都是把它设置成unlimited的,如果你的操作系统不是,可以这样修改:

  shell>ulimit-vunlimited

  不过要注意的是,ulimit的使用是有上下文的,最好放在MongoDB的启动脚本里。

  有时候,出于某些原因,你可能想释放掉MongoDB占用的内存,不过前面说了,内存管理工作是由虚拟内存管理器控制的,所以通常你只能通过重启服务来释放内存,你一定不齿于这样的方法,幸好可以使用MongoDB内置的closeAllDatabases命令达到目的:

  mongo>useadmin

  mongo>db.runCommand({closeAllDatabases:1})

  另外,通过调整内核参数drop_caches也可以释放缓存:

  shell>sysctl-wvm.drop_caches=1

  平时可以通过mongo命令行来监控MongoDB的内存使用情况,如下所示:

mongo>db.serverStatus().mem:  {  "resident":22346,  "virtual":1938524,  "mapped":962283  }

  还可以通过mongostat命令来监控MongoDB的内存使用情况,如下所示:

shell>mongostat  mappedvsizeresfaults  940g1893g21.9g0  940g1893g21.9g0  940g1893g21.9g0  940g1893g21.9g0  940g1893g21.9g0

  其中内存相关字段的含义是:

  mapped:映射到内存的数据大小

  visze:占用的虚拟内存大小

  res:实际使用的内存大小

  注:如果操作不能再内存中完成,结果faults列的数值不会是0,视大小可能有性能问题。

  在上面的结果中,vsize是mapped的两倍,而mapped等于数据文件的大小,所以说vsize是数据文件的两倍,之所以会这样,是因为本例中,MongoDB开启了journal,需要在内存里多映射一次数据文件,如果关闭journal,则vsize和mapped大致相当。

  如果想验证这一点,可以在开启或关闭journal后,通过pmap命令来观察文件映射情况:

  shell>pmap$(pidofmongod)

  到底MongoDB配备多大内存合适?宽泛点来说,多多益善,如果要确切点来说,这实际取决于你的数据及索引的大小,内存如果能够装下全部数据加索引是最佳情况,不过很多时候,数据都会比内存大,比如本文说涉及的MongoDB实例:

mongo>db.stats()  {  "dataSize":1004862191980,  "indexSize":1335929664  }

  本例中索引只有1G多,内存完全能装下,而数据文件则达到了1T,估计很难找到这么大内存,此时保证内存能装下热数据即可,至于热数据有多少,这就是个比例问题了,取决于具体的应用。如此一来内存大小就明确了:内存>索引+热数据。

关于"Linux中MongoDB是怎么使用内存的"这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。

内存 数据 系统 情况 命令 大小 操作系统 文件 物理 实际 时候 问题 管理 数值 缓存 工作 性能 方法 篇文章 索引 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 40岁如何继续从事软件开发 服务器是谁在管理员 数据库常见的几种约束 安卓怎么存储数据到数据库中 网易mc 服务器存档 离岸软件开发 事业单位网络安全类指什么 嘟嘟网络技术有限公司企业证书 永恒纪元天使服务器 php数据库导入mysql 茂名软件开发好吗 宿州爱淘网络技术有限公司怎么样 未来之役改不了服务器怎么回事 兴化自动化网络技术哪家好 服务器断电raid1无法识别 计算机与网络技术基础胡远萍 软件开发部门条例 学生网络安全监督工 厨艺视频软件开发 网络安全管理就业前景怎样 学习网络安全宣传内容 2台服务器如何实现并行计算 学习网络技术学什么专业 北京博霸网络技术有限公司 锋锐网络技术 软件开发有哪些大学课程 云主机就是云服务器吗 网络技术专业考大学还能改专业吗 苏州软件开发服务商 武汉哪些软件开发的公司比较好
0