内存疯狂换页！CPU 怒批 OS

本文来自微信公众号：编程技术宇宙 （ID：xuanyuancoding），作者：轩辕之风 O

内存访问瓶颈

我是 CPU 一号车间的阿 Q，前一阵子我们厂里发生了一件大喜事，老板拉到了一笔投资，准备扩大生产规模。

不过老板挺抠门的，拉到了投资也不给我们涨点工资，就知道让我们拼命干活，压榨我们的劳动力。

老板说了，投资的钱要用来添置设备，招聘新员工，咱们原来就有八个车间了，这一下直接 double，变成了十六个！我们的工资要是也能 double 就好了・・・

现在我们变成了一个 16 核的 CPU 啦！

原以为我们生产效率也能 double，没想到却遇到了新的问题。

我们 CPU 里面各个车间访问内存都要通过内存控制器和总线系统，有时候碰到几个车间都要访问内存，就得要竞争。

以前我们八个车间的时候竞争情况还不是很激烈，大家互相谦让一下也就罢了。现在变成了十六个车间都要过独木桥，这竞争一下就激烈了，尤其是我们这帮老员工基本不会让着新来的，为了此事经常发生不愉快。

内存访问出现了瓶颈，这性能自然是折损严重。

NUMA 架构

老板把这一切都看在眼里，私下里找了我、二号车间的虎子还有总线主任开了个小会。

"你们几个都是厂里的核心员工，对厂里目前的问题你们怎么看？"，老板问我们几个。

我和虎子互相瞅了瞅，都没说话。

这时总线主任开口了："老板，现在的问题是访问内存的路只有一条，大家都要来挤，难免会发生摩擦，影响工作性能。要想从根本解决问题，最好再建一条路"

"再建一条路，什么意思？"

"我建议把新扩建的那 8 个车间独立出去，建一个分厂。然后再把内存分一下，让两个厂各管理一部分。一来可以减少新老员工之间的矛盾，二来可以减少大家访问内存拥挤造成的资源浪费。再说了，万一以后继续扩大规模还可以继续用这个办法"，总线主任继续说到。

领导正低头思索，我倒是想到了一个问题："主任，要是我们一号核执行的线程要访问的内存页面不在我们厂管理的内存上，在他们分厂怎么办呢？"

"嗯，这样的话，两个厂之间需要通信，如果访问的内存不在自己管辖的范围，就要互相帮忙传递一下"

老板拍了下桌子："好主意！就这么办！"

第二天，老板召集 16 个车间的代表，总线主任，还有操作系统那边负责内存管理的代表小李，一起开了一个大会，会上正式通过了新的技术方案。

还给这项技术取了一个名字：NUMA（Non Uniform Memory Access），非一致性内存访问。

现有的 16 个车间拆分成两个 CPU 工厂，叫做两个 NUMA 节点（Node），每个节点直接连接一部分内存，两个节点之间有专门的的 inter-connect 通道。各节点直接访问自己管理的内存叫 Local Access，通过 inter-connect 通道访问其他分厂管理的内存叫做 Remote Access。很显然，前者的访问速度要比后者快得多，所以这也是这项技术名字的由来：非一致性内存访问。

新的组织架构调整过后，厂里的工作效率提升不少，矛盾摩擦也少了很多，又可以愉快的干活了。

操作系统支持

我们的组织架构调整了，操作系统那边可忙坏了。为了支持我们新的架构，操作系统不得不配合着做一些调整。

首先是缓存的问题，操作系统的进程 & 线程调度管理部门需要注意尽量不要跨 NUMA 节点进行调度线程，不能让一个线程一会儿在隔壁分厂运行，一会儿又在我们厂运行，这样建立的缓存就失效了。

还有就是内存亲和性的问题了，为了能得到更快的内存访问速度，操作系统的内存管理部门制定了一个内存分配策略，线程在哪个 NUMA 节点内执行，那就把内存分配到那个节点直接连接的内存中，避免跨节点的内存访问。

还别说，操作系统这么一优化调整，工作效率真是提升了不少呢。

然而好景不长，就因为这个调整，新的问题又双叒叕出现了~~~

MySQL 的问题

最近一段时间，发生了一件怪事，不知道怎么回事，我们分厂管辖的内存很快耗光了，但隔壁分厂管理的内存还有很多空间。

操作系统不去分配那边的内存页面，却让我们一个劲的把内存页面 swap 到硬盘上去，腾挪空间。我们花了大量时间在这上边，搞得我们业绩下滑，还比不上隔壁分厂那帮新人。

终于有一天，忍不了了，我伙同厂里几个老家伙，把操作系统内存管理部门的小李又叫来了。

"你们怎么回事，就不能分配隔壁二号节点分厂管辖的内存吗，明明还有那么多空间，却让我们忙个不停"，我有点生气。

小李满脸无辜的说到："不瞒你们各位，前几天有人来我们 Linux 帝国开设了一家新公司，叫 MySQL，这家伙是个吃内存大户啊，一上来就要吃掉几十 G，你们厂管辖的内存大半都被它给吃掉了"

虎子问到："这跟我们有什么关系，你别推卸责任啊"

"上次我来开会，你们不是搞了个什么 NUMA 架构吗，访问本地连接的内存要比访问远程内存快一些嘛，所以我们制定了内存亲和性策略嘛，线程在哪个 NUMA 节点执行，就把内存分配到哪个节点直接连接的内存，想着这样能提升性能嘛"，小李继续委屈的说到。

"那也不能死脑筋啊，访问远程内存虽然比不上访问本地内存快，那也比一个劲的把页面从内存和硬盘上换来换去的强啊，你真是好心办坏事！"

被我们这样一说，小李也意识到了这样做的问题，"我回去反馈一下大家的意见，调整一下我们的策略"

过了几天，操作系统那边上了新的内存分配策略，将内存均匀的分配到各个 NUMA 节点，我们再也不用坑次坑次的把数据从内存和硬盘之间搬来搬去了。

NUMA 虽好，可要是用得不好，只会徒增烦恼啊~