Mistral 携微软引爆“小语言模型”风潮：代码能力完胜 GPT-4，成本仅有 1/3

小模型的风潮，最近愈来愈盛，Mistral 和微软分别有所动作。而网友实测发现，Mistral-medium 的代码能力竟然完胜了 GPT-4，而所花成本还不到三分之一。

最近，「小语言模型」忽然成为热点。本周一，刚刚完成 4.15 亿美元融资的法国 AI 初创公司 Mistral，发布了 Mixtral 8x7B 模型。

这个开源模型尽管尺寸不大，小到足以在一台内存 100GB 以上的电脑上运行，然而在某些基准测试中却能和 GPT-3.5 打平，因此迅速在开发者中赢得了一片称赞。

之所以叫 Mixtral 8x7B，是因为它结合了为处理特定任务而训练的各种较小模型，从而提高了运行效率。

这种「稀疏专家混合」模型并不容易实现，据说 OpenAI 在今年早些时候因为无法让 MoE 模型正常运行，而不得不放弃了模型的开发。

紧接着，就在第二天，微软又发布了全新版本的 Phi-2 小模型。

跟 Mistral 的 70 亿参数比，Phi-2 小到可以在手机上跑，只有 27 亿参数。相比之下，GPT-4 的参数达到了一万亿。

Phi-2 在精心挑选的数据集上进行了训练，数据集的质量足够高，因此即使手机的计算能力有限，也能确保模型生成准确的结果。

虽然还不清楚微软或其他软件制造商将如何使用小型模型，但最明显的好处，就是降低了大规模运行 AI 应用的成本，并且极大地拓宽了生成式 AI 技术的应用范围。

这是一件大事。

Mistral-medium 代码生成完胜 GPT-4

最近，Mistral-medium 已经开放内测。

有博主对比了开源的 Mistral-medium 和 GPT-4 的代码生成能力，结果显示，Mistral-medium 比 GPT-4 的代码能力更强，然而成本却只需 GPT-4 的 3 成！

总价来说就是：

1）Mistral 会始终完成工作，完成度很高；

2）不会在冗长的解释性输出上浪费 token；

3）提供的建议非常具体。

第一题，「编写用于生成斐波那契素数的 PyTorch 数据集的 cuda 优化代码」。

Mistral-Medium 生成的代码严肃、完整。

而 GPT-4 生成的代码，就差强人意了。

浪费了很多 token，却没有输出有用的信息。

然后，GPT-4 只给出了骨架代码，并没有具体的相关代码。

第二道题：「编写高效的 Python 代码，将大约 10 亿个大型 Apache HTTP 访问文件摄取到 SqlLite 数据库中，并使用它来生成对 sales.html 和 product.html 的访问直方图」。

Mistral 的输出非常精彩，虽然 log 不是 CSV 格式的，但修改起来很容易。

GPT-4 依旧拉跨。

此前，这位博主测试过多个代码生成模型，GPT-4 一直稳居第一。而现在，把它拉下宝座的强劲对手 Mistral-medium 终于出现了。虽然只发布了两个例子，但博主测试了多个问题，结果都差不多。

他建议：鉴于 Mistral-medium 在代码生成质量上有更好的体验，应该把它整合到各地的代码 copilot 中。

有人按照每 1000token 算出了输入和输出的成本，发现 Mistral-medium 比起 GPT-4 直接降低了 70%！

的确，节省了 70% 的 token 费用，可不是一件小事。甚至还可以通过不冗长的输出，来进一步节省成本。

参考资料：

• https://www.theinformation.com/articles/the-rise-of-small-language-models-and-reinforcement-learning

• https://twitter.com/deliprao/status/1734997263024329157