OPPO 的安第斯大模型，让人眼前一亮

大模型的战火越来越旺，每个人都在看着这个行业的最新的变化。

如果科技圈有什么新闻占领头条，大概率又是大模型有新动态了。

这次 OPPO 带来的大模型思路，更是让大家提起了兴趣。11 月 16 日，2023 OPPO 开发者大会在上海世博中心举行，会上 OPPO 正式发布了自主训练的个性专属大模型与智能体 -- 安第斯大模型 (AndesGPT)。

发布会上，OPPO 提出如今是"技术驱动体验的时代"，认为大模型将全面革新智能终端交互体验，并朝这个方向不断为用户带来优质的体验。同时，在技术能力的加强方面，OPPO 将布局大模型前瞻技术，联合中国科技大学成立的智能计算联合实验室，已将大模型作为核心技术研究方向。同时，OPPO 还将开源智能体 (Agent) 框架，支持智能体的高效孵化、托管与应用。

以"端云协同"为基础架构设计思路，AndesGPT 推出从十亿至千亿以上多种不同参数规模的模型规格，能够基于"端云分工、端云互补、端云协作"等方式，灵活支撑多元化的应用场景。并且 AndesGPT 着重强调了"对话增强、个性专属、端云协同"三个层面的技术特性。可见，OPPO 在大模型赛道上已有一些自己的思路。

你好，大模型赛场的新玩家

这一系列的大动作的宣布，也再次印证了当下大模型的全面竞争时代。

发布会先从"智能体验"切入，强调"更有用、更专业、更专属"。比如，跟随 ColorOS 14 一起发布的全新小布，就内置了丰富的智能体，不同的智能体为用户提供不同的场景体验。

这个思路下，OPPO 给出了 AndesGPT 的目标: 为每个人打造有用的大模型及智能体，并且也将开源智能体框架，打造一站式的"智能体开发平台"。

据介绍，AndesGPT 有三大类规格：AndesGPT-Tiny、AndesGPT-Turbo 和 AndesGPT-Titan, 可涵盖十亿至千亿以上多种不同参数规模的模型规格，并根据不同场景智能调度。在 AndesGPT 的网络架构中，OPPO 也提出了两个组合创新:"RoPE 位置编码探索 base 最优值"-- 来极⼤提升上下⽂扩展能⼒, 还有"GQA 结合复杂移动窗⼝加速训练和推理"-- 来实现 O (Nd) 的线性复杂度。

AndesGPT 具备了⻓时记忆机制，可以⽀持⽆限⻓度的上下⽂。长时记忆主要包括用户交互过程中产生的交互历史、个人数据，以及从中提取的结构化信息等。为了解决长时记忆引入的首字推理时长的问题，OPPO ⾃研了名为 SwappedAttention 的机制。

这个机制有一定的领先性和原创性，相对 PagedAttention, 在 PagedAttention 基础上做了技术的演进和扩展。

比如在首字生成场景，需要对历史序列进行编码计算，当历史序列较长时，容易出现计算瓶颈，表现为首字计算耗时长，并发度低。SwappedAttention 可缓存历史 KV 值，大幅降低首字计算量。并使用 GPU 显存、主机内存、GDS 连接外部存储等多层级缓存方式，根据缓存时长、对话频率等策略进行分级存储与交换。

在实际应用中，如常见的"多轮对话场景"中，随着聊天轮次累积，Prompt 越来越长，每个 Query 的首字时耗越来越长。SwappedAttention 可以缓存历史 KV 值至多级缓存中，有效减少对话时首字推理时间，使得用户获得更快的系统响应。

在"FileChat 文档对话场景"中，SwappedAttention 可以读取历史计算好的 KV 值信息，避免长文本的 KV 值重计算，大量减少计算开销，缩短首字推理时间，并且可以提升首字计算的并发度；在非首字的推理过程中，SwappedAttention 可以动态压缩 KV 值，进一步降低显存占用，提升整体吞吐。

从这次干货满满的发布会可以看出，OPPO 做大模型有自己的思考，期望将大模型落到实处、并搭建一个人人可参与的大模型应用生态。大模型之难不仅在"算力、数据、算法"等，搭起来只是完成了一部分，更在如何落地于每个人的"个性化需求"和"便捷可用、可定制"，而智能体的开源便是 OPPO 找到的关键一环。

也许，OPPO 早早地看到了大模型应用生态不可替代的重要作用，才会以全局化的努力在 AndesGPT 正式发布的当下就明确提出这样一个长期主义的思路。这也将持续成为未来 OPPO 在大模型发展之路上的底层思考。

赋能 ColorOS 整体生态，现在来到 AndesGPT 时间

与本次一起发布的 ColorOS14 联系起来看，就会发现，AndesGPT 赋能整体 ColorOS ⽣态，为 OPPO 的整体科技化与智能化助力，也已是必然的路径选择。AndesGPT 作为驱动 OPPO 公司 AI 战略的核⼼引擎，全⾯赋能 OPPO 智慧终端只是时间问题。

AndesGPT 成为了一个理解 OPPO 当下也是未来的"关键词", 相信我们还会看到更多这个关键词的出现。