连百年梗图都整明白了,微软多模态「宇宙」搞定 IQ 测试,仅 16 亿参数
微软亚研院发布了仅 16 亿参数的多模态大型语言模型 KOSMOS-1,不仅能看图回答,还搞定了瑞文智商测试。
大模型的卷,已经不睡觉都赶不上进度了......
这不,微软亚研院刚刚发布了一个多模态大型语言模型(MLLM)-- KOSMOS-1。
论文题目 Language Is Not All You Need,还得源于一句名言。
文中有这么一句话,「我语言的局限,就是我世界的局限。-- 奥地利哲学家 Ludwig Wittgenstein」
那么问题来了......
拿着图问 KOSMOS-1「是鸭还是兔」能搞明白吗?这张有 100 多年历史的梗图硬是把谷歌 AI 整不会了。
1899 年,美国心理学家 Joseph Jastrow 首次使用「鸭兔图」来表明感知不仅是人们所看到的,而且是一种心理活动。
现在,KOSMOS-1 便能将这种感知和语言模型相结合。
-图中是什么?
-像一只鸭子。
-如果不是鸭子,那是什么?
-看起来更像兔子。
-为什么?
-它有兔子的耳朵。
这么一问,KOSMOS-1 真有点像微软版的 ChatGPT 了。
不仅如此,Kosmos-1 还能理解图像、文本、带有文本的图像、OCR、图像说明、视觉 QA。
甚至 IQ 测试也不在话下。
「宇宙」无所不能
Kosmos 来源希腊一词 cosmos,有「宇宙」之意。
据论文介绍,最新 Kosmos-1 模型是一个多模态大型语言模型。
其主干是一个基于 Transformer 的因果语言模型,除了文本之外,其他模态,如视觉、音频都可以嵌入模型。
Transformer 解码器用作多模态输入的通用接口,因此它能感知一般模态,进行上下文学习,并遵循指令。
Kosmos-1 在语言和多模态任务上取得了令人印象深刻的表现,无需进行微调,其中包括带有文字指示的图像识别、视觉问答和多模态对话。
如下是 Kosmos-1 生成一些例子式样。
图片解释、图片问答、网页问题回答,简单数字公式,以及数字识别。
那么,Kosmos-1 是在哪些数据集上进行预训练的呢?
训练所用的数据库,包括文本语料库、图像-字幕对、图像和文本交叉数据集。
文本语料库取自 The Pile 和 Common Crawl(CC);
图像-字幕对的来源为 English LAION-2B、LAION-400M、COYO-700M 和 Conceptual Captions;
文本交叉数据集的来源是 Common Crawl snapshot。
数据库有了,接下来就是对模型进行预训练了。
MLLM 组件有 24 层、2,048 个隐藏维度、8,192 个 FFN 和 32 个注意力头头,产生了大约 1.3B 的参数。
为了保证优化的稳定性,采用 Magneto 初始化;为了更快地收敛,图像表示是从一个预先训练好的具有 1024 个特征维度的 CLIP ViT-L / 14 模型获取的。在训练过程中,图像被预处理成 224×224 分辨率,CLIP 模型的参数除了最后一层均被冻结。
KOSMOS-1 的参数总量约为 16 亿。
为了使 KOSMOS-1 更好地与指令保持一致,对其进行了只用语言的指令调整 [LHV+23, HSLS22],即用指令数据继续训练模型,该指令数据是仅有的语言数据,与训练语料库混合。
该调优过程是按照语言建模的方式进行的,选取的指令数据集为 Unnatural Instructions [HSLS22] 和 FLANv2 [LHV+23]。
结果显示,指令跟随能力的提高可以跨模式转移。
总之,MLLM 可以从跨模态迁移中获益,将知识从语言迁移到多模态,反之亦然;
5 大类 10 个任务,都拿捏了
一个模型好不好使,拿出来溜溜就知道了。
研究团队从多角度进行实验来评价 KOSMOS-1 的性能,包括 5 大类十项任务:
1 语言任务(语言理解、语言生成、无 OCR 的文本分类)
2 多模态转移(常识推理)
3 非语言推理(IQ 测试)
4 感知-语言任务(图像说明、视觉问答、网页问答)
5 视觉任务(零样本图像分类、带描述的零样本图像分类)
无 OCR 的文本分类
这是一种不依赖于光学字符识别(OCR)的专注于文本和图像的理解任务。
KOSMOS-1 对 HatefulMemes 和对 Rendered SST-2 测试集的准确率均高于优于其他模型。
而且 Flamingo 明确提供 OCR 文本到提示中,KOSMOS-1 并没有访问任何外部工具或资源,这展示了 KOSMOS-1 阅读和理解渲染的图像中的文本的内在能力。
IQ 测试
瑞文智力测试是评估非语言的最常用测试之一。
KOSMOS-1 在没有进行微调时准确率比随机选择提高了 5.3%,经过微调后则提高了 9.3%,表明其具有感知非语言环境中的抽象概念模式的能力。
这是首次有模型能够完成零样本 Raven 测试,证明了 MLLMs 通过将感知与语言模型结合起来进行零样本非言语推理的潜力。
图像说明
KOSMOS-1 在 COCO 和 Flickr30k 测试中的零样本性能均表现优秀,相比其他模型,其得分更高,但采用的参数量更小。
在少样本性能测试中,得分随着 k 值增大有所增加。
零样本图像分类
给定一个输入图像,并将该图像与提示 「The photo of the」连接起来。然后,输入模型以获得图像的类别名称。
通过在 ImageNet [DDS+09] 上评估该模型,在有约束和无约束的条件下,KOSMOS-1 的图像归类效果都明显优于 GIT [WYH+22],展现了完成视觉任务的强大能力。
常识推理
视觉常识推理任务要求模型理解现实世界中日常物体的属性,如颜色、大小和形状,这些任务是具有挑战性的,因为它们可能需要比文本中更多的关于物体属性的信息。
结果显示,KOSMOS-1 在尺寸和颜色方面的推理能力都明显好于 LLM 模型。这主要是因为 KOSMOS-1 具备多模态迁移能力,从而能够将视觉知识运用到语言任务中,而不必像 LLM 那样必须依靠文本知识和线索来推理。
对于微软 Kosmos-1,网友称赞道,未来 5 年,我可以看到一个高级机器人浏览网络,并仅通过视觉方式基于人类的文本输入来工作。真是有趣的时代。
参考资料:
https://arxiv.org/pdf/2302.14045.pdf
本文来自微信公众号:新智元 (ID:AI_era)
相关文章
- 25 周年纪念作,情怀拉满但诚意欠缺:《勇者斗恶龙 怪物仙境 3》
- 联想拯救者 Y700 2023 平板推送 ZUI 15.0.723 系统灰度测试:新增“USB 网络共享”,优化底部小白条
- Streacom 推出 SG10 高端被动散热机箱:可解热 600W,1300 美元
- 3D 角色扮演策略游戏《少女前线 2:追放》公测开启,安卓、iOS、PC 多端互通
- 新能源车市:价格战开局,价值战结束
- 雪天这样拍,照片更为味道
- Cybertruck:未来物种重新定义汽车
- 2022 年我国未成年网民规模突破 1.93 亿,普及率达 97.2%
- 上映 7 天,《名侦探柯南:黑铁的鱼影》内地票房破亿、豆瓣 6.6 分
- 小岛工作室推出《死亡搁浅》联名手机手柄,预计明年发售