Meta 开源多感官人工智能模型,整合文本、音频、视觉等六类数据
CTOnews.com 5 月 9 日消息,Meta 公司发布了一个新的开源人工智能模型 ImageBind,该模型能够将多种数据流,包括文本、音频、视觉数据、温度和运动读数等整合在一起。该模型目前只是一个研究项目,还没有直接的消费者或实际应用,但它展示了未来生成式人工智能系统的可能性,这些系统能够创造出沉浸式、多感官的体验。同时,该模型也表明了 Meta 公司在人工智能研究领域的开放态度,而其竞争对手如 OpenAI 和谷歌则变得越来越封闭。
该研究的核心概念是将多种类型的数据整合到一个多维索引(或用人工智能术语来说,"嵌入空间")中。这个概念可能有些抽象,但它正是近期生成式人工智能热潮的基础。例如,人工智能图像生成器,如 DALL-E、Stable Diffusion 和 Midjourney 等,都依赖于在训练阶段将文本和图像联系在一起的系统。它们在寻找视觉数据中的模式的同时,将这些信息与图像的描述相连。这就是为什么这些系统能够根据用户的文本输入生成图片。同样的道理也适用于许多能够以同样方式生成视频或音频的人工智能工具。
Meta 公司称,其模型 ImageBind 是第一个将六种类型的数据整合到一个嵌入空间中的模型。这六种类型的数据包括:视觉(包括图像和视频);热力(红外图像);文本;音频;深度信息;以及最有趣的一种 -- 由惯性测量单元(IMU)产生的运动读数。(IMU 存在于手机和智能手表中,用于执行各种任务,从手机从横屏切换到竖屏,到区分不同类型的运动。)
未来的人工智能系统将能够像当前针对文本输入的系统一样,交叉引用这些数据。例如,想象一下一个未来的虚拟现实设备,它不仅能够生成音频和视觉输入,还能够生成你所处的环境和物理站台的运动。你可以要求它模拟一次漫长的海上旅行,它不仅会让你置身于一艘船上,并且有海浪的声音作为背景,还会让你感受到甲板在脚下摇晃和海风吹拂。
Meta 公司在博客文章中指出,未来的模型还可以添加其他感官输入流,包括"触觉、语音、气味和大脑功能磁共振成像信号"。该公司还声称,这项研究"让机器更接近于人类同时、全面、直接地从多种不同的信息形式中学习的能力。"
当然,这很多都是基于预测的,而且很可能这项研究的直接应用会非常有限。例如,去年,Meta 公司展示了一个人工智能模型,能够根据文本描述生成短而模糊的视频。像 ImageBind 这样的研究显示了未来版本的系统如何能够整合其他数据流,例如生成与视频输出匹配的音频。
对于行业观察者来说,这项研究也很有趣,因为CTOnews.com注意到 Meta 公司是开源了底层模型的,这在人工智能领域是一个越来越受到关注的做法。
- 上一篇
通用汽车宣布淘汰 CarPlay 后,挖来苹果前 iCloud 高管担任软件业务执行副总裁
CTOnews.com 5 月 9 日消息,通用汽车公司今日宣布,已聘请 Mike Abbott 管理其软件团队。Mike Abbott 此前在苹果公司担任 iCloud 云服务工程副总裁长达五年。A
- 下一篇
【评测室】TCL Q10H 深度体验:2304 分区 + XDR 3000 尼特,让 Mini LED 电视疯狂卷起来
如今你要选择一台 Mini LED 电视,是一定绕不开 TCL 这个品牌的。来自第三方数据显示,在 Mini LED 电视市场,TCL 的市占率竟然高达 56.4%,换句话说,平均每卖出两台 Mini
相关文章
- 25 周年纪念作,情怀拉满但诚意欠缺:《勇者斗恶龙 怪物仙境 3》
- 联想拯救者 Y700 2023 平板推送 ZUI 15.0.723 系统灰度测试:新增“USB 网络共享”,优化底部小白条
- Streacom 推出 SG10 高端被动散热机箱:可解热 600W,1300 美元
- 3D 角色扮演策略游戏《少女前线 2:追放》公测开启,安卓、iOS、PC 多端互通
- 新能源车市:价格战开局,价值战结束
- 雪天这样拍,照片更为味道
- Cybertruck:未来物种重新定义汽车
- 2022 年我国未成年网民规模突破 1.93 亿,普及率达 97.2%
- 上映 7 天,《名侦探柯南:黑铁的鱼影》内地票房破亿、豆瓣 6.6 分
- 小岛工作室推出《死亡搁浅》联名手机手柄,预计明年发售