效果可达 OpenAI 同等模型 96%,国产开源 AI 语言模型 TigerBot 发布
发表于:2024-09-21 作者:千家信息网编辑
千家信息网最后更新 2024年09月21日,IT 之家 6 月 8 日消息,国产多模态大语言模型 TigerBot 近日正式发布,包含 70 亿参数和 1800 亿参数两个版本,目前已经在 GitHub 开源。▲ 图源 TigerBot 的 G
千家信息网最后更新 2024年09月21日效果可达 OpenAI 同等模型 96%,国产开源 AI 语言模型 TigerBot 发布▲ 图源 TigerBot 的 GitHub 页面 ▲ 图源 TigerBot 的 GitHub 页面
IT 之家 6 月 8 日消息,国产多模态大语言模型 TigerBot 近日正式发布,包含 70 亿参数和 1800 亿参数两个版本,目前已经在 GitHub 开源。
据悉,TigerBot 带来的创新主要在于:
提出指令完成监督微调的创新算法提升模型可学习性
运用 ensemble 和 probabilistic modeling 的方法实现可控事实性和创造性
在并行训练上突破 deep-speed 等主流框架中的内存和通信问题
此外,该模型还针对中文语言更不规则的分布,从 tokenizer 到训练算法上做了更适合的优化。
研究人员陈烨在虎博科技官网表示:"该模型在只使用少量参数的情况下,就能快速理解人类提出了哪类问题。根据 OpenAI InstructGPT 论文在公开 NLP 数据集上的自动评测,TigerBot-7B 已达到 OpenAI 同样大小模型的综合表现的 96%。"
据称,其中 TigerBot-7B-base 的表现"优于 OpenAI 同等可比模型" ,开源代码包括基本训练和推理代码,双卡推理 180B 模型的量化和推理代码。数据包括 100G 预训练数据,监督微调 1G 或 100 万条数据。
CTOnews.com小伙伴们可以在这里找到 GitHub 的开源项目。
模型
数据
训练
代码
参数
推理
语言
算法
问题
页面
监督
国产
不规则
万条
两个
主流
之家
事实
事实性
人员
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
点歌机数据库校验失败请重新下载
网络安全知识心得200字
怎样拆词从数据库查询
免费代理服务器的地址
战地1新手怎么选择服务器
解读网络安全教育法
荆门靠谱的软件开发价格
联通免流服务器搭建
网络安全问题投诉电话
软件开发项目风险的影响
路由设置虚拟服务器
如何给残疾人讲网络安全
互联网时代的网络安全论文
培训机构网络技术教学
漯河市网络安全感满意度
编目数据库的作用
数据库建立时间索引
ehviewer服务器在乌克兰
世界最好的网络安全公司
刷新网页提示数据库注入
金融机构数据库移植
vps服务器搭建博客
电脑中的服务器管理在
河南诚信积分管理软件开发电话
关于互联网科技的动漫
网络安全法规定的个人信息保存
怎样外包软件开发
lol通用服务器
网络技术参数
软件开发者有监管义务
相关文章
- 25 周年纪念作,情怀拉满但诚意欠缺:《勇者斗恶龙 怪物仙境 3》
- 联想拯救者 Y700 2023 平板推送 ZUI 15.0.723 系统灰度测试:新增“USB 网络共享”,优化底部小白条
- Streacom 推出 SG10 高端被动散热机箱:可解热 600W,1300 美元
- 3D 角色扮演策略游戏《少女前线 2:追放》公测开启,安卓、iOS、PC 多端互通
- 新能源车市:价格战开局,价值战结束
- 雪天这样拍,照片更为味道
- Cybertruck:未来物种重新定义汽车
- 2022 年我国未成年网民规模突破 1.93 亿,普及率达 97.2%
- 上映 7 天,《名侦探柯南:黑铁的鱼影》内地票房破亿、豆瓣 6.6 分
- 小岛工作室推出《死亡搁浅》联名手机手柄,预计明年发售