千家信息网

腾“云”驾“数”!天翼云 TeleDB for AnalyticDB 助力企业高效搭建数仓!

发表于:2025-01-27 作者:千家信息网编辑
千家信息网最后更新 2025年01月27日,随着智能时代的到来,全球在线数据量快速增长,企业希望从海量数据中获得有价值的信息,使得数据分析需求日益增长。然而,传统数据库,以及基于 Hadoop 架构的数据库产品难以满足企业快速增长的需求,业界急
千家信息网最后更新 2025年01月27日腾“云”驾“数”!天翼云 TeleDB for AnalyticDB 助力企业高效搭建数仓!

随着智能时代的到来,全球在线数据量快速增长,企业希望从海量数据中获得有价值的信息,使得数据分析需求日益增长。然而,传统数据库,以及基于 Hadoop 架构的数据库产品难以满足企业快速增长的需求,业界急需一款在性能、经济、安全可靠性方面都表现优秀的分析型数据库(数据仓库)。

针对市场需求,天翼云推出了新一代云原生分析型数据库 TeleDB for AnalyticDB(简称 TeleDB-ADB),为国内数据分析市场提供了一款新的解决方案。目前,TeleDB-ADB 已经在中国电信内部的数据分析、清单查询等生产场景实践应用,助力用户高效组织、存储和管理数据。

TeleDB-ADB 自上而下由三层独立的可扩展组件组成:元数据、计算集群和存储层,基于独立的可扩展组件设计,TeleDB-ADB 可处理超大规模数据的存储、管理和高并发、高性能的数据查询需求,各组件的功能如下:

元数据:基于分布式 KV 设计,负责处理和保存系统元数据,如表结构、索引、分区信息、数据类型等,可管理亿级以上数据库对象;

计算集群:采用 MPP Shared-Nothing 架构,允许多个用户通过不同的计算集群访问存储层的公共数据,并执行高性能的加载、查询等工作。因为计算层不存储用户数据和元数据,所以该组件是无状态的、可按需调配的;

存储层:基于云架构的对象存储系统,可存取大量各种结构化和半结构化数据,实现数据对全局计算集群共享,以及在不同集群的写入数据在其他集群立即可见,有效避免了多集群数据冗余存储、数据迁移带来的额外影响和资源消耗。

除上述组件外,TeleDB-ADB 还配有高效的集群管控,管控集群采用图形化配置,管理数据库提供包括运维管理、权限管理、监控告警、参数配置等能力,并通过 ETCD 提供的 Raft 一致性算法处理,解决了整个数据库分布式系统中关键配置的一致性问题。依托该设计方式,TeleDB-ADB 能够更好地支持复杂的数据分析任务,提高数据处理效率和准确性,以及可扩展性,使能用户按需创建、删除、伸缩计算集群。同时,集群间资源完全隔离,用户可采用不同配置、不同品牌、不同架构的硬件混合部署在私有云平台或物理服务器上。

TeleDB-ADB 聚焦"性能、成本、弹性、安全"四大核心要素,为用户提供海量数据分析以及处理复杂计算任务等服务。

性能卓越,业内领先

TeleDB-ADB 采用先进的分布式架构,能够轻松应对 PB 级海量数据,拥有近乎GB/s的数据导入速率。无论是结构化数据、半结构化数据还是非结构化数据,TeleDB-ADB 都能实现高效存储和查询。

在 TPC-DS(分析型数据库性能测试基准)的标准测试数据集下的 1~99 个查询 SQL 集中,TeleDB-ADB 比某知名数据库平均性能优秀约 5%(如下图)。

在某个混合数据仓库(后称数仓)大数据能力开放平台 CDAP 项目中,TeleDB-ADB 解决了用户在数据在线应用时遇到的复杂分析和高并发问题。该企业原有系统在面对复杂数据分析时,难以在合理的时间内给出结果,业务方不得不将一张大表拆分成数张小表,再进行数据分析、结果汇总和检查,而 TeleDB-ADB 则可在分钟级时间内产出正确结果。

比如,在该企业的多表关联查询的业务场景中,需要进行 42 张表的联接操作,其中主表包含 2400 万条数据,关联表数据量在 1000 万~4000 万之间,分析需求需要通过左连接方式进行关联,TeleDB-ADB 在 2 分钟左右就获取了正确结果,帮助用户迅速解决业务中各类复杂分析需求。

自动调配资源,实现降本增效

据多个用户的最佳实践显示,TeleDB-ADB 的投入比传统数仓节省约 1/3,给予用户极致的 TCO(总体拥有成本)。这是由于传统数仓需要基于计算和存储峰值准备资源,而企业的实际分析需求是波动的(如下图灰线所示),这意味着在某些时刻,这些数仓的计算和存储资源有可能被浪费。TeleDB-ADB 采用计算与存储完全解耦的优秀架构,在基于对象存储提供近乎无限的延展性和高弹性的同时,可自动扩缩容计算资源,在业务不需要的时候释放计算资源,需要的时候再添加,其 TCO 在不同时期是波动的(如下图红色模块所示)。

另外,TeleDB-ADB 的元数据系统,可保障数据全局可见,从而支持多个计算需求使用同一份数据进行计算,而不需要额外的副本。例如在大数据分析、多年历史分析和海量日志分析等需要存储和使用大量历史数据的场景中,元数据系统大大了提高存储资源利用率,以及数据的治理效率。

此外,TeleDB-ADB 基于 SQL:2003 标准,可提供完整的事务能力,兼容 PostgreSQL 和 Greenplum 协议语法,支持标准的 JDBC 和 ODBC 接口。这意味着 TeleDB-ADB 可与市场上大多数成熟的 BI 或 ETL 工具兼容,由此企业几乎可以无缝迁移到 TeleDB-ADB。

无限弹性,轻松应对海量数据

在面对企业打通部门数据墙、构建统一数据中台的需求时,TeleDB-ADB 可同时为众多部门和分支机构提供访问,让不同应用需求共享一个数据仓库系统。相对于传统数仓,TeleDB-ADB 具有更优秀的并发能力、扩展性能,以及更高的容量。

相较来说,传统数仓虽弹性可扩展,但其架构中的计算和存储是紧耦合的。在扩容涉及到数据的重分布时,数仓通常存储的数据量达 TB 或 PB 级别,完成一次数据重分布需要花费至少几个小时甚至更长时间。有些传统数仓在重分布期间也无法正常写入数据,这将对部分业务的正常运行造成影响。这也意味着大多数传统数仓仍然需要基于峰值准备资源。

而 TeleDB-ADB 可对计算和存储资源进行单独的扩缩容,使得数据库在扩展过程中仍能提供服务。它能够根据存储和计算资源的不足进行扩展,在实现分钟级扩展的同时保证二者互不影响。当没有计算任务时,TeleDB-ADB 还可在不影响数据持久性和可访问性的情况下释放计算资源,极大地提高了公司计算资源的使用效率。

安全为先,守护数据宝藏

TeleDB-ADB 作为分析型数据库,高度重视数据安全能力打造,通过了国家等保三级备案和密评检查,提供多重身份认证、强制访问控制、数据加密、安全审计等多种安全特性,以及精确到行、列级的权限,有效保障用户的安全和隐私。

TeleDB-ADB 具备高可用性和容灾备份能力,支持跨地域的多地多中心部署架构,即使在极端情况下,依托故障自愈能力和数据强一致性,也能保障用户数据的完整性和数据安全。

总体来说,TeleDB-ADB 依托先进的架构,具备强大的数据处理能力、灵活的可扩展性、可靠的安全性以及完善的用户服务体系,并在实践中积累了丰富的落地经验。对于希望提升数据处理效率、降低成本并获得更多商业洞察的企业来说,通过 TeleDB-ADB,企业可以更好地挖掘数据价值,为业务决策提供有力支持。

数据 存储 分析 用户 资源 数据库 集群 需求 企业 安全 架构 数据分析 能力 不同 传统 系统 业务 性能 结构 处理 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 阿里云dms数据库登录 笔记本泰拉瑞亚开不了服务器 软件开发人员标语 网络安全进校园手抄报怎么画 第五人格第三方服务器收费吗 中国网络安全校园启动仪式 数据库英文词汇 厦门云控软件开发商 南通优途网络技术 大华ddns服务器 汉中市网络安全政策 云服务器数据库密码忘记 数据服务器不能连接 服务器无法设置管理员 南京铁道网络安全知识竞赛答案 河北计算机软件开发哪家好 邵阳长沙会员管理系统软件开发 bilibili服务器支持云原神么 网络安全专业可以从事的行业 在数据库中插入图片的代码 企业网络技术培训方案 济南编程软件开发机构 铸淘网络技术服务有限公司 重庆嵌入式软件开发流程 四川成都市网络安全演练 软件开发领导总让换项目组 秀山网络安全审计系统咨询 云服务器可以下电脑游戏吗 弥渡县网络安全保卫大队队长 龙江人社app注册显示服务器
0