Aloudata推动数据编织(Data Fabric)在中国企业的落地应用
Gartner在2019年首次提出“数据编织”(Data Fabric)的推动概念,随后几年都把它列为数据和分析技术领域的数据重要趋势。了解过数据编织的编织朋友大致都知道数据编织是管理数据的架构和技术框架,但更具体的中国可以落地的内容可能知之甚少。
在Gartner今年发布的企业数据、分析和人工智能技术成熟度曲线中,落地Gartner将数据编织视为可在2-5年内落地的推动技术。Aloudata(大应科技)CMO 刘靓在最近的数据一次采访中表示,Aloudata对于国内数据编制落地的编织预期非常乐观。
Aloudata正在推动中国企业落地数据编织
日前,中国Aloudata正式发布了《数据编织价值评估指南》的企业白皮书,介绍了数据编织的落地价值主张、实现机制,推动以及如何进行实践落地并进行价值评估,数据用来帮助企业更好地理解并应用数据编织。编织
刘靓表示,在与大量客户交流中发现,企业普遍对数据编织这一理念关注度高,但苦于落地实践时经常面临诸多困惑,包括场景如何适配、价值如何评估等关键问题,而白皮书针对这些问题提供了更具针对性、实践性也更强的指南。
白皮书中提到,如今的数据管理领域面临诸多挑战,包括数据需求与链路复杂性的增长、合规与跨域以及云环境的多样性三大方面挑战。而数据编织被视为未来数据管理的核心解决方案,能够应对复杂的数据环境,更高效地管理和释放数据价值。
西卡中国BI和数据负责人袁莺作为特邀嘉宾出席了发布会,“我们拥有云上和云下的数据资源,这些数据跨越不同区域,并涉及数据安全与合规等问题。如果采用传统数据架构整合数据,将耗费大量成本和精力,也无法保证数据的时效性和可用性,难以有效支持业务的数据消费需求。”她强调,“采用数据编织能够将整个数据整合周期缩短 40%,并能适应快速变化的业务需求,实现数据整合与不断调整的并行处理。”
作为国内首个逻辑数据编织平台,Aloudata AIR 有三大核心价值
业界普遍将数据编织定义为一种数据架构理念,对其能力边界尚无明确标准。而Aloudata自研的国内首个逻辑数据编织平台Aloudata AIR则清晰定义了“零搬运、免运维、自治理”的价值主张,它可以解决数据开发过程中的效率、成本和复杂性问题。
与业界许多数据虚拟化方案多侧重在数据的集成与查询场景不同,Aloudata AIR将NoETL作为数据虚拟化技术的核心能力,强调其在数据集成、加工与服务全流程中的价值,也就是:无需事前搬运数据、无需事中运维ETL任务、无需事后计存治理。
“零搬运”是指Aloudata AIR通过数据虚拟化技术实现逻辑集成,秒级完成数据集成后,将跨源、跨引擎的数据用一种SQL语言实现统一查询访问。这使得数据在整个开发和使用过程中无需进行物理搬运,这种做法不仅避免了数据多次复制造成的存储和计算资源浪费,而且能更好地保证数据实时性。
“免运维”指的是无需事中运维ETL任务。ETL是数据开发的核心环节,但它的操作复杂,给开发者带来了沉重的负担。Aloudata通过查询加速与任务下推技术,在实现性能加速的同时自动化封装了复杂的ETL的任务开发和作业执行。逻辑数据集变更后,系统自动更新下游数据,无需繁琐的手动回刷数据。这一做法显著减少了人工干预和出错风险,使数据开发更敏捷。
“自治理”的核心就是平台自动感知和优化数据资源的使用。它不仅会根据需求生成物化表来提升查询速度,降低存储与计算成本。它还会实时监控数据消费状态,如果物化表一段时间没人用,系统会通过自动回收来避免资源浪费。这样不仅可以提升资源利用率和查询性能,还可以减少人力管理的成本。
逻辑数据编织平台 Aloudata AIR通过“零搬运、免运维、自治理”消除了传统数据开发中的瓶颈,让数据管理变得更加高效、敏捷,同时降低了运维成本和复杂性。这三大特点就是Aloudata落地数据编织架构的核心价值。
Aloudata提出了一套关于数据编织的价值评估框架
在经济下行、IT预算紧缩的背景下,很多企业都非常看重对投资回报率(ROI)的量化分析,希望能做出更明智的技术选型决策。为此,Aloudata在《数据编织价值实现评估指南》白皮书中,提出了业界首个针对数据编织技术的价值评估框架,从三个评估维度和两个关键指标入手,帮助企业衡量投入产出比。
Aloudata认为,要从提升数据交付效率、降低数据膨胀系数和减少数据管理成本三方面下手评估数据编织架构的价值。
所谓“数据交付效率”关注的是业务提出数据需求后,能多快得到结果,能否端到端地提升数据集成、整合到服务的交付效率,把数据需求的响应周期从周提升到天,实现数据交付10倍提效。
“数据膨胀系数”衡量了数据被多次重复拷贝的情况,关注那些能导致数据仓库资源迅速膨胀的问题,能否从机制设计上系统化地减少数据拷贝,节省存算资源,提升存算的有效性和经济性,至少节省30%的存算成本。
“数据管理成本”包括数据开发、运维和治理中的人力投入与资源消耗。减少这些成本在于通过简化系统技术概念,降低数据平台上手门槛和减少运维成本,并提升数据管理的自动化水平和逐步增强数据平台的“智驾”能力,至少节省70%的数据管理成本。
此外,白皮书指出,可以通过“当天需求满足率”和“当天数据动销率”两个关键指标进行量化评估,分别从业务需求响应和数据资源利用的视角评估数据编织的实际价值。
“当天需求满足率”指的是,业务团队提出的数据需求,能在当天得到满足的比例。这是站在业务方视角评估和感受数据平台能力和价值的唯一核心指标,也是数据产生业务价值的重要体现之一。“当天数据动销率”是指当天有更新的数据在当天或未来一段时间内的使用率。它体现了数据的利用效率和价值产出。如果数据长期未被使用,企业可以通过优化数据资产管理回收这些资源,降低存储和运维成本。
依托AloudataAIR,首创证券落地数据编织架构
首创证券是一家知名券商,数据团队规模并不大,在构建数据仓库时面临着人员短缺和Hadoop技术栈不熟悉的挑战。传统Hadoop数仓体系需要庞大的ETL开发团队和深厚的技术积累,而首创证券的数据团队希望能找到一种更加精益的架构方案。
经过认真评估,首创证券选择了Aloudata AIR逻辑数据编织平台。通过这一平台,他们构建了逻辑数仓,将多个业务系统的数据进行无缝连接。
具体而言,在ODS(数仓的操作数据存储)层,数据通过逻辑连接直接快速集成,无需物理搬运。在DWD(数仓的明细数据层)层,数仓沉淀了历史数据。这种分层架构不仅简化了数仓的结构,还实现了数据的按需加速与物化,提高了数据处理的灵活性和经济性。
此外,首创证券还使用了Aloudata CAN自动化指标平台,形成了从数仓数据沉淀到业务指标开发的完整自动化链路。Aloudata AIR负责逻辑编织和数据沉淀,而Aloudata CAN基于这些明细数据构建了业务语义模型与指标。这一组合让业务指标开发和分析需求变得更高效。
在实际应用中,首创证券的源头数据库多达100多个,包含数万张表。在传统架构下,这些数据的集成可能需要耗费大量时间和资源,需要处理成千上万的任务。而通过 Aloudata AIR,这些表在短短一天内便完成了集成。
更重要的是,真正沉淀到DWD层的物理表不到100张,极大降低了数据管理的复杂性。首创证券的报表查询效率也有了显著提升,一秒内响应率达到95%。这得益于DWD层的加速策略以及应用层的查询自动路由机制,确保了高效的查询执行。
综上,Aloudata AIR逻辑数据编织平台与 Aloudata CAN自动化指标平台的结合,为首创证券带来了全面的效率提升。无论是数据运营效率、查询性能,还是管理成本,首创证券的数据编织实践实现了质的飞跃,为中小型团队应对数据复杂性提供了优秀的参考案例。
- ·前NBA球星赌球案明天宣判!预计被处以3
- ·曼联资深员工去世,鲁尼晒旧照缅怀:您是一位传奇,是曼联的灵魂
- ·起亚高管:我们是全球第二大车企 不追求几百万台的销量
- ·小米SU7不慎冲下近30米陡坡翻滚撞树致报废:完好护住车里三人
- ·哈尔滨警方打击冰雪大世界“黄牛”破案21起抓获23人
- ·价格最低的一加平板官宣:12月26日亮相
- ·蔚来官宣上交大校友出任萤火虫总裁!出身汽车世家 GL8研发负责人
- ·价格最低的一加平板官宣:12月26日亮相
- ·[流言板]鹈鹕官方:特雷
- ·中兴罕见涨停 股价创近一年来新高 夺A股成交冠军
- ·造型科幻神似外星飞船!本田两款0系列原型车即将亮相CES 2025
- ·桑乔悼念已故曼联老员工:她总在我难过时让我开心,很感激遇到你
- ·现在想想,还好马龙里约东京都赢了,但凡输一场,不知道被踩成啥样
- ·消息称Epic下一款免费游戏就是《吸血鬼幸存者》
- ·锐龙7 9800X3D真实厚度仅仅40微米!93%都是填充物
- ·小米su7又出车祸了。
- ·[流言板]可惜!杜兰特三分5中0得到27分,就差一个三分达到30分
- ·风云再度突变!泰港2分钟2球扳平后再度落后,浙江仍面临出局!
- ·华为鸿蒙智行“四界”首度同框!问界、智界、享界、尊界终于集齐了
- ·[流言板]巴特勒成为史上首位砍下35+19+10+4抢断且0失误的球员
- ·这就是足球!巴萨球员纷纷倒地不起,马竞球员叠罗汉疯狂庆祝
- ·微信刷掌打通31省 10000多座中石油加油站都能用
- ·[流言板]半人半神!文斯
- ·玩家不满索尼或收购角川 担心ZZZQ污染多元化的角川
- ·[流言板]恐怖火力!灰熊背靠背2场得到287分,场均143.5分
- ·特斯拉上海工厂新动作:下月即将量产改款与6座版Model Y车型
- ·[流言板]C罗:曼联就像个水族馆,把鱼拿出来就变好,放回去又病了
- ·代工大厂联电:没有在美国设厂计划
- ·[流言板]爆发!布朗尼全场23中13,砍下30分3篮板2助攻1抢断1盖帽
- ·《最终幻想7》蒂法爱丽丝等新3D模型赏 靓装多引人注目
- ·[流言板]被罚离场!张宁全场出战34分钟,11中5得到10分5板1助攻
- ·37.82° 60米垂直落差!星纪元ET增程四驱成功冲顶全球最陡雪坡
- ·豆包视觉理解模型比同行便宜85%!抖音副总裁否认再掀大模型价格战传闻
- ·【翻译团】阿德亲笔:在贫民窟的每条小巷里,我都能看到父亲的身影
- ·[流言板]段冉:古德温和迪亚洛都是超级外援,山西队眼光真绝
- ·锐龙7 9800X3D真实厚度仅仅40微米!93%都是填充物