,据国家知识产权局公告,太极计算机股份有限公司申请一项名为“一种基于异构技术的数据存储及处理方法“,公开号CN117251414A,申请日期为2023年11月。
专利摘要显示,本发明提供了一种基于异构技术的数据存储及处理方法,涉及数据存储技术领域,包括:将以同步工具、分布采集工具以及Kafka消息队列构成数据采集模块采集到的目标数据写入数据湖Hudi后再利用Flink、Spark组件进行离线计算处理;将离线处理结果传输至数据仓库生成离线数据报表;利用计算引擎Flink读取并对Kafka消息队列中的数据以及Mysql同步数据实时计算;使用Apache Druid作为数据查询引擎,以供用户查询离线数据、实时数据处理结果。通过采用多数据模式的存储、Flink流批一体数仓计算架构以及Hudi异构技术栈完成所有离线和实时业务统计,有效解决开发成本够高的问题以及提高了数据处理效率;通过使用Apache Druid作为数据查询引擎实现更高效的数据查询以及分析,而改善数据查询效率。
本文源自:金融界
作者:情报员
声明:本网转发此文,旨在为读者提供更多资讯信息,所渉内容不构成投资、建议消费。文章内容如有疑问,请与有关方核实,文章观点非本网站观点,仅供读者参考。
眼下,全国春播粮食近四成,各地推进农机农艺融合,加大良种推广力度...
,努比亚红魔27英寸电竞显示器4K版618活动直降500元,活动...
,《马力欧卡丁车巡回赛》游戏将于5月31日推出《Princess...
,据GPD消息,WINMax22023现已在京东开启预售,6月2...
感谢IT之家网友华南吴彦祖的线索投递!,联想今日推出小新Pro1...
近日,中国保险行业协会印发《关于做好2023年全国防灾减灾日有...