Amoro是一个构建在ApacheIceberg等开放数据湖表格之上的湖仓管理系统,提供了一套可插拔的数据自优化机制和管理服务,旨在为用户带来开箱即用的湖仓使用体验。01作者简介喻志强,浙江电信大数据中心平台组负责人,拥有超10年电信行业数据仓库和大数据建设实施经验。资深商业化MPP数据库Vertica以及开源MPP数据库StarRocksDBA。目前主要参与基于ApacheIceberg的湖仓一体方向架构以及开源MPP产品数据应用集市的建设实施。02Apache...
2023-12-25 22:45:10 2527浏览 0点赞 0回复 0收藏
作者简介谢怡,网易有道高级大数据开发工程师,目前主要参与实时计算和湖仓一体方向的研发王涛,网易资深平台开发工程师,主要从事大数据和湖仓平台建设业务背景有道的数据层架构可分为离线和实时两部分,离线计算主要采用Hive、Spark,采用批处理的方式定时调度。实时部分采用Flink+Doris(版本0.14.0)构建实时数仓,用于处理实时埋点日志、业务库变更数据。ODS层数据源为Kafka埋点日志、数据库业务数据,DWD、DWS层数据通过F...
2023-12-19 11:06:50 3434浏览 0点赞 0回复 0收藏
Amoro是一个构建在ApacheIceberg等开放数据湖表格之上的湖仓管理系统,提供了一套可插拔的数据自优化机制和管理服务,旨在为用户带来开箱即用的湖仓使用体验。Amoro开源社区在2023年8月10号发起了新版本的试用与贡献活动。试用活动旨在帮助用户更快地上手Amoro,同时也在试用过程中收集用户的使用场景,挖掘项目存在的优化改进内容和新的功能需求。贡献活动则希望更多的开发者更加深度地参与到Amoro的贡献中来,使得Amoro社区...
2023-12-05 15:12:16 1147浏览 0点赞 0回复 0收藏
Amoro是一个构建在ApacheIceberg等开放数据湖表格之上的湖仓管理系统,提供了一套可插拔的数据自优化机制和管理服务,旨在为用户带来开箱即用的湖仓使用体验。01作者简介白旭,来自思科WebEx数据平台的SoftwareEngineer,主要负责数据湖仓一体的研发与优化。02Amoro在WebexCiscoWebexproductsprovidecapabilitiesincludingonlinemeetings,teammessagingandfilesharing.Thesuiteisconsideredaleadingcollaborationplatformintheu...
2023-11-22 14:41:45 2592浏览 0点赞 0回复 0收藏