专注数字化转型基础软件研发,坚持“架构开放,内核开源”
私信
主帖 15
回帖 3
视频
提问
回答
资源 1
专栏
多点DMALL × Apache Kyuubi:构建统一SQL Proxy探索实践
原创 精华
头条 社区头条
热门内容榜 • TOP8
伴随着国家产业升级的推进和云原生技术成熟,多点DMALL大数据技术也经历了从存算一体到存算分离的架构调整变迁。本文将从引入Kyuubi实现统一SQLProxy的角度讲述这一探索实践的历程。多点DMALL成立于2015年,提供一站式全渠道数字零售解决方案DMALLOS,目前已与130+连锁零售企业、近1000家品牌达成合作,覆盖5个国家和地区。作为一站式全渠道数字零售解决方案服务商,多点DMALL通过数字化解构重构零售产业,提供端到端的商业SaaS...
3天前 1711浏览 8点赞 6回复 3收藏
业务背景创云融达是一家以海量数据的存管用为核心,以企业级私有云建设能力为基础,并提供数据资产和数据中台产品和解决方案的高新技术企业。近年来,为了优化人们纳税缴费的服务体验,各省市税务系统逐步构建了面向税务办事大厅的各种创新型智慧设备和智慧应用,如办税一体机,智慧税务大屏,语音辅助设备、以及业务流程辅助AI机器人等。极大便利人们税业务体验的同时也对IT集成和IT基础设施提出了更高的要求。创云融达承建了...
4天前 169浏览 1点赞 0回复 0收藏
网易传媒大数据实际业务中,存在着大量的准实时计算需求场景,业务方对于数据的实效性要求一般是分钟级;这种场景下,用传统的离线数仓方案不能满足用户在实效性方面的要求,而使用全链路的实时计算方案又会带来较高的资源占用。基于对开源数据湖方案的调研,我们注意到了网易数帆开源的基于ApacheIceberg构建的Arctic数据湖解决方案。Arctic能相对较好地支持与服务于流批混用的场景,其开放的叠加式架构,可以帮助我们非常平滑...
2022-11-09 10:32:09 2433浏览 7点赞 4回复 5收藏
01背景介绍近几年随着B站业务高速发展,数据量不断增加,离线计算集群规模从最初的两百台发展到目前近万台,从单机房发展到多机房架构。在离线计算引擎上目前我们主要使用Spark、Presto、Hive。架构图如下所示,我们的BI、ADHOC以及DQC服务都是通过自研的Dispatcher路由服务来实现统一SQL调度,Dispatcher会结合查询SQL语法特征、读HDFS量以及当前引擎的负载情况,动态地选择当前最佳计算引擎执行任务。如果用户SQL失败了会做引...
2022-10-27 17:42:57 1637浏览 1点赞 0回复 0收藏
Arctic 基于 Hive 的流批一体实践
原创 精华
头条 社区头条
背景随着大数据业务的发展,基于Hive的数仓体系逐渐难以满足日益增长的业务需求,一方面已有很大体量的用户,但是在实时性,功能性上严重缺失;另一方面Hudi,Iceberg这类系统在事务性,快照管理上带来巨大提升,但是对已经存在的Hive用户有较大的迁移成本,并且难以满足流式计算毫秒级延迟的需求。为了满足网易内外部客户对于流批一体业务的需求,网易数帆基于ApacheIceberg研发了新一代流式湖仓,相较于Hudi,Iceberg等传统湖...
2022-10-26 10:01:14 1868浏览 5点赞 5回复 4收藏
多租户可视化K8s管理平台KubeCube([https:kubecube.io](https:kubecube.io))近日迎来了新版本的发布,新版本增加了K8s版本转化、HNCGA版本适配、审计信息国际化、warden主动上报模式,为集群和项目设置Ingress域名后缀等特性,也修复了若干已知问题,详见[ChangeLog](https:github.comkubecubeioKubeCubeblobreleasev1.4docschangelog.md)。该版本中最主要的特性是VersionConversion能力的支持,使得接入KubeCube的用户无需感知...
2022-10-20 16:23:54 581浏览 1点赞 0回复 1收藏
基于 Kubernetes 的在/离线业务混部
原创 精华
头条 社区头条
本文章将结合网易数帆的工作实践,分享如何基于Kubernetes实现在离线业务的混合部署,在不影响在线业务的前提下,将CPU利用率提高到50%以上,大幅降低企业数据中心成本。1引言服务器资源利用率较低,IT基础设施的总拥有成本(TCO)逐年上涨,一直是困扰很多企业的难题。统计数据显示,数据中心成本中服务器采购成本占比超过50%,而全球服务器平均资源利用率不到20%,造成了巨大的IT基础设施成本浪费。而在网易集团内部,传媒、...
2022-10-17 15:04:18 3232浏览 4点赞 4回复 1收藏
在IstioCon2022上,网易数帆资深架构师方志恒从企业生产落地实践的视角分享了多年Istio实践经验,介绍了Istio数据模型,xDS和Istio推送的关系,网易数帆遇到的性能问题和优化的经验,以及一些相关的Tips。数据模型从推送的角度,Istio所做的事情,以做菜的过程类比,大致分为以下几个部分:首先是“备菜”。Istio会对接、转换、聚合各种服务注册中心,将不同的服务模型的数据统一转换为Istio内部的服务模型数据。早期的Istio实...
2022-10-14 15:34:33 642浏览 0点赞 0回复 0收藏
在云原生社区近日主办的ServiceMeshSummit2022服务网格峰会上,网易数帆云原生技术专家方志恒分享了轻舟服务网格无侵入增强Istio的经验,本文据此次分享整理,介绍了对无侵入和实现的思考,轻舟服务网格演进过程中的扩展增强,以及这些扩展增强和无侵入的关系。这里“无侵入”强调的是对服务网格基础设施本身的无侵入,而不是只有对业务的无侵入,后者是服务网格本身的定位所要考虑的内容。服务网格维护中的无侵入关于无侵入,...
2022-10-14 15:31:15 665浏览 0点赞 0回复 0收藏
本文将主要介绍NDHImpala的物化视图实现。​​​接上篇​​​,前两篇分别讲了执行引擎和虚拟数仓,它们是让一个SQL又快又好地执行的关键。但如果某些SQL过于复杂,比如多张大表进行Join并有大量的聚合类操作,那么再优秀的执行引擎也无法保证能够秒级执行完成,虚拟数仓的弹性扩展能力也很难及时跟上,这正是物化视图能够发挥作用的场景。1物化视图简介在计算机领域,物化视图是一个数据库对象,结构化保存了一个SQL查询的结果...
2022-10-12 15:51:46 1236浏览 4点赞 2回复 4收藏
本文是网易副总裁、网易杭州研究院执行院长、网易数帆总经理汪源在ArchSummit全球架构师峰会的演讲实录,分享对数据分析技术相关的趋势的观察和思考。文末附演讲PPT下载。当前在数据分析领域新的名词和新的方向是非常多的,所以有很多的客户比较困惑:有这么多的新方法、新趋势,我看得眼花缭乱,怎么办?我提炼出我认为最主要的三条主线,这些主线都是在发展过程中,当前并没有非常高的成熟度,但是我觉得是最值得关注的。数据...
2022-10-08 15:28:53 1671浏览 3点赞 0回复 2收藏
导读:今天分享的主题是《Kyuubi在小米大数据平台的应用实践》,主要分为四部分内容:Kyuubi在小米的落地过程打造易用和高可用的Kyuubi服务基于kyuubi的改进kyuubi的一些新特性在业务场景的应用01Kyuubi在小米的落地过程第一个主题:关于Kyuubi在小米的大数据平台落地过程和实施路径的分享。1\.背景介绍先介绍一下背景,小米的大数据体系在不断更新和迭代,随着业务架构、组织架构和技术架构的调整,内部大数据平台逐渐出现一些...
2022-09-02 15:27:38 2947浏览 1点赞 1回复 1收藏
本文主要介绍网易数帆NDH在Impala上实现的虚拟数仓特性,包括资源分组、水平扩展、混合分组和分时复用等功能,可以灵活配置集群资源、均衡节点负载、提高查询并发,并充分利用节点资源。对于高性能分析型数仓,除了需要有优秀的执行引擎能够让查询尽快完成外,还需避免因为查询间的相互干扰导致查询性能下降的问题,比如对计算和IO资源的竞争等。上节提到Impala可以通过资源池来进行计算资源的管理。但在使用时发现光有资源池还...
2022-08-22 10:31:13 3577浏览 4点赞 3回复 3收藏
本文根据作者于Arctic开源发布会演讲内容整理(略有删减),系统解读Arctic项目研发初衷、生态定位、核心特性、性能表现及未来规划。首先感谢大家参与我们Arctic开源发布会。我是马进,网易数帆实时计算和湖仓一体团队负责人。我们在2020年开始关注数据湖新的技术,并用它来构建流批一体、湖仓一体的架构。最早我们使用Flink+Iceberg,但是实践过程中发现这个架构距离生产场景还有很大的gap,所以有了Arctic项目(github.comNet...
2022-08-18 15:51:55 3829浏览 5点赞 4回复 2收藏
盘点行业内近期发生的大事,Delta2.0的开源是最让人津津乐道的,尤其在Databricks官宣delta2.0时抛出了下面这张性能对比,颇有些引战的味道。虽然Databricks的工程师反复强调性能测试来自第三方Databeans,并且他们没有主动要求Databeans做这项测试,但如果全程看完delta2.0发布会,会发现在delta2.0即将开放的keyfeature中,特别列出了Iceberg到Delta的转换功能,并且官方着重讲到了Adobe从Iceberg迁移到Delta2.0的实践,这就...
2022-08-12 15:09:03 3843浏览 8点赞 3回复 5收藏