鸿蒙开发者社区

点亮⭐️Star·照亮开源之路https:github.comapachedolphinscheduler​每个人对于”开源社区“的定义都不一样，在社区的想法也完全不一样，我认为玩开源就像”谈恋爱“，要想方设法对它好，在接触ApacheDolphinScheduler社区之后，我从”非技术“的视角真真实实地感受到了ApacheWay。因为你在非技术的角度会发现，很多时候，并不是”大佬“没技术，而是缺乏发掘、激励”大佬“的人，这里指的并不是物质上的奖励，归属感是最重要...

点亮⭐️Star·照亮开源之路GitHub:https:github.comapachedolphinscheduler​精彩回顾近期，BIGO的大数据研发工程师许名勇在社区线上Meetup上给大家分享了主题为《DS及SPARK在BIGO的应用和改进》的演讲。主要介绍了BIGO如何使用DophinScheduler来调度以SPARK为主的多种类型的离线任务，以及为了满足业务需求、提升用户使用体验，在DS和Spark上所做的各种改进。讲师介绍​许名勇Bigo大数据研发工程师文章整理：白鲸开源曾辉今天...

2010年，我国进入移动互联网，数据规模成几何式增长。在大数据开源技术领域，以Hadoop为核心的大数据生态系统面对海量数据也不断发展与迭代，大数据处理流程中的各个开源组件，也一起开启了狂飙突进的大数据时代，推动整个行业开启了数字化变革之路。​\20102025年全球数据规模量，来源IDC近年来，大数据行业的开发者都在感慨：技术迭代更新速度的太快了，今年还在流行，明年就可能被雪藏！其实我们非常清楚，技术永远是在“更...

点亮⭐️Star·照亮开源之路GitHub:https:github.comapachedolphinscheduler精彩回顾近期，食行生鲜的数据平台工程师单葛尧在社区线上Meetup上给大家分享了主题为《ApacheDolphinscheduler在食行生鲜的落地实践》的演讲。随着大数据的进一步发展，不管是离线任务量还是实时任务量都变得越来越多，对调度系统的要求也越来越高，不仅要求系统稳定还要求操作简单，上手方便。而ApacheDolphinscheduler就是当下非常流行且好用的一款...

点亮⭐️Star·照亮开源之路GitHub:https:github.comapachedolphinscheduler精彩回顾近期，初灵科技的大数据开发工程师钟霈合在社区活动的线上Meetup上中，给大家分享了《基于ApacheDolphinScheduler对千亿级数据的应用实践》主题演讲。我们对于千亿级数据量的数据同步需求，进行分析和选型后，初灵科技最终决定使用DolphinScheduler进行任务调度，同时需要周期性调度DataX、SparkSQL等方式进行海量数据迁移。在日常大数据工作...

点亮⭐️Star·照亮开源之路GitHub:https:github.comapachedolphinscheduler​版本发布感谢本次的ReleaseManagerzhuangchong,是他主导了我们这个版本的发布流程，引导社区进行版本内容沟通，发版前的问题跟踪，blockingissue处理，版本质量管理等，感谢zhuangchong为社区的付出，也期待其他Committer和PMC能够一起参与到ReleaseManager的角色中来。在3.0.0正式版本发布1个多月之后，期间社区也紧锣密鼓的进行着新版本的迭代的筹...

​作者简介​淡丹数仓开发工程师5年数仓开发经验，目前主要负责百得利MOBY新车业务二手车业务及售后服务业务系统数仓建设业务需求在ETL任务之间调度时，我们有的时候会需要将上游的计算结果作为参数传入到下游，针对这种业务需求，海豚调度器为我们提供了一些功能。具体如下：DolphinScheduler允许在任务间进行参数传递，目前传递方向仅支持上游单向传递给下游。支持这个特性的任务类型有：ShellSQL当定义上游节点时，如果有需...

点亮⭐️Star·照亮开源之路GitHub:[https:github.comapachedolphinscheduler](https:github.comapachedolphinscheduler)在ApacheConAsia2022Meetup上，有着十余年大数据开发工作经验，来自某银行离线数据工厂开发工具负责人陈卫老师分享了如何让更多人从大数据中获益的主题演讲。感谢志愿者关博将本次演讲整理本文，您对ApacheDolphinScheduler的贡献是社区不断前进的动力！本次的分享主要围绕下面四点展开：一、背景介绍1.业...

点亮⭐️Star·照亮开源之路https:github.comapachedolphinscheduler本文目录1DolphinScheduler的设计与策略1.1分布式设计1.1.1中心化1.1.2去中心化1.2DophinScheduler架构设计1.3容错问题1.3.1宕机容错1.3.2失败重试1.4远程日志访问2DolphinScheduler源码分析2.1工程模块介绍与配置文件2.1.1工程模块介绍2.1.2配置文件2.2Api主要任务操作接口2.3Quaterz架构与运行流程2.3.1概念与架构2.3.2初始化与执行流程2.3.3集群运转2.4Mas...

点亮⭐️Star·照亮开源之路GitHub:https:github.comapachedolphinscheduler​参与开源已经快3年了，这次在Meetup上没有分享纯技术的话题，其初衷是想带这大家从一个开源社区维护者的视角来看开源，希望大家能从中获取到一些感悟，当然这次的话题有些观点可能抱有主观看法，大家多多包涵。​钟嘉杰白鲸开源数据工程师ApacheDolphinScheudlerPMC什么是开源我在这里说的开源特指开源软件(opensourcesoftware,缩写OSS),又称开放源...

点亮⭐️Star·照亮开源之路GitHub:[https:github.comapachedolphinscheduler](https:github.comapachedolphinscheduler)ApacheDolphinScheduler是一款非常不错的调度工具，可单机可集群可容器，可调度sql、存储过程、http、大数据等，也可使用shell、python、java、flink等语言及工具，功能强大类型丰富，适合各类调度型任务，社区及项目也十分活跃，现在Github中已有8.5k的star👍准备工作阅读本文前建议您先阅读下官方的文档...

点亮⭐️Star·照亮开源之路GitHub:[https:github.comapachedolphinscheduler](https:github.comapachedolphinscheduler)​版本发布20228102022年8月10日，ApacheDolphinScheduler在经过3.0.0alpha、3.0.0beta1、3.0.0beta2不断验证之后，终于迎来了社区期盼已久的第三个大版本！3.0.0正式版本发生了自发版以来的最大幅度变动，新增了众多全新功能和特性，旨在为用户带来全新的体验和更多价值。经过迭代的3.0.0正式版与此前3.0....

大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，而大数据作为企业运转的基础，只有经过提供数据采集、存储、计算、分析、调度、管理、治理等过程，才能为企业所用。而海豚调度作为数据调度工具的先行者，深刻理解调度工具缺乏可视化、拓展性差、无法去中心化、稳定性差等痛点问题，能够针对行业工具痛点精准提供解决方案。在整个大数据时代下，从互联网出行到乳业龙头企业...

随着国内开源的迅猛崛起，ApacheDolphinScheduler社区迎来了中国区用户组第一届的社群管理成员。作为海豚调度社区的资深用户，既玩得了调度，也吹得了牛皮，这是怎样的一群大数据工程师呢？今天通过本文，我们来认识下这9位小伙伴！用户7群管理员晏江——个人简介大家好，我叫晏江，是一门Java高级开发工程师，主要研究领域是Java中间件的研发，社区的不断壮大离不开每一个成员的贡献和付出，让我们一起携手共进，做大做强！Git...

​这次在7月Meetup为大家带来的是基于DolphinScheduler的智能调度引擎在DDS的应用，这场演讲主要会跟大家介绍宇动源DDS（自研的图形化数据开发工作室）、大数据架构、DDS产品和使用中遇到的问题，包括在迁移过程中的调研情况、遇到的困难、解决方案以及针对需求的优化，还有一些心得体会，希望你有所收获。​王子健宇动源大数据平台开发工程师原搜狐畅游数据仓库开发工程师本次演讲主要包含四个部分：关于宇动源DDS全新调度引擎...

htmlxml[INFO]2022070613:12:16.714[taskAppIdTASK39381727908774]:[238]processhasexited,executepath:datadolphinschedulerexecprocess939381727908774,processId:25215,exitStatusCode:1,processWaitForStatus:true,processExitValue:1[INFO]2022070613:12:17.201[taskAppIdTASK39381727908774]:[138]toolssize28133434574389544537942389564253580datadolphinschedulerexecprocess93938172790877439381727908774node.sh:lin...

作者胡泽康鄞乐炜作者简介胡泽康联通（广东）产业互联网公司大数据工程师，专注于开源大数据领域，从事大数据平台研发工作鄞乐炜联通（广东）产业互联网公司大数据工程师，主要从事大数据平台的应用与引擎端开发01背景介绍我们是联通医疗团队，一直践行“服务医改，惠及民生”的使命，全面驱动医疗健康产业数字化、智能化转型。在调度系统选型初期，我们团队技术栈以JVM语言为主，由于Airflow的结构体系无法进行充分的改造和融...

ApacheDolphinScheduler社区线上Meetup讲师&议题正式对外征集啦！在全球疫情的笼罩下，我们的线上技术沙龙活动一直在紧锣密鼓的筹备举办，在此我们诚心向社区广大用户发起邀请，借你之力壮大社区影响力！社区重于代码，感谢所有的用户对社区的贡献！如果您有意愿贡献您的想法、分享您的经验、锻炼您的表达能力，可以在滑到下方扫描二维码报名，我们将在7个工作日内联系您，在此之前您可以了解分享嘉宾在Meetup中的收获。01Apach...

Fordeal的数据平台调度系统之前是基于Azkaban进行二次开发的，但是在用户层面、技术层面都存在一些痛点问题难以被解决。比如在用户层面缺少任务可视化编辑界面、补数等必要功能，导致用户上手难体验差。在技术层面，架构过时，持续迭代难度大。基于这些情况，经过竞品对比和调研后，Fordeal数据平台新版系统决定基于ApacheDolphinScheduler进行升级改造。那整个迁移过程中开发人员是如何让使用方平滑过渡到新系统，又做出了哪些...

当大数据挖掘成为企业赖以生存、发展乃至转型的生命，如何找到一款好软件帮助企业满足需求，成为了许多大数据工程师困扰的问题。但在当下高速发展的大数据领域，光是一款好软件似乎都不足以满足所有场景业务需求，许多企业逐渐将目光转向了技术生态的“外延”——即结合各种场景打造企业适用的技术架构。那该如何才能打造出一款，用户能够“轻松上手”、“简单应用”的软件呢？ApacheDolphinScheduler联合TiDB社区共同举办的Mee...