云原生可视化工作流任务调度系统,主要解决大数据任务复杂的依赖
私信
主帖 13
回帖
视频
提问
回答
资源
专栏
ApacheDolphinScheduler社区线上Meetup讲师&议题正式对外征集啦!在全球疫情的笼罩下,我们的线上技术沙龙活动一直在紧锣密鼓的筹备举办,在此我们诚心向社区广大用户发起邀请,借你之力壮大社区影响力!社区重于代码,感谢所有的用户对社区的贡献!如果您有意愿贡献您的想法、分享您的经验、锻炼您的表达能力,可以在滑到下方扫描二维码报名,我们将在7个工作日内联系您,在此之前您可以了解分享嘉宾在Meetup中的收获。01Apach...
1天前 98浏览 0点赞 0回复 0收藏
Fordeal的数据平台调度系统之前是基于Azkaban进行二次开发的,但是在用户层面、技术层面都存在一些痛点问题难以被解决。比如在用户层面缺少任务可视化编辑界面、补数等必要功能,导致用户上手难体验差。在技术层面,架构过时,持续迭代难度大。基于这些情况,经过竞品对比和调研后,Fordeal数据平台新版系统决定基于ApacheDolphinScheduler进行升级改造。那整个迁移过程中开发人员是如何让使用方平滑过渡到新系统,又做出了哪些...
9天前 1270浏览 1点赞 0回复 1收藏
当大数据挖掘成为企业赖以生存、发展乃至转型的生命,如何找到一款好软件帮助企业满足需求,成为了许多大数据工程师困扰的问题。但在当下高速发展的大数据领域,光是一款好软件似乎都不足以满足所有场景业务需求,许多企业逐渐将目光转向了技术生态的“外延”——即结合各种场景打造企业适用的技术架构。那该如何才能打造出一款,用户能够“轻松上手”、“简单应用”的软件呢?ApacheDolphinScheduler联合TiDB社区共同举办的Mee...
2022-06-17 12:15:16 1071浏览 0点赞 0回复 0收藏
本周伊始,ApacheDolphinScheduler项目在GitHub上的GithubStar总数首次突破8K。目前,ApacheDolphinScheduler社区已经拥有Contributor345+,fork数3k+,社区发展呈现出一片欣欣向荣。既ApacheDolphinScheduler项目荣登GitHubJavaTrending周月度榜单之后,ApacheDolphinScheduler的社区活力与开发热度再一次得到了印证。3.0.0版本的发布与迭代、新Commitor的加入与Meetup现场的火热无不证明着ApacheDolphinScheduler的项目与社区...
2022-06-16 17:05:04 498浏览 1点赞 0回复 0收藏
大家下午好,我是来自当贝网络科技大数据平台的基础开发工程师王昱翔,感谢社区的邀请来参与这次分享,关于ApacheDolphinScheduler在当贝网络科技大数据环境中的应用。本次演讲主要包含四个部分:平台建设的背景大数据平台重构大数据调度平台建设下一步规划王昱翔当贝大数据平台基础开发工程师毕业于电子科技大学,主要是做大数据平台的构建、集成及组件的运维的工作。01背景在当贝网络科技使用ApacheDolphinScheduler作为大数...
2022-06-15 17:16:38 721浏览 1点赞 0回复 0收藏
导读:近日,ApacheDolphinScheduler迎来了3.0.0beta1版本的正式发布。新版本主要针对3.0.0alpha进行了代码和文档的修复,并引入了部分的功能,如支持FlinkSQL任务类型,新增Zeppelin任务类型,新增Kubernetesnamespace管理功能,以及通过bash传参功能等,具体更新详见下文。01新功能支持FlinkSQL任务类型在该版本中,我们扩展了Flink任务类型,使其支持运行FlinkSQL任务,其使用[sqlclient.sh](http:sqlclient.sh)提交任务。更...
2022-06-15 16:09:06 383浏览 2点赞 0回复 0收藏
yarn任务上面显示任务跑成功。dolphinscheduler上显示通过服务器查看后台的work日志,有报错报错的内容是因为连接RM主机超时。查看common.properties的yarn的配置,是rm配置的主机配置错了,重新配置完后,重启work节点,重跑任务,问题解决。重启命令进入以下路径:[rootdbosbigdatatest003dolphinscheduler]pwdoptdolphinschedulersh.bindolphinschedulerdaemon.shstartworkerserversh.bindolphinschedulerdaemon.shstopworkerserver重跑的结果如下图:
2022-06-09 21:35:31 688浏览 1点赞 0回复 0收藏
写了一个简单的helloworld做测试发现,这个路径并不是我环境中的路径,执行结果如下解决思路:先查看env下的ds的配置环境如下:发现这个配置是原来的配置,不是我机器上的配置,原来默认python的配置是optsoftpythonbinpython,这个是原来ds环境自带的,后来我改成我的测试环境的配置是:重启work节点后问题解决解决问题如下图:
2022-06-07 22:38:46 675浏览 2点赞 0回复 0收藏
Dolphinscheduler1.3.4的common.properties的配置[rootdbosbigdatatest003conf]vimoptdolphinschedulerconfcommon.properties下面的这个配置中8088直接在配置成端口即可yarn.application.status.addresshttp:yarnIp1:8088wsv1clusterapps%sdolphinscheduler1.3.4的common.properties的配置Dolphinscheduler1.3.8的common.properties的配置[rootdbosbigdatawork007conf]vimoptdolphinschedulerconfcommon.properties下面的这个配...
2022-06-07 22:22:08 621浏览 1点赞 0回复 0收藏
1.Dolphinscheduler钉钉告警pythonimportpymysqlimportjsonimportrequestsimporthmacimporthashlibimporttimeimportbase64importurllibfromDBUtils.PooledDBimportPooledDB数据库连接池需要执行安装pip3installDBUtils1.3fromapscheduler.schedulers.blockingimportBlockingSchedulerfromdolphinschedulerimportanalysisprocessingPOOLPooledDB(creatorpymysql,使用链接数据库的模块maxconnections6,连接池允许的最大连接数,0...
2022-06-07 05:02:21 584浏览 2点赞 0回复 0收藏
在软件开发领域有一个流行的原则:Don’tRepeatYourself(DRY),翻译过来就是:不要重复造轮子。而开源项目最基本的目的,其实就是为了不让大家重复造轮子。尤其是在大数据这样一个高速发展的领域,现在各类企业都有使用大量的开源软件,当发现开源项目不能满足场景业务需求的时候,越来越多的开发者也开始关注技术生态的“外延”,结合各类场景打磨企业适用的技术架构。在此背景下,技术软件如何让更多用户能“轻松上手”、“简...
2022-06-06 14:19:29 404浏览 1点赞 0回复 0收藏
作者欧阳涛招联金融大数据开发工程师02Master启动流程2.10WorkFlowExecutorThread里执行SubmitStandByTask方法SubmitStandByTask干了5件事情:1.从ReadyToSubmitTaskQueue中取出TaskInstance。2.(这个TaskInstance是可以重试并且设定为强制成功了的)把task放到completeTaskMap以及taskInstanceMap,并从队列中移除。3.如果这个task是首次执行的话,就会先从task和ProcessInstance中获取参数(varPool)【这一步的方法是GetPreVa...
2022-05-25 16:41:04 1611浏览 0点赞 0回复 0收藏
当今许多企业都有着技术架构的DataOps程度不够、二次开发成本高、迁移成本高、集群部署混乱等情况,团队在技术选型之后发现并不适合自己的需求,但是迁移成本和难度又比较大,甚至前团队还留下了不少坑,企业自有的开发能力又比较有限,导致后面的小伙伴上手难度高体验差。俗话说“工具选得好,下班回家早;调度用得对,半夜安心睡”,面对各种难点和痛点:如何有效地评估数据调度工具?如何平滑的过渡到ApacheDolphinScheduler...
2022-05-25 10:56:12 402浏览 0点赞 0回复 0收藏