鸿蒙开发者社区

当大数据挖掘成为企业赖以生存、发展乃至转型的生命，如何找到一款好软件帮助企业满足需求，成为了许多大数据工程师困扰的问题。但在当下高速发展的大数据领域，光是一款好软件似乎都不足以满足所有场景业务需求，许多企业逐渐将目光转向了技术生态的“外延”——即结合各种场景打造企业适用的技术架构。那该如何才能打造出一款，用户能够“轻松上手”、“简单应用”的软件呢？ApacheDolphinScheduler联合TiDB社区共同举办的Mee...

本文档主要介绍如何使用ansible在远程centos服务器docker环境快速安装kafka，目标服务器为一台本地虚拟机，安装操作系统为官方的Centos7.964，语言环境选择简体中文，安装类型选择最小化安装，不预装任何软件。我们选择的kafka镜像为ubuntuzookeeper:3.122.04edge，配套的zookeeper镜像为ubuntuzookeeper:3.122.04edge，为了管理kafka方便，我们部署了cmak，其镜像为siriuszgcmak:3.0.0.5。这些镜像除了支持x86服务器外，也都支...

yarn任务上面显示任务跑成功。dolphinscheduler上显示通过服务器查看后台的work日志，有报错报错的内容是因为连接RM主机超时。查看common.properties的yarn的配置，是rm配置的主机配置错了，重新配置完后，重启work节点，重跑任务，问题解决。重启命令进入以下路径：[rootdbosbigdatatest003dolphinscheduler]pwdoptdolphinschedulersh.bindolphinschedulerdaemon.shstartworkerserversh.bindolphinschedulerdaemon.shstopworkerserver重跑的结果如下图：

大家好，我是TDengine研发工程师，金明磊，从2004年开始从事Linux平台上的软件开发工作，对于系统编程、问题定位与解决都有相当丰富的经验。目前在涛思数据从事TDengine的分布式集群相关研发工作。 感谢社区的邀请，6月9号我将给大家做一场直播《[TDengine：一款高性能时序数据库的分布式集群架构设计](https:ost.51cto.comactivity203)》，欢迎大家报名交流。分布式、集群，我想大部分人对这些概念应该都不陌生了。但是具...

写了一个简单的helloworld做测试发现，这个路径并不是我环境中的路径，执行结果如下解决思路：先查看env下的ds的配置环境如下：发现这个配置是原来的配置，不是我机器上的配置，原来默认python的配置是optsoftpythonbinpython，这个是原来ds环境自带的，后来我改成我的测试环境的配置是：重启work节点后问题解决解决问题如下图：

Dolphinscheduler1.3.4的common.properties的配置[rootdbosbigdatatest003conf]vimoptdolphinschedulerconfcommon.properties下面的这个配置中8088直接在配置成端口即可yarn.application.status.addresshttp:yarnIp1:8088wsv1clusterapps%sdolphinscheduler1.3.4的common.properties的配置Dolphinscheduler1.3.8的common.properties的配置[rootdbosbigdatawork007conf]vimoptdolphinschedulerconfcommon.properties下面的这个配...

编者按：本文整理自龙蜥大讲堂第17期，海泰方圆总工程师将在政策及产业需求、隐私计算密码关键技术及主要使用方式、隐私计算典型应用等4方面带您了解隐私计算密码技术。精彩分享视频回放已上传至龙蜥官网（首页动态视频），欢迎查看！ 以下是海泰方圆总工程师Justin分享《隐私计算密码技术及其应用》部分精彩内容（完整视频回放和技术PPT获取方式见文末）。 如今，既要应用数据，又要保护安全，在保障安全的前提下发...

1.Dolphinscheduler钉钉告警pythonimportpymysqlimportjsonimportrequestsimporthmacimporthashlibimporttimeimportbase64importurllibfromDBUtils.PooledDBimportPooledDB数据库连接池需要执行安装pip3installDBUtils1.3fromapscheduler.schedulers.blockingimportBlockingSchedulerfromdolphinschedulerimportanalysisprocessingPOOLPooledDB(creatorpymysql,使用链接数据库的模块maxconnections6,连接池允许的最大连接数，0...

在软件开发领域有一个流行的原则：Don’tRepeatYourself(DRY)，翻译过来就是：不要重复造轮子。而开源项目最基本的目的，其实就是为了不让大家重复造轮子。尤其是在大数据这样一个高速发展的领域，现在各类企业都有使用大量的开源软件，当发现开源项目不能满足场景业务需求的时候，越来越多的开发者也开始关注技术生态的“外延”，结合各类场景打磨企业适用的技术架构。在此背景下，技术软件如何让更多用户能“轻松上手”、“简...

数据库设计与开发三大规范解读👨‍🏫Author:陈虹君Date:20220605Release：V1.1🚩无规矩不成方圆,无制度不成体系数据库设计与开发是软件应用系统的根基，必须受到高度重视。培养良好的数据库设计与开发习惯，是一个合格软件工程师应该必备的基本素质。所以，数据库设计必须遵循一定的规则，良好的数据库设计与其系统应用设计是相辅相成的。好的数据库设计能够合理利用数据的存储空间、保证数据的完整性、减少数据冗余、方便进行...

1.业务背景某省高速集团为了更好的分析交易流水数据，掌控各个阶段的流水数据的及时性和准确性，新上了对账系统。通过对账系统可以很方便地对交易流水进行统计和查找。例如分析流水是否已出站，交易是否已上传部中心，交易是否在银行已记账，银行是否已划账，部中心是否已拆分，省中心是否已下载拆分数据，省中心是否已清分，省中心是否已拆账，流水是否已上传发票等等。分析对账系统牵涉的数据，主要特性如下：1.数据种类多。...

基于Prometheus&Grafana构建大数据一站式运维监控方案一、背景对于大数据方向而言，开发与运维这两种方向往往是紧密结合的，没有明确的岗位界限，大多数中小型企业的大数据开发和运维工作往往就是一个小团队完成。由于数据类业务的特性不同于传统应用开发，数据运维阶段的工作量往往比开发阶段工作量更大，如果运维工作没有妥善处理，层出不穷的问题会让整个团队疲于奔命。二、痛点根据实际情况，我们将大数据运维工作分为两大...

作者欧阳涛招联金融大数据开发工程师02Master启动流程2.10WorkFlowExecutorThread里执行SubmitStandByTask方法SubmitStandByTask干了5件事情：1.从ReadyToSubmitTaskQueue中取出TaskInstance。2.（这个TaskInstance是可以重试并且设定为强制成功了的）把task放到completeTaskMap以及taskInstanceMap，并从队列中移除。3.如果这个task是首次执行的话，就会先从task和ProcessInstance中获取参数(varPool)【这一步的方法是GetPreVa...

当今许多企业都有着技术架构的DataOps程度不够、二次开发成本高、迁移成本高、集群部署混乱等情况，团队在技术选型之后发现并不适合自己的需求，但是迁移成本和难度又比较大，甚至前团队还留下了不少坑，企业自有的开发能力又比较有限，导致后面的小伙伴上手难度高体验差。俗话说“工具选得好，下班回家早；调度用得对，半夜安心睡”，面对各种难点和痛点：如何有效地评估数据调度工具？如何平滑的过渡到ApacheDolphinScheduler...

02Master启动流程2.1MasterServer的启动在正式开始前，笔者想先鼓励一下大家。我们知道启动Master其实就是启动MasterServer，本质上与其他SpringBoot项目相似，即启动里面的main函数。但想要开始实操前，肯定有不少的人，尤其是初学者会突然发现这里面有十多个由bean注入的autowired。被多个bean的注入搞到一头雾水，甚至感觉一脸懵逼的不是少数。但笔者就想说是，这些其实都是吓唬你们的，不用害怕，接下来将带领你们把这些bea...

当今许多企业都有着技术架构的DataOps程度不够、二次开发成本高、迁移成本高、集群部署混乱等情况，团队在技术选型之后发现并不适合自己的需求，但是迁移成本和难度又比较大，甚至前团队还留下了不少坑，企业自有的开发能力又比较有限，导致后面的小伙伴上手难度高体验差。俗话说“工具选得好，下班回家早；调度用得对，半夜安心睡”，面对各种难点和痛点：如何有效地评估数据调度工具？如何平滑的过渡到ApacheDolphinScheduler...

大家好，我是武哥。这是《吃透MQ系列》的第二弹，有些珊珊来迟，后台被好几个读者催更了，实属抱歉！这篇文章拖更了好几周，起初的想法是：围绕每一个具体的消息中间件，不仅要写透，而且要控制好篇幅，写下来发现实在太难了，两者很难兼得。最后决定还是分成多篇写吧。一方面，能加快下输出频率；另一方面，大家也更容易消化。废话不多说了，第二弹开始发车。01为什么从Kafka开始？《吃透MQ》的开篇围绕MQ「一发一存一消费」的...

上一篇文章中谈到了《吃透系列》的讲解思路：先找到每个技术栈最本质的东西，然后以此为出发点，逐渐延伸出其他核心知识。所以，整个系列侧重于思考力的训练，不仅仅是讲清楚What，而是更关注Why和How，以帮助大家构建出牢固的知识体系。回到正文，这是技术系列《吃透MQ》的开篇。本文主要讲解MQ的通用知识，让大家先弄明白：如果让你来设计一个MQ，该如何下手？需要考虑哪些问题？又有哪些技术挑战？有了这个基础后，我相信后...

大家好，我是武哥。这是《吃透MQ系列》之Kafka的第4篇，错过前3篇的，通过下面的链接一睹为快：第1篇：扒开Kafka的神秘面纱第2篇：Kafka架构设计的任督二脉第3篇：Kafka存储选型的奥秘第3篇文章我深入剖析了Kafka选用「日志文件」作为存储方案的来龙去脉以及背后「磁盘顺序写+稀疏索引」的精妙设计思路。但是，Kafka能做到单机每秒几十万的吞吐量，它的性能优化手段绝不止这一点。Kafka的高性能设计可以说是全方位的，从Prodcue...

大家好，我是武哥。这是《吃透MQ系列》的第三篇，有关Kafka的架构设计。这篇文章将带着大家参透：到底什么是Kafka架构设计的任督二脉？把握住了这个关键点，我相信你将能更好地理解Kafka的架构设计，进而顺藤摸瓜地掌握Kafka的核心技术方案。废话不多说了，开始发车。1.Kafka的技术难点究竟在哪？前一篇文章《扒开Kafka的神秘面纱》交代了两个关键信息：1、Kafka为实时日志流而生，要处理的并发和数据量非常大。可见，Kafka本身...