需要静下心来学习,从大数据运维转平台开发
私信
主帖 4
回帖
视频
提问
回答
资源
专栏
yarn任务上面显示任务跑成功。dolphinscheduler上显示通过服务器查看后台的work日志,有报错报错的内容是因为连接RM主机超时。查看common.properties的yarn的配置,是rm配置的主机配置错了,重新配置完后,重启work节点,重跑任务,问题解决。重启命令进入以下路径:[rootdbosbigdatatest003dolphinscheduler]pwdoptdolphinschedulersh.bindolphinschedulerdaemon.shstartworkerserversh.bindolphinschedulerdaemon.shstopworkerserver重跑的结果如下图:
2022-06-09 21:35:31 670浏览 1点赞 0回复 0收藏
写了一个简单的helloworld做测试发现,这个路径并不是我环境中的路径,执行结果如下解决思路:先查看env下的ds的配置环境如下:发现这个配置是原来的配置,不是我机器上的配置,原来默认python的配置是optsoftpythonbinpython,这个是原来ds环境自带的,后来我改成我的测试环境的配置是:重启work节点后问题解决解决问题如下图:
2022-06-07 22:38:46 655浏览 2点赞 0回复 0收藏
Dolphinscheduler1.3.4的common.properties的配置[rootdbosbigdatatest003conf]vimoptdolphinschedulerconfcommon.properties下面的这个配置中8088直接在配置成端口即可yarn.application.status.addresshttp:yarnIp1:8088wsv1clusterapps%sdolphinscheduler1.3.4的common.properties的配置Dolphinscheduler1.3.8的common.properties的配置[rootdbosbigdatawork007conf]vimoptdolphinschedulerconfcommon.properties下面的这个配...
2022-06-07 22:22:08 599浏览 1点赞 0回复 0收藏
1.Dolphinscheduler钉钉告警pythonimportpymysqlimportjsonimportrequestsimporthmacimporthashlibimporttimeimportbase64importurllibfromDBUtils.PooledDBimportPooledDB数据库连接池需要执行安装pip3installDBUtils1.3fromapscheduler.schedulers.blockingimportBlockingSchedulerfromdolphinschedulerimportanalysisprocessingPOOLPooledDB(creatorpymysql,使用链接数据库的模块maxconnections6,连接池允许的最大连接数,0...
2022-06-07 05:02:21 566浏览 2点赞 0回复 0收藏