鸿蒙开发者社区

01这段内容出自其公司月会材料，被张一鸣放在年会发言，并顺带批评一波这些人不好好说话，引起大批网友共鸣。随之而来的是互联网某Python大佬的一段神奇脚本，黑话生成器，也跟着火了：(建议这个脚本作者去找个风投，目测估值奇高，市场需求和用户群都不低。)当时还在公司加班的我迅速在电脑里部署了Python环境，并且运行了几次，其中两次效果如下：忽然一看好像都对：仔细看就看不下去:从个别领域上说，不能一下看懂的东西可能...

一、Druid概述1、Druid简介Druid是一款基于分布式架构的OLAP引擎，支持数据写入、低延时、高性能的数据分析，具有优秀的数据聚合能力与实时查询能力。在大数据分析、实时计算、监控等领域都有相关的应用场景，是大数据基础架构建设中重要组件。与现在相对热门的Clickhouse引擎相比，Druid对高并发的支持相对较好和稳定，但是Clickhouse在任务队列模式中的数据查询能力十分出色，但是对高并发支持不够友好，需要做好很多服务监控...

一、Azkaban概述1、任务时序在数据服务的业务场景中，很常见的业务流程就是日志文件经过大数据分析，再向业务输出结果数据；在该过程中会有很多任务需要执行，并且很难精准把握任务执行的结束时间，但是又希望整个任务链尽快结束释放资源。大致执行顺序如下：业务日志文件同步到HDFS文件系统；经过Hadoop执行分析计算过程；结果数据在导入数仓进行存储；最终需要把数仓内数据同步到业务库；这样的流程不必业务中任务调度，时间...

01晃晃悠悠的，在互联网行业工作了五年，默然回首，你看哪里像灯火阑珊处？初入职场，大部分程序员会觉得苦学技术，以后会顺风顺水升职加薪，这样的想法没有错，但是不算全面，五年后你会不会继续做技术写代码这是核心问题。初入职场，会觉得努力加班可以不断提升能力，可以学到技术的公司就算薪水低点也可以接受，但是五年之后会认为加班都是在不断挤压自己的上升空间，薪水低是人生的天花板。这里想说的关键问题就是：初入职...

一、Sqoop概述Sqoop是一款开源的大数据组件，主要用来在Hadoop(Hive、HBase等)与传统的数据库(mysql、postgresql、oracle等)间进行数据的传递。通常数据搬运的组件基本功能：导入与导出。鉴于Sqoop是大数据技术体系的组件，所以关系型数据库导入Hadoop存储系统称为导入，反过来称为导出。Sqoop是一个命令行的组件工具，将导入或导出命令转换成mapreduce程序来实现。mapreduce中主要是对inputformat和outputformat进行定制。二、...

一、Flume简介1、基础描述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；特点：分布式、高可用、基于流式架构，通常用来收集、聚合、搬运不同数据源的大量日志到数据仓库。2、架构模型Agent包括三个核心组成，Source、Channel、Sink。Source负责接收数据源，并兼容多种类型，Channel是数据的缓冲区，Sink处理数据输出的方式...

一、基于业务数据服务通常有很多种业务模式，也就导致系统的架构与业务都会很复杂，不同的业务都具有自身的能力和复杂度，数据管理本身就是一件不容易的事情，所以在系统架构初期都会考虑服务能力的业务场景：API服务：基于Http模式的数据服务，通过请求获取数据，例如风控模型，评分，反欺诈等各种业务；平台服务：综合性的服务能力集成系统，客户的自定义服务需求很低，具有完整流程的数据服务能力，例如自动化数字营销平台，...

前言：该系列文章，围绕持续集成：Jenkins+Docker+K8S相关组件，实现自动化管理源码编译、打包、镜像构建、部署等操作；本篇文章主要描述流水线集成Docker用法。一、背景描述微服务架构是当前主流的技术选型，在业务具体落地时，会存在很多业务服务，不管是在开发、测试、上线的任意节点中，如果基于手动编译的方式打包服务，操作成本不仅极高，而且很容易出现纰漏。通过Pipeline流水线的方式，将服务镜像构建编排成一键触发执...

前言：该系列文章，围绕持续集成：Jenkins+Docker+K8S相关组件，实现自动化管理源码编译、打包、镜像构建、部署等操作；本篇文章主要描述Docker基础用法。一、Docker简介1、基础描述Docker作为开源的应用容器引擎，可以把应用程序和其相关依赖打包生成一个Image镜像文件，是一个标准的运行环境，提供可持续交付的能力，通过镜像文件可以创建多个Docker容器，这里可以理解为类创建对象的原理；镜像文件可以推送到仓库Repository...

一、背景说明在软件开发领域中，流程协作一直是热门的话题之一，不同的组织架构中，定义不同角色和人员的职责范围，并且通过流程规范来管理不同角色之间的衔接机制，以求不断提高协作效率。核心要素角色：不同的组织架构下，角色配置各不相同，角色与人员对应明确；职责：对不同角色的责任定义，用来明确介入流程的阶段与时间；流程：根据场景定义对应的流程中节点顺序，例如开发、测试、部署；节点：明确不同节点中的负责角色...

前言：该系列文章，围绕持续集成：Jenkins+Docker+K8S相关组件，实现自动化管理源码编译、打包、镜像构建、部署等操作；本篇文章主要描述Pipeline流水线用法。一、Webhook原理Pipeline流水线任务通常情况下都是自动触发的，在Git仓库中配置源码改动后通知的地址即可。例如在Gitee仓库中，基于WebHook的配置，可以在向仓库push代码后，自动回调预先设定的请求地址，从而触发代码更新后的打包动作，基本流程如下：这里涉及到两个...

前言：该系列文章，围绕持续集成：Jenkins+Docker+K8S相关组件，实现自动化管理源码编译、打包、镜像构建、部署等操作；本篇文章主要描述Jenkins基础用法。一、Jenkins安装1、环境部署下载Jenkins包注意这里直接下载war文件，以Java服务的形式启动。环境：war运行版本：2.289.3类型：GenericJavapackage(.war)启动命令javajarjenkins.warhttpPort8090启动日志Jenkinsisfullyupandrunning访问本地端口：8090该页面会提示初始登录...

前言：该系列文章，围绕持续集成：Jenkins+Docker+K8S相关组件，实现自动化管理源码编译、打包、镜像构建、部署等操作；本篇文章主要描述Kubernetes引擎用法。一、基础简介Kubernetes简称K8S，是一个开源的分布式的容器编排引擎，用来对容器化应用进行自动化部署和管理。ControlPlaneComponents：控制平面组件，对集群做出全局决策，例如：调度、检测和事件响应，可以在集群中的任何节点上运行；api：作为K8S控制面的组件，开放...

你已偏离路线,已为你重新规划路线,请在合适的位置掉头；如果实在不想掉头，也可以换个目的地。01规划方案即拟定一个长远的执行计划，根据规划时间的长短，通常将方案定义为季度、半年度、年度等；在发展比较好的环境中，做规划设计都是一件极其谨慎的事情，通常会在规划中明确方向，并且敲定要落地的事项，以及相应的里程碑节点。对于在职场上争渡的选手来说，有工作上的规划，通常也有个人的规划；按照万事开头难的理论来看，...

前言：该系列文章，围绕持续集成：Jenkins+Docker+K8S相关组件，实现自动化管理源码编译、打包、镜像构建、部署等操作；本篇文章主要描述流水线集成K8S用法。一、背景描述分布式服务的部署是一个复杂的流程，当容器应用存在几十甚至上百的时候，用手动的方式部署显然难度过高，借助Kubernetes容器编排引擎，可以快速的实现自动部署，扩展，升级等一系列复杂步骤。二、流程设计在之前的篇幅中，已经描述了流水线的方式进行源码编...

最近团队有人员变动，然后就顺理成章的开始招聘事项，下面作者尽量从流程全貌和大家总结一下面试过程，最近好多读者都在和我私聊说年底跳槽的事，也正好可以提供另一个角度做参考。一、招聘需求互联网的行业的内卷不是一天两天了，相信很多开发同学也习以为常，在这个领域内沉浸足够的时间之后，就会经历在求职者和面试官角色互跳的体验。在管理比较好的公司，招聘一直是一件谨慎的工作，公司之所以能发展好，因为大部分的员工...

前言：最近收到很多读者朋友私信，问我如何学习编程，这个问题其实很难正面回答，而且本人也确信自己达不到指点别人学习的高度，这篇文章基于作者自己这几年趟过的路，和大家聊聊编程学习的话题，仅供一些感到迷茫的朋友做点参考。一、面对选择1、编程语言学习编程的第一件事就是面对语言的选择，编程语言五花八门种类繁多，不同的技术类型适应不同的应用场景，所以语言本身没有高低之分存在即合理，学会做选择才是入门的关键；...

JAR包：如果我依赖你，那劝你别依赖我。一、技术视野1、背景描述在分布式系统搭建的初期，对于组件的选型是需要慎重考虑的，特别是对于同一个场景但是有多个不同组件可选项时，需要经过一定的调研再去确定最终选择，从而尽量避免后期业务发展引起核心组件的替换问题。不同的技术选型，意味着不同的依赖包和版本，作为工程的基础，复杂的系统中管理庞大的依赖，需要具备体系化的思维。2、开源体系从个人习惯上来看，在核心的技术...

一、背景简介项目中日志的管理是基础功能之一，不同的用户和场景下对日志都有特定的需求，从而需要用不同的策略进行日志采集和管理，如果是在分布式的项目中，日志的体系设计更加复杂。日志类型：业务操作、信息打印、请求链路；角色需求：研发端、用户端、服务级、系统级；用户与需求用户端：核心数据的增删改，业务操作日志；研发端：日志采集与管理策略，异常日志监控；服务级：关键日志打印，问题发现与排查；系统级：分布...

一、网关服务1、网关模式网关作为架构的最外层服务，用来统一拦截各个端口的请求，识别请求合法性，拦截异常动作，并提供路由和负载能力，保护业务服务；这种策略与外观模式异曲同工。网关服务和门面类服务有部分的逻辑相似，网关服务的拦截侧重处理通用的策略和路由负载，而不同的门面聚合服务侧重场景分类，例如常见的几种门面服务：Facade：服务产品开放的端口请求，例如Web，App，小程序等；Admin：通常服务于内部的管理系...