鸿蒙开发者社区

如果让三个人描述DevOps，您将得到四个不同的答案。有时，从事运营工作的开发人员被称为DevOps。其他人则说这与基础架构和部署的自动化有关。有时，您可以看到DevOps是sysadmins的现代化标签。我们可以看到该术语很流行。那到底是什么呢什么是DevOpsDevOps的第一种方式是通过组织中各个职能领域(从收集需求到生产中的软件运维)创建平衡稳定的工作流程。重点放在整个系统的全局目标上，而不是单个部门的局部目标上。为了使概念更...

今天，系统中的一个业务处理莫名地执行了6个小时都没有结束，正常处理也就是3分钟左右，对原因进行定位，发现是在Oracle客户端上同步执行一个命令没有响应。今天来分享一下这个问题，让更多的人避开这个坑。1业务场景我们要把一个csv文件(文件名biz.csv)中的数据读取到Oracle数据库表(表名tbiz，tbiz)中，数据库表tbiz表结构如下：biz.csv文件内容如下：id,a,b,c1,a1,b1,c12,a2,b2,c23,a3,b3,c3把biz.csv文件的内容读入到表tbiz...

在之前的文章「简单了解InnoDB底层原理」聊了一下MySQL的BufferPool。这里再简单提一嘴，BufferPool是MySQL内存结构中十分核心的一个组成，你可以先把它想象成一个黑盒子。黑盒下的更新数据流程当我们查询数据的时候，会先去BufferPool中查询。如果BufferPool中不存在，存储引擎会先将数据从磁盘加载到BufferPool中，然后将数据返回给客户端;同理，当我们更新某个数据的时候，如果这个数据不存在于BufferPool，同样会先数据加载...

redis在很早之前就支持消息队列了，使用的是PUBSUB功能来实现的。PUBSUB有一个缺点就是消息不能持久化，如果redis发生宕机，或者客户端发生网络断开，历史消息就丢失了。redis5.0开始引入了stream这个数据结构，stream可以很好地用于消息队列，它支持消息持久化，同时可以记录消费者的位置，即使客户端断开重连，也不会丢失消息。本篇文章我们就来聊一聊基于stream的消息队列使用。stream队列简介基于stream实现的消息队列有4个...

这篇博客的本意是希望看到这篇文章的读者能够很轻松的理解我想表达的意思。但程序向的分享经常会不经意间就贴上了代码，很可能就会让人看的很懵。而且我认为分享一个东西，只有对方真正明白了其中的逻辑，才是有意义的分享。所以接下来我会尝试用大家都能理解的语言来聊一聊”微服务“。【写在前面】那么，什么是微服务呢你不一定知道微服务，但是你一定知道麦某劳，而且知道麦某劳有个甜品站。你可能会问，甜品站和微服务有什...

配置DockerInDocker配置JenkinsMaster挂载Dockerdockerrunnamejenkinsitd\p8081:8080\p50000:50000\vjenkins:varjenkinshome\vvarrundocker.sock:varrundocker.sock\vusrlocalbindocker:usrbindocker\jenkinsjenkins:lts解决权限问题以root用户运行dockerexeciturootjenkinsbashusermodaGrootjenkinsidjenkinsuid1000(jenkins)gid1000(jenkins)groups1000(jenkins),0(root),1(daemon)调试流水线pipeline{agent{docker{image'mav...

前言事情是这样的，在某乎的邀请回答中看到了这个问题：然后当时我没多想就啪一下写下来这样的答案：这个其实要通过MySQL后台线程来刷的，在BufferPool中被修改的过的Page(页)都会被标记成脏页，放到一个链表(Flush链表)里。然后MySQL通过启动后台线程，在满足条件时将Flush链表中的脏页刷入磁盘。满足的条件是：脏页的数量达到了BufferPool中页数量的10%，当然10%这个值是可变的，通过配置项innodbmaxdirtypagespctlwm来配置的...

单体数据库时代，随着系统交易量的不断上升，数据库读写性能出现了严重下降。我们可以借助分库分表中间件，比如mycat、shardingjdbc来实现分库分表，缓解单库的读写性能。但是分库分表中间件并不支持事务，如果要保证数据一致性，就需要借助于分布式事务中间件，比如阿里巴巴的seata。后来分布式数据库逐渐成为解决数据一致性的选择，目前分布式数据库产品已经比较成熟，支持ACID事务，本文就来聊一聊分布式数据库。增加代理层...

Docker部署Jenkins前往DockerHub下载Jenkins长期支持版本镜像。查看官方的镜像历史(获取Jenkins相关信息)ARGhttpport8080ARGagentport50000ARGJENKINSHOMEvarjenkinshomeARGREFusrsharejenkinsrefENVJENKINSHOMEvarjenkinshomeENVJENKINSSLAVEAGENTPORT50000启动Jenkinsdockerrunnamejenkinsitd\p8081:8080\p50000:50000\vjenkins:varjenkinshome\jenkinsjenkins:ltsdockerlogsfjenkins查看日志并获取初始化密码安装向导我想很...

使用单个Dockerfile在CI中运行多个node版本，Docker在持续集成方面迈出了一大步。需要在CI主机中设置一百个工具或启动整个虚拟机的日子已经一去不复返了。现在，您只需安装Docker，就可以开始使用了大部分程序。针对不同的node.js版本测试项目。如何在Jenkins实现这一目标的。假设您有一个可以运行docker的Jenkins。类似于这样：dockerrunnamejenkinsitd\p8081:8080\p50000:50000\vjenkins:varjenkinshome\vvarrundocker.sock:v...

0.主从复制首先主从复制是什么简单来说是让一台MySQL服务器去复制另一台MySQL的数据，使两个服务器的数据保持一致。这种方式与Redis的主从复制的思路没有太大的出入。如果你对Redis的主从复制感兴趣可以去看看《Redis的主从复制》。那既然Redis和MySQL都采用了复制这种方式，主从复制所带来的意义是什么呢通过复制功能，构建一个或者多个从库，可以提高数据库的高可用性、可扩展性，同时实现负载均衡。当主库发生故障时，可以快...

一条sql就能让oracle挂了，真的是不敢相信啊，前几天生产上确实出现了这样一个故障，我们来一起做一个事件回放。系统介绍系统架构见下图：application1和application2是一个分布式系统中的2个应用，application1连接的数据库是database1，application2连接的数据库是database2，application2生产的数据要给application1做跑批使用。application1要获取database2的数据，并不是通过接口来获取的，而是直连database2来获取，因此a...

最近，confluent社区发表了一篇文章，主要讲述了Kafka未来的2.8版本将要放弃Zookeeper，这对于Kafka用户来说，是一个重要的改进。之前部署Kafka就必须得部署Zookeeper，而之后就只要单独部署Kafka就行了。[1]1.Kafka简介ApacheKafka最早是由Linkedin公司开发，后来捐献给了Apack基金会。Kafka被官方定义为分布式流式处理平台，因为具备高吞吐、可持久化、可水平扩展等特性而被广泛使用。目前Kafka具体如下功能：消息队列,Kafka...

单应用与环境多应用与环境CI持续集成首先，准备一个代码库：https:github.comDevOpsCICDCoursemicroservicescicdblobmainmicroservicedemoservicemaster.zip我们来梳理一下CI流水线的步骤：由于此次实现的代码仓库类型为单一存储库，即一个存储库存放多个服务模块代码，每个子目录为一个服务模块。首先，我们的持续集成流水线需要能够正确获取，当前的commit是哪个服务的代码。确定好服务，然后下载该服务的代码，进行编译打包...

volume是用于对Docker容器生成和使用的数据持久化的首选机制。如果您的容器生成非持久状态数据，请考虑使用tmpfs挂载以避免将数据永久存储在任何地方，并通过避免写入容器的可写层来提高容器的性能。默认容器的数据存储在这里我们在容器中创建一些模拟的数据，然后模式容器停止或删除后数据是否丢失。创建数据[rootmyserver]dockerpsCONTAINERIDIMAGECOMMANDCREATEDSTATUSPORTSNAMESa0316d74ef5dbulletinboard:1.0"dockerentryp...

背景在最近的项目中，有一个需求是对一个很大的数据库进行查询，数据量大概在几千万条。但同时对查询速度的要求也比较高。这个数据库之前在没有使用Presto的情况下，使用的是Hive，使用Hive进行一个简单的查询，速度可能在几分钟。当然几分钟也并不完全是跑SQL的时间，这里面包含发请求，查询数据并且返回数据的时间的总和。但是即使这样，这样的速度明显不能满足交互式的查询需求。我们的下一个解决方案就是Presto，在使用了Pr...

Jenkins是什么Jenkins是一种自动化工具。与他一起，可以创建工作来构建，测试和部署应用程序。可以在jenkins中创建管道。什么是管道管道是需要做的所有事情的步骤组成的脚本。例如：创建一个管道来构建代码。第一步是签出git代码，此后需要测试，构建，打包，创建docker映像并最终部署代码。对于Jenkins的第一步，让我们在机器中创建一个容器。您需要在机器上安装并运行docker。执行以下命令：dockerrun namejenkinscip8080:80...

在微服务项目中具有很多个服务模块，为了便于管理需要将项目规范化，使用GitLabGroup管理整个项目，每个project对应一个微服务，每个微服务对应一个Jenkinsjob。开始发布的时候需要我们在手动选择各个服务然后发布。模块很多的时候就不太方便了。创建一个Jenkins项目用来统一管理，绑定GitLabgroup信息，然后调用Gitlab接口获取project信息。用户选择要发布的微服务，然后根据服务名称并行触发每个要发布服务的流水线进行构建和...

不知道大家有没有想过下面这件事我们平时调用DELETE在MySQL中删除的数据都去哪儿了这还用问吗当然是被删除了啊那么这里又有个新的问题了，如果在InnoDB下，多事务并发的情况下，如果事务A删除了id1的数据，同时事务B又去读取id1的数据，如果这条数据真的被删除了，那MVCC拿啥数据返回给用户呢没错，这就需要了解一下MySQL的多版本并发的原理相关的东西，感兴趣的可以去看我之前写的这篇文章。所以，实际情况中，调用了DELETE语...

bitmap是redis的一种扩展数据类型，主要用于二值状态统计，比如公司记录员工打卡记录，电商网站记录用户登录行为，积分商城记录用户签到情况。bigmap底层使用的是String的数据结构，而String保存在计算机中的格式是二进制的字节数组，这样bitmap就充分利用了每个字节的bit位，大大节省了内存开销。下面我们看一下bitmap的使用。员工打卡假如一个公司有100个员工，公司要对员工11月份的打卡行为进行统计，我们可以为11月份每一天...