鸿蒙开发者社区

背景在最近的项目中，有一个需求是对一个很大的数据库进行查询，数据量大概在几千万条。但同时对查询速度的要求也比较高。这个数据库之前在没有使用Presto的情况下，使用的是Hive，使用Hive进行一个简单的查询，速度可能在几分钟。当然几分钟也并不完全是跑SQL的时间，这里面包含发请求，查询数据并且返回数据的时间的总和。但是即使这样，这样的速度明显不能满足交互式的查询需求。我们的下一个解决方案就是Presto，在使用了Pr...

volume是用于对Docker容器生成和使用的数据持久化的首选机制。如果您的容器生成非持久状态数据，请考虑使用tmpfs挂载以避免将数据永久存储在任何地方，并通过避免写入容器的可写层来提高容器的性能。默认容器的数据存储在这里我们在容器中创建一些模拟的数据，然后模式容器停止或删除后数据是否丢失。创建数据[rootmyserver]dockerpsCONTAINERIDIMAGECOMMANDCREATEDSTATUSPORTSNAMESa0316d74ef5dbulletinboard:1.0"dockerentryp...

在微服务项目中具有很多个服务模块，为了便于管理需要将项目规范化，使用GitLabGroup管理整个项目，每个project对应一个微服务，每个微服务对应一个Jenkinsjob。开始发布的时候需要我们在手动选择各个服务然后发布。模块很多的时候就不太方便了。创建一个Jenkins项目用来统一管理，绑定GitLabgroup信息，然后调用Gitlab接口获取project信息。用户选择要发布的微服务，然后根据服务名称并行触发每个要发布服务的流水线进行构建和...

如果你是一个有经验的后端或者服务器开发，那么一定听说过Redis，其全称叫RemoteDictionaryServer。是由C语言编写的基于KeyValue的存储系统。说直白点就是一个内存数据库，既然是内存数据库就会遇到如果服务器意外宕机造成的数据不一致的问题。这跟很多游戏服务器也是一样的，感兴趣的可以参考我之前的文章游戏服务器和Web服务器的区别。其数据首先会流向内存，基于快速的内存读写来实现高性能，然后定期将内存的数据中的数据落...

Jenkins是什么Jenkins是一种自动化工具。与他一起，可以创建工作来构建，测试和部署应用程序。可以在jenkins中创建管道。什么是管道管道是需要做的所有事情的步骤组成的脚本。例如：创建一个管道来构建代码。第一步是签出git代码，此后需要测试，构建，打包，创建docker映像并最终部署代码。对于Jenkins的第一步，让我们在机器中创建一个容器。您需要在机器上安装并运行docker。执行以下命令：dockerrun namejenkinscip8080:80...

又到了金三银四跳槽季，好多同学已经开始行动了。今天我来助力一把，送出这套redis面试题，助力大家通关。1redis为什么响应快1.1数据保存在内存中redis数据保存在内存中，读写操作只要访问内存，不需要磁盘IO。1.2.底层数据结构redis的数据以key:value的格式存储在散列表中，时间复杂度o(1)。redis为value定义了丰富的数据结构，包括动态字符串、双向链表、压缩列表、hash、跳表和整数数组，可以根据value的特性选择选择最高效...

这几天，kubernetes社区发生了一件大事，1.20版本宣布放弃docker，圈内一下子炸锅了。我们看一下官方描述：Dockersupportinthekubeletisnowdeprecatedandwillberemovedinafuturerelease.Thekubeletusesamodulecalled"dockershim"whichimplementsCRIsupportforDockerandithasseenmaintenanceissuesintheKubernetescommunity.WeencourageyoutoevaluatemovingtoacontainerruntimethatisafullfledgedimplementationofCRI(v1alpha1or...

之前发过一篇文章，简单了解MySQL中相关的锁，里面提到了，如果我们使用的MySQL存储引擎为InnoDB，并且其事务隔离级别是RR可重复读的话，是可以避免幻读的。但是没想到，都1202年了都还有人杠，说InnoDB的RR隔离级别下会出现幻读，只能依靠gap和nextkey这两个锁来防止幻读，最开始我还以为是他真的不知道这个点，就跟他聊，最后聊下来发现，发现是在钻牛角尖。这个在下面讲到可重复读的隔离级别时会讲。本来我觉得事务隔离级别...

bitmap是redis的一种扩展数据类型，主要用于二值状态统计，比如公司记录员工打卡记录，电商网站记录用户登录行为，积分商城记录用户签到情况。bigmap底层使用的是String的数据结构，而String保存在计算机中的格式是二进制的字节数组，这样bitmap就充分利用了每个字节的bit位，大大节省了内存开销。下面我们看一下bitmap的使用。员工打卡假如一个公司有100个员工，公司要对员工11月份的打卡行为进行统计，我们可以为11月份每一天...

不知道大家有没有想过下面这件事我们平时调用DELETE在MySQL中删除的数据都去哪儿了这还用问吗当然是被删除了啊那么这里又有个新的问题了，如果在InnoDB下，多事务并发的情况下，如果事务A删除了id1的数据，同时事务B又去读取id1的数据，如果这条数据真的被删除了，那MVCC拿啥数据返回给用户呢没错，这就需要了解一下MySQL的多版本并发的原理相关的东西，感兴趣的可以去看我之前写的这篇文章。所以，实际情况中，调用了DELETE语...

之前写了一些关于MySQL的InnoDB存储引擎的文章，里面好几次都提到了页(Pages)这个概念，但是都只是简要的提了一下。例如之前在聊InnoDB内存结构时提到过，但当时的重点是内存架构，就没有展开深入。我发现有好几次都需要提到页，那我就正好拿一篇来详细的讲讲InnoDB中的页。页是什么首先，我们需要知道，页(Pages)是InnoDB中管理数据的最小单元。BufferPool中存的就是一页一页的数据。再比如，当我们要查询的数据不在BufferPool...

本篇博客主要介绍了自动化工具这个概念，在微服务集群当中的作用，算抛砖引玉，欢迎大家提出自己的见解。写在前面在了解自动化工具的概念之前，我们先了解一下微服务和集群的概念。什么是微服务这个概念其实有些广泛，而我的知识广度也有限，我会尽量用通俗的语言来描述什么是微服务，什么是集群，以及为什么我们需要微服务集群。为什么需要集群可以去看看《小强开饭店从单体应用到微服务》，这篇文章用非常通俗的语言和配图，...

本文主要是带大家快速了解InnoDB中锁相关的知识为什么需要加锁首先，为什么要加锁我想我不用多说了，想象接下来的场景你就能GET了。你在商场的卫生间上厕所，此时你一定会做的操作是啥锁门。如果不锁门，上厕所上着上着，啪一下门就被打开了，可能大概也许似乎貌似有那么一丁点的不太合适。数据也是一样，在并发的场景下，如果不对数据加锁，会直接破坏数据的一致性，并且如果你的业务涉及到钱，那后果就更严重了。锁门表情包锁...

MattermostJira集成可确保在正确的时间将通知发送给正确的团队和人员，使他们能够在不离开Mattermost的情况下进行项目管理配置。MattermostMattermost是为开发团队推动创新而构建的开源消息传递平台。支持私有云部署在不牺牲隐私的情况下提供了现代通信的优势。Mattermost为企业提供了自治能力和可扩展性，使他们能够在满足需求的同时提高生产力IT和安全团队的要求。Mattermost可轻松与流行的DevOps工具集成，例如Jira，Jenkins...

Netflix是业界微服务和DevOps组织的楷模，有大规模生产级微服务的成功实践。微服务有些公司甚至比Netflix做得更早，但Netflix大概是大规模生产级微服务做得最杰出的。Netflix在开源社区有着非常大的贡献，发布了很多开源工具去做部署、打包等各种功能。Spinnaker是Netflix的一个开源项目，来做混合云环境部署，能够实现跨云平台的部署任务的编排。在Netflix使用Spinnaker每天发布4000次变更到亚马逊的机器上。谷歌云也在用Spinn...

之前的文章介绍了Redis的简单数据结构的相关使用和底层原理，这篇文章我们就来聊一下Redis应该如何保证高可用。数据持久化我们知道虽然单机的Redis虽然性能十分的出色，单机能够扛住10w的QPS，这是得益于其基于内存的快速读写操作，那如果某个时间Redis突然挂了怎么办我们需要一种持久化的机制，来保存内存中的数据，否则数据就会直接丢失。Redis有两种方式来实现数据的持久化，分别是RDB(RedisDatabase)和AOF(AppendOnlyFile)...

单表的数据量如果太大，会影响到读写性能。我们可以使用分库分表来解决单表的性能问题。Oracle的分区表是将一张大表在物理上分成几张较小的表，从逻辑上来看仍然是一张完整的表。这样每次DML操作可以只考虑其中一张分区表。oracle建议单表大小超过2GB时就使用分区表。今天我们就来聊一聊分区表的使用。分区类型范围分区范围分区是最常用的分区方法，它使用分区键来作为划分分区的依据，分区键可以使用时间、id等易于比较的字段...

之前的文章简单的介绍了MySQL的事务隔离级别，它们分别是：读未提交、读已提交、可重复读、串行化。这篇文章我们就来探索一下MySQL事务隔离级别的底层原理。本篇文章针对InnoDB存储引擎多版本并发控制我们知道，读未提交会造成脏读、幻读、不可重复读，读已提交会造成幻读、不可重复读，可重复读可能会有幻读，和串行化就不会有这些问题。那InnoDB到底是怎么解决这些问题的呢又或者，你有没有想过造成脏读、幻读、不可重复读的...

由于MySQL的整个体系太过于庞大，文章的篇幅有限，不能够完全的覆盖所有的方面。所以我会尽可能的从更加贴进我们日常使用的方式来进行解释。小白眼中的MySQL首先，对于我们来说，MySQL是个啥我们从一个最简单的例子来回顾一下。这可能就是最开始大家认知中的MySQL。那MySQL中是怎么处理这个查询语句的呢换句话说，它是如何感知到这串字符串是一个查询语句的它是如何感知到该去哪张表中取数据它是如何感知到该如何取数据到目前为...

之前的文章把InnoDB中的所有的锁都介绍了一下，包括意向锁、记录锁...自增锁巴拉巴拉的。但是后面我自己回过头去看的时候发现，对自增锁的介绍居然才短短的一段。其实自增锁(AUTOINCLocks)这块还是有很多值得讨论的细节，例如在并发的场景下，InnoDB是如何保证该值正确的进行自增的，本章就专门来简单讨论一下InnoDB中的自增锁。什么是自增锁之前我们提到过，自增锁是一种比较特殊的表级锁。并且在事务向包含了AUTOINCREMENT列...