鸿蒙开发者社区

可调一致性产生的背景通常讲到一个数据库系统的时候，在单机系统都很容易达到强一致的状态。但是在分布式的系统中会产生各种各样的情况。所以为了应对这些不同的情况，需要能够通过不同的配置来实现更合理的应对方式。第一种情况弱一致：数据会先到达一个节点，再到达其他节点，这样会导致每一个节点的数据新旧程度不一样。第二个情况部分失效：可能会有部分节点失效在一定的时间。第三种情况网络区分：可能会有不同的网络中断...

有一种说法，生命中唯一不变的东西就是变化。这同样适用于数据库模式。我们会想要获取我们曾经认为不需要的信息。或者一些新上线的服务需要包含在数据库记录中。不管变更背后的原因是什么，一段时间之后，我们不可避免地需要对应用程序中的底层模式设计进行更改。虽然这经常会在传统的表格数据库系统中带来一些挑战甚至是麻烦，但在MongoDB中，我们可以使用模式版本控制来简化这一过程。如前所述，在一个表格式数据库中更新数据...

1、介绍本文讨论保护MongoDB数据库所需的访问控制。具体来说，我们可以使用这些特性来确保只有经过授权的用户才能访问数据库。每个MongoDB用户应该只能访问他们在组织中所扮演的角色所需要的数据，这由组织中负责管理数据安全的人员来决定。这是管理数据和遵守国际要求所必需的良好特质。1.1访问控制访问控制确保访问数据库的人员得到明确的标识，并且能够访问、更新或删除他们有权访问的数据。这是我们将在本文中讨论的主题。...

MongoDB是NoSQL排名第一的数据库，Docker是最流行的容器引擎，Kubernetes是谷歌开源的容器编排工具！Kubernetes和Docker使MongoDB的开发运维部署变得更加简单和强大。1Docker背景介绍想快速安装MongoDB吗？现在只需要执行一个Docker命令，就能快速启动一个轻量级，独立的沙盒;在多个不同的服务器环境中搭建集群，快速部署相同的应用？使用Docker容器会非常的简单，构建自己的Docker容器映像，让开发，测试，运营和支持团队启动...

数据库，例如MongoDB，非常擅长查询大量数据并进行频繁更新。然而，在大多数情况下，我们只针对数据的最新状态执行查询。那如果有些场景下我们需要查询数据的以前状态呢？如果我们需要一些文档的版本控制功能怎么办？这就是我们可以使用文档版本控制模式的地方。这个模式的关键是保持文档的版本历史记录处于可用状态。我们可以构建一个专用的版本控制系统和MongoDB配合使用。这个系统用于处理少数文档的更改，而MongoDB用于处理...

想象一下这样的场景：当工作劳累了一天，你已经准备好收拾行李回家的时候，下面这句话突然冒了出来:突然一种沉重的感觉油然而生，这个不可能呀，怎么会发生在我身上呢！然而，您公司的数据库中的真实数据被删除，并被黑客将数据备份到另一台服务器。欢迎来到MongoDB启示录!从2016年12月到2017年第一季度，这样的故事太常见。2017年第一季度，近3万个MongoDB数据库被黑客入侵、删除，并提出了赎金要求。虽然在大多数情况下，黑客...

背景生产线上使用MongoDBSharidng的场景非常多，但由于业务初期评估不到位或者业务发展不符合预期，为了管理起来更方便，可能需要将Sharding改造为复制集。我就针对生产级业务环境需求提供最小影响服务将分片改造为复制集（含减分片场景）的解决方案。首先，我提供两种可选方案：>1）如果有同步工具支持，可以选择从分片全量+增量的方式同步到复制集，然后选个时间点切换；>2）从集群中减分片(removeShard)，最后只保留一个shar...

假设现在有一个相当规模的城市，大约有3.9万人。人口的确切数字是相当不稳定的，人们会搬入搬出、有婴儿会出生、有人会死亡。我们也许要花上整天的时间来得到每天确切的居民数量。但在大多数情况下，39,000这个数字已经“足够好”了。同样，在许多我们开发的应用程序中，知道“足够好”程度的数字就可以了。如果一个“足够好”的数字就够了，那么这就是一个应用近似值模式的好机会。近似值模式在所需要的计算非常有挑战性或消耗...

背景介绍最近微服务架构火的不行，但本质上也只是风口上的一个热点词汇。作为笔者的经验来说，想要应用一个新的架构需要带来的变革成本是非常高的。尽管如此，目前还是有许多企业踏上了服务化改造的道路，这其中则免不了”旧改”的各种繁杂事。所谓的”旧改”，就是把现有的系统架构来一次重构，拆分成多个细粒度的服务后，然后找时间升级割接一把，让新系统上线。这其中，数据的迁移往往会成为一个非常重要且繁杂的活儿。>拆分...

前言：​微服务是一个软件架构模式，对微服务的讨论大多集中在容器或其他技术是否能很好的实施微服务，而本文将从以下几个角度来和大家分享在微服务架构下进行数据设计需要关注的地方，旨在帮助大家在构建微服务架构时，提供一个从数据方面的视角：微服务定义微服务的优势及架构特点微服务架构下的数据设计选择一个合适的数据库什么是微服务？按照MartinFowler的定义，微服务是一个软件架构模式，通过开发一系列的小型服务的方...

本文对于Mongodb上层事务中会让人困惑的几点进行源码层面的分析mongodb的写操作（insertupdatedelete）提供的“单行一致性”的具体含义，如何做到的？为何db.coll.count()在宕机崩溃后经常就不准了。mongodb查询操作的事务隔离级别。写操作的事务性Mongodb的数据组织在了解写操作的事务性之前，需要先了解mongo层的每一个table，是如何与wiredtiger层的table（btree）对应的。mongo层一个最简单的table包含一个ObjectId(id)索引...

孤儿文档的形成有2种原因：①正常的shard之间chunk均衡迁移，会产生孤儿文档，这个孤儿文档会在迁移结束后自动异步删除。②shard之间发生chunk均衡迁移的过程中，其中一些副本集发生failover，可能会导致迁移失败，产生孤儿文档。定位问题使用环境：MongoDB4.2.9分片集群研发反馈通过id查询2条数据，但实际返回了3条，并且这个id是唯一的，具体问题如下：接下来，DBA在mongos上查询如下结果（结果是2条）：这个结果明显和研发查...

当前实时数据同步的应用场景较多，实现方式主要有两种，一是数据库厂家本身提供了实时数据捕获工具，如Oracle的OGG等；另外一种是实时解析数据库的事务日志，获取到实时变化的数据后进行同步，如FlinkCDC等。对于MongoDB复制集来说，默认情况下，成员间通过Oplog实现的数据同步是有延迟的。因此，为了实现数据的实时同步，且能将数据同步到异构系统中，从3.6版本开始，MongoDB提供了ChangeSteams功能，允许用户非常方便地将实时...

作者：A.JesseJiryuDavis译者：孔德雨对于一个MongoDB的复杂查询，如何才能创建最好的索引？在本篇文章中，我将展现一种给读请求定制的索引优化方法，这种方法会考虑读请求中的比较，排序以及范围过滤运算，并展示符合索引中字段顺序的最优解。我们将通过研究explain()命令的输出结果来分析索引的优劣，并学习MongoDB的索引优化器是如何选择一个索引的。构建MongoDB使用场景假设我们现在要基于MongoDB做一个类似于Disqus的评论...

前段时间笔者遇到一个MongoBDPlanCache的bug，于是深究了下MongoDB优化器相关源码。在这里分享给大家，一方面让大家知道MongoDB优化器工作原理，一方面就是避免踩坑。首先帖一下笔者反馈给官方的bug地址：​​https:jira.mongodb.orgbrowseSERVER34785​​注意目前官方仍在修复中，最新动态可参考：​​https:jira.mongodb.orgbrowseSERVER32452​​接下来我们就进入正题，本文分为以下4个章节：背景MongoDB生成执行计划是如何...

本文主要讨论这几个问题：基本架构适用场景搭建步骤小结基本架构本文将描述如何利用ApacheKafka(消息中间件)，ApacheNifi(数据流转服务)两个组件，通过Nifi的可视化界面配置，快速构建异步持久化MongoDB架构。Kafka和Nifi都是Apache组织下的顶级开源项目。其中Kafka来自LinkedIn，是一个高性能的分布式消息系统。Nifi来自NSA(美国国家安全局)，是一个功能强大，提供可视化配置，支持分布式的数据流转服务(不仅仅是一个ETL工具)...

前言不知道大家在使用MongoDB的时候有没有遇到突然想要一个集群但是手边又没有的时候？特别是我已经升级到4.0了，突然想要一个3.2的集群怎么办？然后去下载，改配置文件，启动，修改复制集，添加分片，一番折腾弄好了连自己想干什么都忘了。本文中我们就来聊一聊如何使用mlaunch和m两个工具快速搭建一个MongoDB测试集群。准备工作安装mtools​​mtools​​​是用于MongoDB的一系列工具，mlaunch就是其中用于快速启动MongoDB的一...

背景某运营商搭建了一套MongoDB集群，承载了大大小小的几十个非计费类应用，1亿左右的用户量，随着访问量的增加，业务繁忙时期偶尔出现连接拒绝的错误。分析为了搞清楚原因，先从mongo访问数据库的模式说起，如下图：我们发现客户端的请求是通过驱动连接到mongos或mongod的。如果有多个实例化的MongoClient，那么就会有多个对应的连接池。通过调试看到MongoClient的连接池大小默认值为100。可以在代码里面通过MaxConnectionPool...

分布式系统，尤其是分布式存储系统，需要解决的两个最主要的问题即数据分片和数据冗余，下图形象生动地解释了其概念和区别：图片来源于：http:book.mixu.netdistsysintro.html其中数据A、B即属于数据分片，原始数据被拆分成两个正交子集分布在两个节点上。而数据集C属于数据冗余，同一份完整的数据在两个节点都有存储。当然，在实际的分布式系统中，数据分片和数据冗余一般都是共存的。本文主要讨论数据分片的三个问题：如何做...

作者：RobertWalters译者：刘东华(MartinLiu)时间序列数据日益成为现代应用的核心想想物联网，股票交易，点击流，社交媒体等。随着从批量处理系统向实时系统的转变，有效捕获和分析时间序列数据可以使组织在竞争对手之前更好地检测和响应事件，或提高运营效率以降低成本和风险。使用时间序列数据通常与常规应用程序数据不同，您应该遵循最佳实践。本系列博客旨在提供这些最佳实践，帮助您在MongoDB上构建时间序列应用程序：介绍...