鸿蒙开发者社区

一、缓存无底洞现象生活中对无底洞的描述大概是这样：不断的投入，但没什么产出，对于键值类型的分布式缓存来说也有类似的问题，来看下面一段对话：这个其实就是典型的缓存无底洞问题，为了满足数据量的增长以及整体性能提升，集群规模一直变大，但批量操作反而性能下降，现在管理的Redis接近了50万个实例，这种问题还是比较多的其实早在2010年，Facebook已经遇到了类似这样的问题，当时Facebook的Memcached节点已经达到了3000...

“这篇文章，给大家聊一个硬核的技术知识，我们通过Kafka内核源码中的一些设计思想，来看你设计Kafka架构的技术大牛，是怎么优化JVM的GC问题的1、Kafka的客户端缓冲机制首先，先得给大家明确一个事情，那就是在客户端发送消息给kafka服务器的时候，一定是有一个内存缓冲机制的。也就是说，消息会先写入一个内存缓冲中，然后直到多条消息组成了一个Batch，才会一次网络通信把Batch发送过去。整个过程如下图所示：2、内存缓冲造成...

1、是否依赖Java系统自身内存处理数据先说明一点，不管是我们自己开发的Java应用系统，还是一些中间件系统，在实现的时候都需要选择是否基于自己Java进程的内存来处理数据。大家应该都知道，Java、Scala等编程语言底层依赖的都是JVM，那么只要是使用JVM，就可以考虑在JVM进程的内存中来放置大量的数据。还是给大家举个例子，大家应该还记得之前聊过消息中间件系统。比如说系统A可以给系统B发送一条消息，那么中间需要依赖一个消...

阿里云Lindorm数据库产品经理许力，给大家介绍阿里云Lindorm数据库面向工业场景的最佳实践案例，以及产品的特点，同样要结合行业背景以及客户需求来看待它，因此分享也就由三个主题组成：市场趋势、顺势而为、核心能力。市场趋势工业物联网、车联网行业的迅速发展，产生了大量的数据。评测报告显示，2025年实时数据将占到数据总量的30%，几乎所有实时数据都将由物联网系统产生，同时终端设备代码量激增，终端智能设备、传感器数...

一、背景目前快手有70w+的Redis实例，在线上的Redis集群，我们经常会碰到以下的一些情况：（1）由于键值设计不合理或者业务特性导致的热点问题（集群整体QPS不高，但是集群内某个实例的请求特别高），严重影响业务侧请求的返回时间（2）集群内某个实例直连集群连接数过多，单线程模型处理缓慢，影响其他的请求（3）集群内某个实例网络不稳定后者pipeline个数较多，导致协议解析频繁调用，导致cpu时间占用过长，影响其他的客户端...

在即将发布的PolarDBX5.4.14版本中，我们将基于OSS存储服务，推出冷热数据分离存储这一新功能。在这一功能的基础上，您可以便捷地将冷数据从源表中剥离出来，归档至更低成本的OSS中，形成一张归档表；归档表支持高效的主键与索引点查、复杂分析型查询，满足高可用、MySQL兼容性和任意时间点闪回等特性。您可以像访问MySQL表一样来访问归档表，也可以用开源大数据产品接入OSS的归档数据。为什么需要冷热分离？在数据库使用过程中...

近些年来各路KV缓存强势崛起，尤其Redis一骑绝尘，很多新进的程序员可能都没听说过Memcached，还有很多老程序员觉得Memcached不行：功能少，不持久化，高可用差，但事实并非如此，本文将对Redis和Memcached进行对比看看Memcached是不是真的”一无是处“了下面我们来看一个场景业务同学A：你好，我申请了一个20G，100000QPS的Memcached，麻烦审批下？业务同学B：hello，请问什么时候用Redis？什么时候用Memcached？业务同学C:Mem...

最近一年多开始“搞”ES(ElasticSearch)，遇到了很多“坑”，希望和大家也一起分享下，由于接触时间不长，如有问题麻烦联系我及时指出。ElasticSearch除了在日志场景（监控、数据分析、debug）等场景大量使用以外，最近一年多在很多核心上的线上业务（譬如电商业务）大量使用，目前接近了5000个节点，目前在dbranking（20201124日），ElasticSearch在searchengine中常年第一：对于MySQL、Redis这类存储缓存许多开发同学多有很强...

一、Redis6.2RC1发布2020年12月14日，Redis发布了6.2的第一个RC版本，是Redis作者antirez”辞职“后，由Redis核心团队发布的第一个版本。该版本没有太多惊艳新的特性（比如Redis6.0提供了多线程、ACL、RESP3等等），但提供了很多新的命令和功能改进，其中比较重要的有几个：•一些新的命令：SMISMEMBER、ZMSCORE、LMOVE、GEOSEARCH（支持按照矩形搜索，阿里云团队开发）等•rehash可能造成的evict问题（小概率问题，但...

如果你是一位后端工程师，面试时八成会被问到Redis，特别是那些大型互联网公司，不仅要求面试者能简单使用Redis，还要深入理解其底层实现原理，具备解决常见问题的能力。可以说，熟练使用Redis就是后端工程师的必备技能。但我发现，在工作或面试时，大家还是会有这样那样的疑问，比如：如何用Redis实现分布式锁？Redis怎样处理过期键？缓存雪崩、穿透、热点问题怎么解决？持久化、集群方案怎么选择？如何优雅地给Redis做键值分...

Redis作为稳居世界排名第一的键值内存数据库，同时也是最受欢迎的开源缓存产品，是应对高并发、大流量、低延迟业务场景的不二选择。2020年7月，伴随着Redis作者SalvatoreSanfilippo辞去项目领导者职务，Redis正式交付给社区，通过核心团队的机制来进行运作。阿里云技术专家赵钊（花名：仲肥）受邀成为全球5位核心成员之一，同时赵钊也是唯一一位来自中国乃至亚太市场的成员。他从Redis4.0开始，参与到Redis社区的开发，同时也是...

Kvrocks是基于RocksDB之上兼容Redis协议的NoSQL存储服务，设计目标是提供一个低成本以及大容量的Redis服务，作为Redis在大数据量场景的互补服务，选择兼容Redis协议是因为简单易用且业务迁移成本低。目前线上使用的公司包含:美图、携程、百度以及白山云等，在线上经过两年多大规模实例的验证。项目核心功能包含:•兼容Redis协议•支持主从复制•支持通过Namespace隔离不同业务的数据•高可用，支持RedisSentine...

一背景为了满足数据库在并发请求下的事务隔离性和一致性要求，同时针对MySQL插件式多种存储引擎都能发挥作用，MySQL在Server层实现了MetadataLocking（MDL）机制。达到的效果比如可以在事务访问数据库的某种资源时，限制其他并发事务删除该资源。这是一种逻辑意义上的锁，与操作系统内核提供的有限种类mutex不同，MDL可以灵活自定义锁的对象、锁的类型以及不同锁类型的优先级，甚至可以做到在系统不同状态时动态调整不同锁类型...

前言随着云服务平台的IaaS能力不断发展升级，用户数据规模的不断膨胀，主流的数据库产品都在往云化、服务化发展。云原生这个词已经和数据库紧密结合在了一起，云服务厂商们都在致力于打造自己的云原生数据库产品矩阵。阿里云数据库ClickHouse自从上线以来，已经走过了两年多的时间，期间我们积淀了大量的云上客户案例，在长期的客户服务支持中也对ClickHouse数据库生态有了非常深刻的认知。在充分了解现有产品的生态和客户实践...

背景前阵子某个客户反馈他的RDSPostgreSQL无法写入，报错信息如下：postgresselectfromtest;id(0rows)postgresinsertintotestselect1;ERROR:databaseisnotacceptingcommandstoavoidwraparounddatalossindatabase"xxxx"HINT:Stopthepostmasterandvacuumthatdatabaseinsingleusermode.Youmightalsoneedtocommitorrollbackoldpreparedtransactions.随后RDS工程师介入处理以后，该问题立马得到了解决。XID基础原理XID定义XID（Trans...

经常能碰到这样的问题：Redis的持久化功能被夸大和误解了，这个问题我解释过无数遍了，早就想写个说明了，今天“忍不了”，和大家聊聊我的一些认知，欢迎大佬们吐槽。一、Redis”3“种持久化方式1.RDB简单来说，对Redis做一个快照(利用fork)保存在磁盘上(1)优点：•结构紧凑体积小，加载速度快（相比AOF）•可以做定期备份：例如低峰期（顺便搞个数据分析也行）(2)缺点：•动作大、消耗大：全量操作对于磁盘、CPU、...

由于诸多原因，现在已经很少能长篇大论介绍Redis的相关技术，但日常工作以及脑子中经常想整理和总结一些Redis的点点滴滴，既能帮助自己记录问题，又能帮助他人减少碰到类似问题，于是有个想法，准备写一个小的系列：Redis小功能大用处。本文将介绍Redis5后一个新的配置replicaignoremaxmemory(默认开启)一、问题1.现象：•缓存场景：允许逐出，常年逐出。•主从不一致：主从键值个数不一致。•故障切换后，命中率下...

大家好，我是moon。redis作为我们最常用的内存数据库，很多地方你都能够发现它的身影，比如说登录信息的存储，分布式锁的使用，其经常被我们当做缓存去使用。可是，用了这么久的reids，你懂它吗1.什么是redis它能做什么redis:redis即RemoteDictionaryServer，用中文翻译过来可以理解为远程数据服务或远程字典服务。其是使用C语言的编写的keyvalue存储系统应用场景:缓存，数据库，消息队列，分布式锁，点赞列表，排行榜等等2.red...

大家好，我是moon，作为在消息中间件中拥有神一样地位的kafka，你真的了解它吗1.什么是消息中间件消息中间件是基于队列与消息传递技术，在网络环境中为应用系统提供同步或异步、可靠的消息传输的支撑性软件系统。消息中间件利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型，它可以在分布式环境下扩展进程间的通信。2.kafka是什么有什么作用Kafka是一...

简介我们知道redis是一个非常常用的内存型数据库，数据从内存中读取是它非常高效的原因之一，那么但是如果有一天，「redis分配的内存满了怎么办」遇到这个面试题不要慌，这种问题我们分为两角度回答就可以：「redis会怎么做」「我们可以怎么做」增加redis可用内存这种方法很暴力，也很好用，我们直接通过增加redis的可用内存就可以了，有两种方式「通过配置文件配置」设置redis最大占用内存大小为1000Mmaxmemory1000mb通过在red...