51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
IT证书
公众号矩阵
移动端
短视频
免费课程
课程排行
直播课
软考学堂
全部课程
厂商认证
IT技术
2024年软考
PMP项目管理
软考资讯
在线学习
文章
资源
问答
课堂
专栏
直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
鸿蒙开发者社区
首页
帖子
问答
资源
课堂
直播
发现
登录/注册
51CTO
中国优质的IT技术网站
51CTO博客
专业IT技术创作平台
51CTO学堂
IT职业在线教育平台
活动
短视频
专栏
极客Show
鸿蒙技术特刊
我的关注
全部帖子
操作系统
OpenHarmony
HarmonyOS
其他
应用开发
卡片开发
三方件
IDE
其他
设备开发
海思开发板
树莓派
其他
框架语言
C/C++
Java
JavaScript
ArkUI / eTS
其他
其他
物联网
云原生
数据库
操作系统
大数据
人工智能
开发语言
其他
社区版务
社区公告
社区生活
意见反馈
社区规则
社区活动
默认
发布时间
热度
原创
精华
热门标签
认证
技术团队
企业
Redis 7.0 Multi Part AOF的设计和实现
Redis作为一种非常流行的内存数据库,通过将数据保存在内存中,Redis得以拥有极高的读写性能。但是一旦进程退出,Redis的数据就会全部丢失。为了解决这个问题,Redis提供了RDB和AOF两种持久化方案,将内存中的数据保存到磁盘中,避免数据丢失。本文将重点讨论AOF持久化方案,以及其存在的一些问题,并探讨在Redis7.0(已发布RC1)中MultiPartAOF(下文简称为MPAOF,本特性由阿里云数据库Tair团队贡献)设计和实现细节。一AOFAOF(a...
p_wdn
0回复
3343浏览
Redis
Mysql索引-B+树是如何生长的
分享概要本次分享儒猿专栏《从零开始带你成为MySQL实战优化高手》中Mysql索引的内容。本次会先从一个数据页中如何存储和查询数据开始,拓展到多个数据页中查询数据,分析无索引查询时的低效率问题,然后通过页分裂过渡到主键目录以及索引页相关内容,见证一颗索引树是如何一步步生长起来的。最后站在更高的角度看下常见的一些索引名词、索引的优缺点以及如何才能设计出更好的索引来,开始分析前我们先来思考下如下的一些面试题...
yjfhd
0回复
4305浏览
Mysql索引
B+树
8张图,5大组件!了解MySQL查询语句执行过程。
开篇相信广大程序员朋友经常使用MySQL数据库作为书籍持久化的工具,我们最常使用的就是MySQL中的SQL语句,从客户端向MySQL发出一条条指令,然后获取返回的数据结果进行后面的逻辑处理。尽管大家经常使用SQL语句完成工作,你是否关注过其执行的阶段,利用了哪些技术完成今天,就带大家一起看看MySQL数据库处理SQL请求的全过程。下面将会讲述如下内容:查询请求在MySQL中的处理流程MySQL中处理SQL的组件介绍,包括:连接器查询缓...
yjfhd
0回复
4919浏览
MySQL
查询语句
PolarDB for PostgreSQL 内核解读 :HTAP架构介绍
在PolarDB存储计算分离的架构基础上我们研发了基于共享存储的MPP架构具备了HTAP的能力,对一套TP的数据支持两套执行引擎:单机执行引擎用于处理高并发的OLTPMPP跨机分布式执行引擎用于复杂的OLAP查询,发挥集群多个RO节点的算力和IO吞吐能力本文整理自《开源学堂:PolarDBforPostgreSQL内核解读——HTAP架构介绍》直播分享。存储计算分离架构首先我们先来了解一下PolarDB的架构,从上图中可以看到,左侧是计算存储一体化,传统...
p_wdn
0回复
4697浏览
PolarDB
PostgreSQL
云原生
一杯茶的功夫,上手Redis持久化机制
开篇Redis作为最常用的内存数据库,通常来说数据存储在内存中,为了避免Redis服务器进程退出导致内存中的数据消失。Redis提出了持久化机制,也就是把内存中的数据保存到磁盘中,从而提高数据存储的可靠性。为此主流数据库会提供两类持久化方案,它们是“快照”存储和“日志”存储。相应地Redis提供了RDB持久化和AOF持久化与之对应。其中RDB是以快照的方式存储内存数据到磁盘上,而AOF是以日志追加的方式进行存储。下面就围绕这...
yjfhd
0回复
3919浏览
Redis
持久化机制
10张图告诉你,MySQL 是如何查找数据的?
“最高的10个”同学,或者想查找姓名是“张三”的同学,又或者是查找学号是“666”的同学等等,在这些场景中,我们来分别罗列一下一些可行的方案。一找出个子“最高的10个”同学•如果全校学生数量不多的话,把全校的同学都拉到操场由矮到高依次排队,排在最后的10个同学自然就是个子最高的。•先在各个班级内部排队比较,找出本班级内个子最高的10个同学,然后把每个班级选出来的10个人拉到操作去排队,排在最后的10个...
yjfhd
0回复
4457浏览
MySQL
查找数据
没那么简单的分库分表:高并发下数据库架构设计的那些坑!
“这篇文章,我们来聊一下对于一个支撑日活百万用户的高并系统,他的数据库架构应该如何设计看到这个题目,很多人第一反应就是:分库分表啊!但是实际上,数据库层面的分库分表到底是用来干什么的,他的不同的作用如何应对不同的场景,我觉得很多同学可能都没搞清楚。(1)用一个创业公司的发展作为背景引入假如我们现在是一个小创业公司,注册用户就20万,每天活跃用户就1万,每天单表数据量就1000,然后高峰期每秒钟并发请求最多...
yjfhd
0回复
4486浏览
数据库
分库分表
Redis2.8-4.0过期键优化详解
之前白馨(陌陌技术保障部存储工程师)在Redis技术交流群里,总结了一下Redis从2.84.0关于过期键相关的fix记录,非常有帮助,但有些东西未尽详细,本文将进行详细说明。先从一个问题来看,运行环境如下:从下图中可以看到,在从节点gethello非空,在主节点gethello为空,之后从节点gethello为空,经排查主从同步offset基本正常,但出现了主从不一致。原因先不说,本文来探讨下Redis2.84.0版本迭代中,针对过期键的fix,看看能不能...
vincent0809
0回复
3327浏览
Redis
双11狂欢的背后:微服务注册中心如何承载大型系统的千万级访问?
一、问题起源SpringCloud架构体系中,Eureka是一个至关重要的组件,它扮演着微服务注册中心的角色,所有的服务注册与服务发现,都是依赖Eureka的。不少初学SpringCloud的朋友在落地公司生产环境部署时,经常会问:EurekaServer到底要部署几台机器我们的系统那么多服务,到底会对EurekaServer产生多大的访问压力EurekaServer能不能抗住一个大型系统的访问压力如果你也有这些疑问,别着急!咱们这就一起去看看,Eureka作为微服务注...
yjfhd
0回复
3467浏览
微服务
Eureka
Kafka 面试必问:聊聊 acks 参数对消息持久化的影响!
(0)写在前面面试大厂时,一旦简历上写了Kafka,几乎必然会被问到一个问题:说说acks参数对消息持久化的影响这个acks参数在kafka的使用中,是非常核心以及关键的一个参数,决定了很多东西。所以无论是为了面试还是实际项目使用,大家都值得看一下这篇文章对Kafka的acks参数的分析,以及背后的原理。(1)如何保证宕机的时候数据不丢失如果要想理解这个acks参数的含义,首先就得搞明白kafka的高可用架构原理。比如下面的图里就是表...
yjfhd
0回复
3930浏览
Kafka
acks 参数
30K以内Java必问:一个关于MySQL索引的面试六连炮!
1、面试真题MySQ索引的原理和数据结构能介绍一下吗b+树和b树有什么区别MySQL聚簇索引和非聚簇索引的区别是什么他们分别是如何存储的使用MySQL索引都有哪些原则MySQL复合索引如何使用2、面试官心理分析数据库是30k以内的工程师面试必问的问题,而且如果问数据库,一定是问mysql,N年前可能java工程师出去面试,oracle这块的技能是杀手锏,现在已经没人说,会oracle是加分项了,现在都是熟悉大数据hadoop、hbase等技术是加分项。3...
yjfhd
0回复
3634浏览
MySQL
索引
什么是读写锁?微服务注册中心是如何进行读写锁优化的?
一、读写锁的介绍本文我们来聊一下读写锁。所谓的读写锁,就是将一个锁拆分为读锁和写锁两个锁,然后加锁的时候,可以加写锁,也可以加读锁。如下面代码所示:如果有一个线程加了写锁,那么其他线程就不能加写锁了,同一时间只能允许一个线程加写锁。因为加了写锁就意味着有人要写一个共享数据,那同时就不能让其他人来写这个数据了。如果有线程加了写锁,其他线程就不能加读锁了,因为既然都有人在写数据了,你其他人当然不能...
yjfhd
0回复
4826浏览
微服务
读写锁优化
缓存无底洞问题优化
一、缓存无底洞现象生活中对无底洞的描述大概是这样:不断的投入,但没什么产出,对于键值类型的分布式缓存来说也有类似的问题,来看下面一段对话:这个其实就是典型的缓存无底洞问题,为了满足数据量的增长以及整体性能提升,集群规模一直变大,但批量操作反而性能下降,现在管理的Redis接近了50万个实例,这种问题还是比较多的其实早在2010年,Facebook已经遇到了类似这样的问题,当时Facebook的Memcached节点已经达到了3000...
vincent0809
0回复
3883浏览
Redis
面试官:Kafka 如何优化内存缓冲机制造成的频繁 GC 问题?
“这篇文章,给大家聊一个硬核的技术知识,我们通过Kafka内核源码中的一些设计思想,来看你设计Kafka架构的技术大牛,是怎么优化JVM的GC问题的1、Kafka的客户端缓冲机制首先,先得给大家明确一个事情,那就是在客户端发送消息给kafka服务器的时候,一定是有一个内存缓冲机制的。也就是说,消息会先写入一个内存缓冲中,然后直到多条消息组成了一个Batch,才会一次网络通信把Batch发送过去。整个过程如下图所示:2、内存缓冲造成...
yjfhd
0回复
3772浏览
Kafka
内存缓冲机制
不明觉厉!线上部署Kafka和ES,为啥JVM堆内存分配越大,性能反而
1、是否依赖Java系统自身内存处理数据先说明一点,不管是我们自己开发的Java应用系统,还是一些中间件系统,在实现的时候都需要选择是否基于自己Java进程的内存来处理数据。大家应该都知道,Java、Scala等编程语言底层依赖的都是JVM,那么只要是使用JVM,就可以考虑在JVM进程的内存中来放置大量的数据。还是给大家举个例子,大家应该还记得之前聊过消息中间件系统。比如说系统A可以给系统B发送一条消息,那么中间需要依赖一个消...
yjfhd
0回复
3857浏览
Kafka
Java应用
阿里云原生Lindorm TSDB数据库,驱动工业IT&OT超融合数字化系统
阿里云Lindorm数据库产品经理许力,给大家介绍阿里云Lindorm数据库面向工业场景的最佳实践案例,以及产品的特点,同样要结合行业背景以及客户需求来看待它,因此分享也就由三个主题组成:市场趋势、顺势而为、核心能力。市场趋势工业物联网、车联网行业的迅速发展,产生了大量的数据。评测报告显示,2025年实时数据将占到数据总量的30%,几乎所有实时数据都将由物联网系统产生,同时终端设备代码量激增,终端智能设备、传感器数...
p_wdn
0回复
4793浏览
云原生
Lindorm TSDB
数据库
Redis6.0解密-1.Thread/IO多线程
一、背景目前快手有70w+的Redis实例,在线上的Redis集群,我们经常会碰到以下的一些情况:(1)由于键值设计不合理或者业务特性导致的热点问题(集群整体QPS不高,但是集群内某个实例的请求特别高),严重影响业务侧请求的返回时间(2)集群内某个实例直连集群连接数过多,单线程模型处理缓慢,影响其他的请求(3)集群内某个实例网络不稳定后者pipeline个数较多,导致协议解析频繁调用,导致cpu时间占用过长,影响其他的客户端...
vincent0809
0回复
4571浏览
Redis
PolarDB-X on OSS: 冷热数据分离存储
在即将发布的PolarDBX5.4.14版本中,我们将基于OSS存储服务,推出冷热数据分离存储这一新功能。在这一功能的基础上,您可以便捷地将冷数据从源表中剥离出来,归档至更低成本的OSS中,形成一张归档表;归档表支持高效的主键与索引点查、复杂分析型查询,满足高可用、MySQL兼容性和任意时间点闪回等特性。您可以像访问MySQL表一样来访问归档表,也可以用开源大数据产品接入OSS的归档数据。为什么需要冷热分离?在数据库使用过程中...
p_wdn
0回复
4878浏览
PolarDB-X
MySQL
数据库
Redis和Memcached的恩怨情仇
近些年来各路KV缓存强势崛起,尤其Redis一骑绝尘,很多新进的程序员可能都没听说过Memcached,还有很多老程序员觉得Memcached不行:功能少,不持久化,高可用差,但事实并非如此,本文将对Redis和Memcached进行对比看看Memcached是不是真的”一无是处“了下面我们来看一个场景业务同学A:你好,我申请了一个20G,100000QPS的Memcached,麻烦审批下?业务同学B:hello,请问什么时候用Redis?什么时候用Memcached?业务同学C:Mem...
vincent0809
0回复
3311浏览
Redis
ElasticSearch使用规范beta版
最近一年多开始“搞”ES(ElasticSearch),遇到了很多“坑”,希望和大家也一起分享下,由于接触时间不长,如有问题麻烦联系我及时指出。ElasticSearch除了在日志场景(监控、数据分析、debug)等场景大量使用以外,最近一年多在很多核心上的线上业务(譬如电商业务)大量使用,目前接近了5000个节点,目前在dbranking(20201124日),ElasticSearch在searchengine中常年第一:对于MySQL、Redis这类存储缓存许多开发同学多有很强...
vincent0809
0回复
3989浏览
Redis
暂无内容
1
455
456
457
458
459
460
461
462
463
468
精选
客服
订阅鸿蒙技术特刊,精选内容抢先看
微信扫码关注,即刻订阅