51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频
免费课程
课程排行
直播课
软考学堂
全部课程
厂商认证
IT技术
24年11月软考
PMP项目管理
免费题库
在线学习
文章
资源
问答
课堂
专栏
直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
鸿蒙开发者社区
首页
帖子
问答
资源
课堂
直播
发现
登录/注册
51CTO
中国优质的IT技术网站
51CTO博客
专业IT技术创作平台
51CTO学堂
IT职业在线教育平台
活动
短视频
专栏
极客Show
鸿蒙技术特刊
我的关注
全部帖子
操作系统
OpenHarmony
HarmonyOS
其他
应用开发
卡片开发
三方库
IDE
其他
设备开发
海思开发板
树莓派
其他
框架语言
C/C++
Java
JavaScript
ArkUI / eTS
其他
其他
物联网
云原生
数据库
操作系统
大数据
人工智能
开发语言
其他
社区版务
社区公告
社区生活
意见反馈
社区规则
社区活动
默认
发布时间
热度
原创
精华
热门标签
HarmonyOS
鸿蒙
物联网
Redis 7内存优化--2.优化slot-key
RedisCluster需要保存slotkey的映射关系,在7.0之前使用Radixtree实现,它同时是实现Redis5.0的Stream功能的基础。在新的7.0中,放弃了这种存储方式,巧妙地对DictEntry进行改造,从而实现内存优化,本文进行简单介绍,详细pr如下:一、改造方法:其整体思路就是,防止key名存在多个地方,把key相关的放到原始结构体中,可以有效防止键值较多时候的浪费(radixtree需要额外存储key)。1.DictEntry改造在dictEntry中加了一个voidme...
vincent0809
0回复
6845浏览
Redis
《大厂内部资料》Redis 性能优化的 13 条军规!全网首发
Redis是基于单线程模型实现的,也就是Redis是使用一个线程来处理所有的客户端请求的,尽管Redis使用了非阻塞式IO,并且对各种命令都做了优化(大部分命令操作时间复杂度都是O(1)),但由于Redis是单线程执行的特点,因此它对性能的要求更加苛刻,本文我们将通过一些优化手段,让Redis更加高效的运行。本文我们将使用以下手段,来提升Redis的运行速度:缩短键值对的存储长度;使用lazyfree(延迟删除)特性;设置键值的过期时间;禁用长...
athlon_chen
0回复
4749浏览
Redis
性能优化
腾讯云数据库海量数据交互之道
TDSQLA是在腾讯业务场景下诞生的在线分布型OLAP数据库系统,在处理海量数据分析业务的过程中持续对产品构架进行升级调整,是PG生态中分析型MPP产品的又一力作。本文将由腾讯云数据库专家工程师伍鑫老师为大家详细介绍TDSQLA的发展历程、技术架构和创新实践,以下为分享实录:TDSQLA发展历程TDSQLA是一款基于PostgreSQL自主研发的分布式在线关系型数据库。是一个面向海量数据实时在线分析产品,采用无共享MPP构架。面向分析型场...
netcat20000
0回复
5638浏览
TDSQL
TDSQL-A
PostgreSQL
Redis持久化的几种方式—RDB深入解析
Redis的读写都是在内存中,所以它的性能较高,但在内存中的数据会随着服务器的重启而丢失,为了保证数据不丢失,我们需要将内存中的数据存储到磁盘,以便Redis重启时能够从磁盘中恢复原有的数据,而整个过程就叫做Redis持久化。Redis持久化也是Redis和Memcached的主要区别之一,因为Memcached不具备持久化功能。1.持久化的几种方式Redis持久化拥有以下三种方式:快照方式(RDB,RedisDataBase)将某一个时刻的内存数据,以二进制的...
athlon_chen
0回复
2.4w浏览
Redis
持久化
Redis中的键值过期操作
1.过期设置Redis中设置过期时间主要通过以下四种方式:expirekeyseconds:设置key在n秒后过期;pexpirekeymilliseconds:设置key在n毫秒后过期;expireatkeytimestamp:设置key在某个时间戳(精确到秒)之后过期;pexpireatkeymillisecondsTimestamp:设置key在某个时间戳(精确到毫秒)之后过期;下面分别来看以上这些命令的具体实现。1)expire:N秒后过期127.0.0.1:6379>setkeyvalueOK127.0.0.1:6379>expirekey100(integer)1127.0.0.1...
athlon_chen
0回复
5807浏览
Redis
键值过期
图解Redis事务机制
1.前言事务指的是提供一种将多个命令打包,一次性按顺序地执行的机制,并且保证服务器只有在执行完事务中的所有命令后,才会继续处理此客户端的其他命令。事务也是其他关系型数据库,所必备的一项非常重要的能力。以支付的场景为例,正常情况下只有正常消费完成之后,才会减去账户余额。但如果没有事务的保障,可能会发生消费失败了,但依旧会把账户的余额给扣减了,我想这种情况应该任何人都无法接受吧所以事务是数据库中一项...
athlon_chen
0回复
5516浏览
Redis
事务机制
Redis 7持久化优化 -- 1. 使用sync_file_range系统调用.md
该优化来自如下pr1.syncfilerange简介我们在开发数据库程序或者IO密集型程序时,通常希望更新有一定的安全性,一次会在更新操作结束时调用fsync或者fdatasync来将数据写入持久设备。频繁调用fsync或者fdatasync时虽然安全性得到了保证,但是对系统性能会有很大的影响。由于fsync与fdatasync(当写入文件长度发生变化时)系统调用都会更新元数据信息,而对于RDB这种连续性的写入数据场景,这期间可以不用频繁更新元数据信息,所...
vincent0809
0回复
8389浏览
Redis
Redis 7配置解析
一、简述Redis7有很多新的功能、bug修改、特性优化,因此也伴随着很多新配置和变化,本文进行逐一说明二、配置详解1.1appenddirname(9788)(1)配置说明:定义存储aof文件的目录名,它和配置dir组成绝对目录。(2)推荐配置:和部署目录相关:决定是端口号或者默认值。1.2aoftimestampenabled(9788)(1)配置说明:aof是否支持时间戳,如设置会变成:(2)推荐配置:结合现有体系决定。2.shutdowntimeout(9872)(1)配置说明:当执行shutd...
vincent0809
0回复
9334浏览
Redis
深入解读腾讯云数据库自研内核
TXSQL是腾讯云数据库团队自研MySQL内核分支,100%兼容原生MySQL版本,针对企业级的重要场景自研众多核心特性,如企业级透明数据加密、审计、线程池、热点更新保护、SQL限流、快速加列等功能,大幅提升了云数据库的性能和稳定性,保证线上稳定性的同时,满足业务对数据库的各种需求。TXSQL的服务对象是公司内部用户和腾讯云上小至数G大至数百T的外部客户,是支撑这些业务平稳运行的关键基石,在服务用户的同时,也打造了腾讯自己...
netcat20000
0回复
4921浏览
TXSQL
MySQL
TDSQL
基于腾讯云数据库构建商品加工引擎,管理近10亿商品数据
商品加工引擎是腾讯基于云原生打造的高可用、可扩展、灵活配置的商品处理引擎,融合商品接入、商品加工、商品存储、商品分发、链路监控、商品对账等核心能力,支持近十亿的商品管理和加工,以及腾讯多个核心应用场景。商品加工引擎提供不同类型的商品录入、商品统一加工、商品信息分发等能力。存储商品数据接近十亿,支持商品加工能力包括:淫秽、色情、迷信、暴力、涉政等内容机器或人工审核,图片转链、视频转链、统一商品理...
netcat20000
0回复
4072浏览
云数据库
TDSQL
深入解读SQL优化中的执行计划
数据库的执行计划是SQL优化的最重要手段,执行计划怎么来的、包含什么内容、我们应该关注哪些点,这些是需要我们掌握的,基于这些知识再去理解SQL优化将更加容易。本文由腾讯云数据库高级架构师何敏带来TDSQLPostgreSQL执行计划详解,以下为分享实录:在了解PostgreSQL执行计划之前,需要先知道执行计划由来。TDSQLPostgreSQL版任何查询都会经过语法和语义解析,生成查询表达式树,也就是常用查询数,解析器会去解析语法,分析...
netcat20000
0回复
7370浏览
TDSQL
PostgreSQL
浅析腾讯云数据库高可用特性 | 云原生篇
腾讯云原生数据库TDSQLC(CloudNativeDatabaseTDSQLC,TDSQLC)是腾讯云自研的新一代高性能高可用的企业级分布式云数据库。融合了传统数据库、云计算与新硬件技术的优势,100%兼容MySQL和PostgreSQL,实现超百万级QPS的高吞吐,128TB海量分布式智能存储,保障数据安全可靠。本文由腾讯云数据库高级工程师唐颋为大家详细解读TDSQLCPostreSQL的高可用特性。55TDSQLCPG版产品简介TDSQLCPG版是一款基于计算、存储分离的云原生数据库...
netcat20000
0回复
5767浏览
云原生
TDSQL
云数据库
揭秘腾讯云数据库主从架构 | 云原生篇
PostgreSQL通过数据冗余和日志同步实现一主多读,并允许备机在主机不可用后,替换主机继续对外提供服务,保证系统的可用性。而在TDSQLCforPG的计算存储分离架构里,数据库实例共享同一份数据,一主多读的设计与传统数据库相比也有很大差异。本文将由腾讯云数据库专家工程师邹立贤为大家带来TDSQLCPG版的主从架构详解。TDSQLCPG版整体架构为什么我们要做TDSQLC这款产品?在传统数据库上,数据库的使用是存在一些问题,主要分为以...
netcat20000
0回复
6436浏览
TDSQL
SQL
云原生
面试基操:微服务拆分需要考虑什么因素?
大家好,欢迎来到Tlog4J课堂,我是Jensen。面试官:微服务如何拆分需要考虑什么因素候选人:一般按照功能拆分面试官:还有吗候选人:唔……要拆分微服务,首先我们要了解微服务拆了会有什么问题怎么合理拆服务1、拆分服务会带来什么问题举个电商系统下单扣库存的例子。对于单体应用,通讯在进程内部进行,下单方法调用扣库存方法,有问题就回滚事务,利用数据库同一个Session会话的ACID特性干活,保证数据的强一致性,即使在调...
athlon_chen
0回复
5389浏览
微服务
拆分服务
面试官:能说说Redis的持久化机制吗?
大家好,我是Jensen。我们先来看这么一段面试场景——面试官:你们项目缓存技术用到了什么缓存技术小帅:Redis面试官:那么问一下,Redis缓存技术用到的持久化机制是哪一种机制小帅:AOF面试官:好吧,回去等通知吧……这个问题,不知道你在面试的时候有没有被别人问过,你是怎么回答的其实不管你怎么回答都是错的,为什么请往下看。大家都知道,Redis是我们互联网公司必用的架构技术,在我们业内称之为高性能缓存数据库,那么...
athlon_chen
0回复
5531浏览
Redis
数据库
Kafka消费者这样封装,一年节省10,000行代码!
大家好,我是Jensen。最近一直在忙项目管理、业务设计、架构委员会的基础架构梳理等工作,落下了代码开发。同时这段时间业务需求又特多特赶,从另一个组协调了几位精英过来还是人手不够,于是我又不得不同时参与coding。前辈告诉我:作为一名开发工程师,即使以后升到再高的管理职位,领导需要你写代码,你也得第一时间顶上,绝不能把代码丢掉。好了,打完鸡血,咱们继续。这次分享我最近在写码中比较有意思的经历——对Kafka消...
athlon_chen
0回复
7029浏览
Kafka
Kafka消费者
扒光系列 | 扒一扒MySQL的InnoDB存储引擎
我敢说,在所有的技术栈里,存储技术算是最核心的一块内容,掌握存储技术的原理真的非常非常重要,无论是高级开发、资深开发,还是众人仰望的架构师,无一不重视这项技术的学习与沉淀。而我们一般使用的MySQL关系型数据库,更是经典中的经典,虽说MySQL已经非常成熟,但对于MySQL的掌握程度,如果我们只停留在使用层面,不了解它的底层设计,那咱永远只能停留在写SQL上,成为一个彻头彻尾的CRUDBoy。好了,稍微有点技术追求的你...
athlon_chen
0回复
5022浏览
MySQL
InnoDB存储引擎
京东二面:MySQL 主从延迟,读写分离 7 种解决方案
大家好,我是Tom哥我们都知道互联网数据有个特性,大部分场景都是读多写少,比如:微博、微信、淘宝电商,按照二八原则,读流量占比甚至能达到90%结合这个特性,我们对底层的数据库架构也会做相应调整。采用读写分离处理过程:客户端会集成SDK,每次执行SQL时,会判断是写或读操作如果是写SQL,请求会发到主库主数据库执行SQL,事务提交后,会生成binlog,并同步给从库从库通过SQL线程回放binlog,并在从库表中生成相应数据如果...
ltolll
0回复
7578浏览
MySQL
主从延迟
读写分离
【故障演练】 Redis Cluster集群,当master宕机,主从切换,客户
大家好,我是Tom哥性能不够,缓存来凑一个高并发系统肯定少不了缓存的身影,为了保证缓存服务的高可用,我们通常采用RedisCluster集群模式。描述:集群部署采用了3主3从拓扑结构,数据读写访问master节点,slave节点负责备份。随便登录一台redis节点,都可以看到集群的slot的槽位分步区间,以及对应的主从节点映射关系。127.0.0.1:8001>clusterslots1)1)(integer)109232)(integer)163833)1)"127.0.0.1"2)(integer)80033)"6c574c...
ltolll
0回复
1.2w浏览
Redis
master宕机
京东一面:MySQL 主备延迟有哪些坑?主备切换策略
大家好,我是Tom哥作为一名开发同学,大家对MySQL一定不陌生,像常见的事务特性、隔离级别、索引等也都是老生常谈。今天,我们就来聊个深度话题,关于MySQL的高可用一、什么是高可用维基百科定义:高可用性(highavailability,缩写HA),指系统无中断地执行其功能的能力,代表系统的可用性程度。高可用性通常通过提高系统的容错能力来实现。MySQL的高可用是如何实现的呢首先,我们来看张图过程:开始时,处理流程主要是场景一客...
ltolll
0回复
5175浏览
MySQL
高可用
暂无内容
1
469
470
471
472
473
474
475
476
477
479
精选
客服
订阅鸿蒙技术特刊,精选内容抢先看
微信扫码关注,即刻订阅