鸿蒙开发者社区
- 登录/注册
默认
发布时间
热度
原创
精华
从一个线上问题看 Elasticsearch 数据清洗方式
如下问题来自真实场景，用对话方式模拟还原问题解答过程。小明同学提问：铭毅老湿，如下两个链接，我们底层的数据是带空格的，但是用户输入可能不带空格这种改怎么处理铭毅老湿：上面两个链接是用户的行为？我们不能限制用户的输入是吧？小明同学：是哦，让用户输入字符加空格或者不加空格去适配写入的数据，这样会显得系统很不“智能”，用户体验会很差。铭毅老湿：你能关注用户体验，不错！这是程序员必备的思维方式。小明同...Elasticsearch庖丁解InnoDB之REDO LOG
数据库故障恢复机制的前世今生一文中提到，今生磁盘数据库为了在保证数据库的原子性(A,Atomic)和持久性(D,Durability)的同时，还能以灵活的刷盘策略来充分利用磁盘顺序写的性能，会记录REDO和UNDO日志，即ARIES方法。本文将重点介绍REDOLOG的作用，记录的内容，组织结构，写入方式等内容，希望读者能够更全面准确的理解REDOLOG在InnoDB中的位置。本文基于MySQL8.0代码。一为什么需要记录REDO为了取得更好的读写性能，InnoDB会将...MySQLInnoDBREDO LOGRedis开发规范解析(一)--键名设计
去年我写过一个《阿里云Redis开发规范》，在网上转载很多，但其实说心里话，我并不认为写的多好，受制一些客观因素和篇幅，有些不够细致和深入，所以想在公众号里详细解析下，希望对大家有帮助。本篇是第一篇：由键名设计想到的SDS内存优化原文1.key名设计◆(1)【建议】:可读性和可管理性以业务名(或数据库名)为前缀(防止key冲突)，用冒号分隔，比如业务名:表名:id◆(2)【建议】：简洁性保证语义的前提下，控制key的长度，当key...Redis400倍加速, PolarDB HTAP实时数据分析技术解密
前言近年来分析型数据库在资本市场和技术社区都非常的火热，各种创业公司的创新型产品如雨后春笋般出现。这一方面是因为当前阶段企业日益依赖从数据中寻找增长潜力带来需求的增长，另一方面云原生技术的发展带来现有技术体系的进化和变革，诸如Snowflakes这类产品的成功证明，使用云原生技术再造分析型数据库技术体系是必要的且存在很大的市场机会。PolarDBMySQL是因云而生的一个数据库系统,除了云上OLTP场景，大量客户也对Pola...PolarDB你距离PostgreSQL 14版本只有“一键之差”
在StackOverflow针对开发人员的2021年调研报告中，共有来自全球的72,517位开发人员参与调研，PostgreSQL被全球开发者们评选为“最想拥有的数据库管理系统”，由此可见开发人员对它的喜爱之情。数据来源：https:insights.stackoverflow.comsurvey2021mostloveddreadedandwanteddatabasewant长久以来，PostgreSQL凭借其可靠性和健壮性，早已在全球圈粉无数。在DBEngines排名中，PostgreSQL是第一个也是唯一一个斩获三次"DBMSofthe...PostgreSQL管理系统我的Redis学习资料库
最近经常有人问我，我这边学习Redis都有哪些资料，能不能发他们一下。作为一个习惯”慢慢啃”技术学习的人，我确实积累了大量资料，这里可以介绍给大家。一、图书（按照发布时间排序）1.《Redis设计与实现》，2014，黄健宏，机械工业出版社了解Redis源码和原理的公认好书，虽然至今已时隔5年，Redis的版本发生了很多变化，但仍然不会觉得落时了。2.《Redis入门指南》第二版，2015，李子骅，人民邮电出版社这本书是我当年Redis的...Redis站在云端的图数据库：未来技术如何帮助业务升维思考、智慧决策？
在共同推进国产化生态发展的进程下，墨天轮正式推出“国产数据库沙龙”系列直播活动，在12月9日举办的第二期“图数据库专场”活动中，阿里云数据库高级产品专家杨哲超分享了《阿里云图数据库GDB：帮助业务升维思考、智能决策》主题演讲，本文为整理内容。导读无论是学术界还是产业界，都对图数据库有比较高的预期。Gartner发布的《2021年十大数据和分析技术趋势》中提到：“到2025年图技术在数据和分析创新中的占比将从2021年的...图数据库GDBRedis开发规范解析(二)--老生常谈bigkey
去年我写过一个《阿里云Redis开发规范》，在网上转载很多，但其实说心里话，我并不认为写的多好，受制一些客观因素和篇幅，有些不够细致和深入，所以想在公众号里详细解析下，希望对大家有帮助。本篇是第二篇：老生常谈的bigkey原文【强制】：拒绝bigkey(防止网卡流量、慢查询)string类型控制在10KB以内，hash、list、set、zset元素个数不要超过5000。反例：一个包含200万个元素的list。非字符串的bigkey，不要使用del删除，使...RedisRedis开发规范解析(三)--一个Redis最好存多少key
去年我写过一个《阿里云Redis开发规范》，在网上转载很多，但其实说心里话，我并不认为写的多好，受制一些客观因素和篇幅，有些不够细致和深入，所以想在公众号里详细解析下，希望对大家有帮助。本篇是第三篇：一个Redis实例存储多少个键值对比较合适。无原文这个在当时的文章里没有讨论，因为这个问题很难绝对化，但背后的知识还是很有讨论价值的，我们来看一段对话：解析一、存在哪？1.哈希表(hashtable)要知道能存多少，首先...RedisJedis连接池优化详解
声明：本文是之前在云栖社区写过的，不过被转载过，因此不能标记原创了。背景Java的BIO客户端Jedis虽然在很多地方都比不上NIO客户端Lettuce，但它的应用依然广泛。合理的JedisPool资源池参数设置能为业务使用Redis保驾护航，本文将对JedisPool的使用、资源池的参数进行详细说明，最后给出“最合理”配置。一、使用方法以官方的2.9.0为例子(JedisRelease)，Maven依赖如下：Jedis使用apachecommonspool2对Jedis资源池进行管理，所...RedisMysql数据库查询好慢，除了索引，还能因为什么？
我熟练应用ctrlc和ctrlv开发curd代码好多年了。mysql查询为什么会慢，关于这个问题，在实际开发经常会遇到，而面试中，也是个高频题。遇到这种问题，我们一般也会想到是因为索引。那除开索引之外，还有哪些因素会导致数据库查询变慢呢有哪些操作，可以提升mysql的查询能力呢今天这篇文章，我们就来聊聊会导致数据库查询变慢的场景有哪些，并给出原因和解决方案。数据库查询流程我们先来看下，一条查询语句下来，会经历哪些流程...Mysql数据库两个事务并发写，能保证数据唯一吗？
哟，又是我小白。最近有点高产了。连我自己都害怕了。直接进入正题吧。两个事务并发写，能保证数据唯一吗我先来解释下标题讲的是个啥。我们假设有这么一个用户注册的场景。用户并发请求注册新用户。你有一张数据库表，也就是下面的user表。user表数据库原始状态产品经理要求用户和用户之间，电话号码不能重复，为了保证这一点。我们想到了先查一下数据库，再判断一下，如果存在，就退出，否则插入一条数据。类似下面这样的伪代...sql语句数据库mysql主库更新后，从库都读到最新值了，主库还有可能读到旧值吗
大家好，我是小白，好长时间没更新技术文了，相信大家看我写的水文也看烦了。今天的文章，其实来自真实的面试题，而且还比较有趣，所以忍不住分享出来。直接开始吧。我们知道，mysql数据库，为了得到更高性能，一般会读写分离，主库用于写操作，比如用于执行insert，update操作，从库用于读，也就是最常见的select操作。像下面这个图这样。mysql读写分离虽然主库一般用于写操作，但也是能读的。那么今天的问题来了。主库更新后...mysql数据库分库分表实战之十：新的挑战 — 千万级数据优化之垂直拆分
前言读写分离方案上线后，订单sql查询时间再一次稳定在了300ms以下，此时对数据的增删改操作会走主库，而读请求会走从库，通过读写分离大大提升了数据读的处理能力，但遗憾的是没办法提升主库写数据的能力。新的挑战那么什么时候主库写数据的压力会过大呢其实我们之前也聊过这个问题，那就是多个业务共用一个物理数据库的，比如商品相关的表、订单相关的表和用户相关的表等，所有表都放到了一个mysql数据库中，就像这样：此时商...分库分表数据库分库分表实战之九：竿头日上 — 千万级数据优化之读写分离
前言订单缓存方案上线之后，我们以为又开启了岁月安好的日子，但是，在一周后的某一天，DBA直接跑来了，DBA直接说：“leader让我直接找你，是这样的，上次加了缓存优化后，效果确实不错，但是我发现订单查询sql在今天的12:00至12:05之间有大量的慢sql，查询时间超过了2.5s。”这个时候，我们立马开启了排查问题模式，首先，check了一下上次加的缓存，发现缓存正常，然后接着根据DBA提供的信息搜索日志，此时，发现在这个时间段...分库分表数据库分库分表实战之八：激流勇进 — 千万级数据优化之加缓存
前言经过前面索引和sql的优化后，现在查询速度快的飞起，然后，我们继续回归到了日常需求的开发中。3个月过后，订单表的数据已经达到5000万了，不过sql一次查询的时间，基本稳定在300ms以下。但是某个周一，leader刚开完周会就直接来找你了，直接说：“哎呀，周会上DBA找我了，说咱们订单组的sql偶尔会超过2s，DBA现在要求优化，平均时间要优化到300ms以下，不过，优化前你要先查下，为什么sql的查询时间会偶尔突增。”问题排查...分库分表数据库分库分表实战之七：抽丝剥茧 — 千万级数据之sql优化下篇
前言上一期，我们讲解了sql优化的一般流程，不管是优化join语句、where语句、聚合函数还是排序操作，核心在于利用索引来优化sql语句，但是，大家以为我们为字段创建了索引之后，索引就一定会生效吗当然不是的，因为索引可能会失效。那索引为什么会失效呢失效之后会导致什么样的后果呢这一节，我们利用当下的问题，也就是千万级的订单表查询居然需要耗费3s的时间，通过这个问题我们来一探究竟。目前为止，我们已经初步确定问题原...分库分表数据库分库分表实战之六：小试牛刀 — 千万级数据之sql优化上篇
前言通过前几期文章的积累，现在我们的理论知识已经极为扎实了，这个时候就可以动手开始sql优化了，sql优化是非常重要，因为即使再好的MySQL设计架构，也扛不住一个频繁查询的垃圾sql语句。关于sql的优化，我们也是有一定的原则和先后顺序的，大体的步骤的我们用一张流程图来看一下：总体呢，大概可以分为以下几个步骤：(1)首先，我们得要看下sql语句中是否有join语句，比如内连接查询innerjoin，外连接查询leftjoinrightjoin等...分库分表数据库分库分表实战之五：寻根问底 — MySQL索引是如何形成的？
问题分析：为什么查询变慢呢接上期，我们知道了MySQL查询的全过程，也知道了整个过程的瓶颈在于磁盘IO，那怎么降低磁盘IO次数呢答案就是索引。正确的使用索引，我们就能有效的把磁盘IO的次数降到常数级，这样查询速度将会变得非常快，接下来让我们深入了解下MySQL的索引。无索引时，为什么查询会很慢呢在磁盘中，MYSQL存放数据的基本单位是数据页，数据是放在数据页中的，每个数据页中都有很多的数据行，如下图：可以看到，在数...分库分表数据库分库分表实战之四：追根溯源 — 一次查询会经过哪些流程呢？
前言接上一节，那么，一次查询的全过程是什么样的呢这个时候，我们通过各种百度和Google，然后加上自己的理解，终于搞明白了MySQL一次查询的全过程了。首先，用户想要查询订单数据时，会先发送一个查询请求，如下图所示：可以看到，当用户发送查询请求时，因为外卖订单项目是部署在Tomcat中的，Tomcat中的线程首先就会接收到用户的请求，然后把请求交给外卖订单项目。而外卖订单项目，会根据代码去数据库中查询订单的数据，不管...分库分表MYSQL
