鸿蒙开发者社区

1、ElasticStack与KibanaElasticStack数据平台由Logstash、Beats、ElasticSearch和Kibana四大核心产品组成，在数据摄取、存储计算分析及数据可视化方面有着无可比拟的优势。Logstash和Beats作为底层核心引擎组成数据摄取平台，可以将数据进行标准化，便于后续分析使用。其中，Beats作为轻量级的数据搬运工，集合了多种单一用途数据采集器，将数据发送给Logstash或ElasticSearch，其可扩展的框架及丰富的预置采集器将使工作事半...

1、两个实战场景问题事出有因，近期的两个问题比较类似：•Q1：如何在Elasticsearch实现统计做了5次（含以上）核酸检测的人员名单及详情？•Q2：请教下大家，业务场景要记录每个人的每天的出勤情况，今天出勤标记为1或者当天日期，未出勤不记录，或者为0，有个个人信息索引，那么这个出勤情况改怎么存储，用数组？还是这种场景不适合es？要实现：查询在某段时间至少出勤几次的人，这个字段目前存的是日期数组，然后我们...

在我们的印象中，mysql数据表里无非就是存储一行行的数据。跟个excel似的。直接遍历这一行行数据，性能就是O(n)，比较慢。为了加速查询，使用了B+树来做索引，将查询性能优化到了O(lg(n))。但问题就来了，查询数据性能在lg(n)级别的数据结构有很多，比如redis的zset里用到的跳表，也是lg(n)，并且实现还贼简单。那为什么mysql的索引，不使用跳表呢我们今天就来聊聊这个话题。B+树的结构之前的一篇文章里，已经提到过B+树的结构...

故事从好多年前说起。想必大家也听说过数据库单表建议最大2kw条数据这个说法。如果超过了，性能就会下降得比较厉害。巧了。我也听说过。但我不接受它的建议，硬是单表装了1亿条数据。这时候，我们组里新来的实习生看到了之后，天真无邪的问我："单表不是建议最大两千万吗为什么这个表都放了1个亿还不分库分表"我能说我是因为懒吗我当初设计时哪里想到这表竟然能涨这么快。。。我不能。说了等于承认自己是开发组里的毒瘤，虽然我...

随着云原生数据仓库AnalyticDBforMySQL（下文统一简称：AnalyticDB）在阿里集团各个业务线、社会上各行各业的推广应用，我们沉淀了一些最佳实践，现在笔者整理在这里，供大家参考，希望对大家有帮助。本篇文章总结了AnalyticDB表的设计的最佳经验、数据写入的最佳经验、高效查询的最佳实践，以及一些常见的问题。05业务行业线上的最佳实践（一）营销业务使用场景随着互联网流量成本的增加，花大价钱砸流量的时代成为历史，客户...

如下问题来自真实场景，用对话方式模拟还原问题解答过程。小明同学提问：铭毅老湿，如下两个链接，我们底层的数据是带空格的，但是用户输入可能不带空格这种改怎么处理铭毅老湿：上面两个链接是用户的行为？我们不能限制用户的输入是吧？小明同学：是哦，让用户输入字符加空格或者不加空格去适配写入的数据，这样会显得系统很不“智能”，用户体验会很差。铭毅老湿：你能关注用户体验，不错！这是程序员必备的思维方式。小明同...

数据库故障恢复机制的前世今生一文中提到，今生磁盘数据库为了在保证数据库的原子性(A,Atomic)和持久性(D,Durability)的同时，还能以灵活的刷盘策略来充分利用磁盘顺序写的性能，会记录REDO和UNDO日志，即ARIES方法。本文将重点介绍REDOLOG的作用，记录的内容，组织结构，写入方式等内容，希望读者能够更全面准确的理解REDOLOG在InnoDB中的位置。本文基于MySQL8.0代码。一为什么需要记录REDO为了取得更好的读写性能，InnoDB会将...

去年我写过一个《阿里云Redis开发规范》，在网上转载很多，但其实说心里话，我并不认为写的多好，受制一些客观因素和篇幅，有些不够细致和深入，所以想在公众号里详细解析下，希望对大家有帮助。本篇是第一篇：由键名设计想到的SDS内存优化原文1.key名设计◆(1)【建议】:可读性和可管理性以业务名(或数据库名)为前缀(防止key冲突)，用冒号分隔，比如业务名:表名:id◆(2)【建议】：简洁性保证语义的前提下，控制key的长度，当key...

前言近年来分析型数据库在资本市场和技术社区都非常的火热，各种创业公司的创新型产品如雨后春笋般出现。这一方面是因为当前阶段企业日益依赖从数据中寻找增长潜力带来需求的增长，另一方面云原生技术的发展带来现有技术体系的进化和变革，诸如Snowflakes这类产品的成功证明，使用云原生技术再造分析型数据库技术体系是必要的且存在很大的市场机会。PolarDBMySQL是因云而生的一个数据库系统,除了云上OLTP场景，大量客户也对Pola...

在StackOverflow针对开发人员的2021年调研报告中，共有来自全球的72,517位开发人员参与调研，PostgreSQL被全球开发者们评选为“最想拥有的数据库管理系统”，由此可见开发人员对它的喜爱之情。数据来源：https:insights.stackoverflow.comsurvey2021mostloveddreadedandwanteddatabasewant长久以来，PostgreSQL凭借其可靠性和健壮性，早已在全球圈粉无数。在DBEngines排名中，PostgreSQL是第一个也是唯一一个斩获三次"DBMSofthe...

最近经常有人问我，我这边学习Redis都有哪些资料，能不能发他们一下。作为一个习惯”慢慢啃”技术学习的人，我确实积累了大量资料，这里可以介绍给大家。一、图书（按照发布时间排序）1.《Redis设计与实现》，2014，黄健宏，机械工业出版社了解Redis源码和原理的公认好书，虽然至今已时隔5年，Redis的版本发生了很多变化，但仍然不会觉得落时了。2.《Redis入门指南》第二版，2015，李子骅，人民邮电出版社这本书是我当年Redis的...

在共同推进国产化生态发展的进程下，墨天轮正式推出“国产数据库沙龙”系列直播活动，在12月9日举办的第二期“图数据库专场”活动中，阿里云数据库高级产品专家杨哲超分享了《阿里云图数据库GDB：帮助业务升维思考、智能决策》主题演讲，本文为整理内容。导读无论是学术界还是产业界，都对图数据库有比较高的预期。Gartner发布的《2021年十大数据和分析技术趋势》中提到：“到2025年图技术在数据和分析创新中的占比将从2021年的...

去年我写过一个《阿里云Redis开发规范》，在网上转载很多，但其实说心里话，我并不认为写的多好，受制一些客观因素和篇幅，有些不够细致和深入，所以想在公众号里详细解析下，希望对大家有帮助。本篇是第二篇：老生常谈的bigkey原文【强制】：拒绝bigkey(防止网卡流量、慢查询)string类型控制在10KB以内，hash、list、set、zset元素个数不要超过5000。反例：一个包含200万个元素的list。非字符串的bigkey，不要使用del删除，使...

去年我写过一个《阿里云Redis开发规范》，在网上转载很多，但其实说心里话，我并不认为写的多好，受制一些客观因素和篇幅，有些不够细致和深入，所以想在公众号里详细解析下，希望对大家有帮助。本篇是第三篇：一个Redis实例存储多少个键值对比较合适。无原文这个在当时的文章里没有讨论，因为这个问题很难绝对化，但背后的知识还是很有讨论价值的，我们来看一段对话：解析一、存在哪？1.哈希表(hashtable)要知道能存多少，首先...

声明：本文是之前在云栖社区写过的，不过被转载过，因此不能标记原创了。背景Java的BIO客户端Jedis虽然在很多地方都比不上NIO客户端Lettuce，但它的应用依然广泛。合理的JedisPool资源池参数设置能为业务使用Redis保驾护航，本文将对JedisPool的使用、资源池的参数进行详细说明，最后给出“最合理”配置。一、使用方法以官方的2.9.0为例子(JedisRelease)，Maven依赖如下：Jedis使用apachecommonspool2对Jedis资源池进行管理，所...

我熟练应用ctrlc和ctrlv开发curd代码好多年了。mysql查询为什么会慢，关于这个问题，在实际开发经常会遇到，而面试中，也是个高频题。遇到这种问题，我们一般也会想到是因为索引。那除开索引之外，还有哪些因素会导致数据库查询变慢呢有哪些操作，可以提升mysql的查询能力呢今天这篇文章，我们就来聊聊会导致数据库查询变慢的场景有哪些，并给出原因和解决方案。数据库查询流程我们先来看下，一条查询语句下来，会经历哪些流程...

哟，又是我小白。最近有点高产了。连我自己都害怕了。直接进入正题吧。两个事务并发写，能保证数据唯一吗我先来解释下标题讲的是个啥。我们假设有这么一个用户注册的场景。用户并发请求注册新用户。你有一张数据库表，也就是下面的user表。user表数据库原始状态产品经理要求用户和用户之间，电话号码不能重复，为了保证这一点。我们想到了先查一下数据库，再判断一下，如果存在，就退出，否则插入一条数据。类似下面这样的伪代...

大家好，我是小白，好长时间没更新技术文了，相信大家看我写的水文也看烦了。今天的文章，其实来自真实的面试题，而且还比较有趣，所以忍不住分享出来。直接开始吧。我们知道，mysql数据库，为了得到更高性能，一般会读写分离，主库用于写操作，比如用于执行insert，update操作，从库用于读，也就是最常见的select操作。像下面这个图这样。mysql读写分离虽然主库一般用于写操作，但也是能读的。那么今天的问题来了。主库更新后...

前言读写分离方案上线后，订单sql查询时间再一次稳定在了300ms以下，此时对数据的增删改操作会走主库，而读请求会走从库，通过读写分离大大提升了数据读的处理能力，但遗憾的是没办法提升主库写数据的能力。新的挑战那么什么时候主库写数据的压力会过大呢其实我们之前也聊过这个问题，那就是多个业务共用一个物理数据库的，比如商品相关的表、订单相关的表和用户相关的表等，所有表都放到了一个mysql数据库中，就像这样：此时商...

前言订单缓存方案上线之后，我们以为又开启了岁月安好的日子，但是，在一周后的某一天，DBA直接跑来了，DBA直接说：“leader让我直接找你，是这样的，上次加了缓存优化后，效果确实不错，但是我发现订单查询sql在今天的12:00至12:05之间有大量的慢sql，查询时间超过了2.5s。”这个时候，我们立马开启了排查问题模式，首先，check了一下上次加的缓存，发现缓存正常，然后接着根据DBA提供的信息搜索日志，此时，发现在这个时间段...