鸿蒙开发者社区

今天收到一位球友的问题，好家伙：PDF文档，问题内容长度25页。这是我职业生涯见过的最长的问题了。我的第一反应：太长了。打开后仔细看了一遍，的确内容很全，包含但不限于：•Mapping•template•检索召回数据全部结果•检索&聚合语句但是，问题究竟要问什么反而没有说的非常清楚。经过沟通，了解到问题的本质：“Nested字段召回数据结果中将包含特定字符‘’的字符串排在前面”。关联核心知识点：...

之前的博文和视频都讲过ILM索引生命周期管理。但从近期的反馈和我自己的实战经验看，依然会有很多坑。现将我自己和大家遇到的常见坑汇集如下，希望能让后来小伙伴少走弯路。少啰嗦，直接上干货。坑1：刷新频率按需设置这里指的刷新频率不是：refreshinterval数据写入段的刷新频率，而是：indices.lifecycle.pollinterval。indices.lifecycle.pollinterval指的是：索引生命周期管理检查符合policy策略标准的索引的频率，本质上是...

背景ApacheShardingSphere作为践行DatabasePlus理念的数据服务平台，其包含数据分片、读写分离、数据加密、影子库、分布式事务、弹性伸缩等多种数据管理功能。当ApacheShardingSphere应用于实际生产中，用户往往需要对其性能进行监控，并结合业务分析定位出现的异常问题。我们知道APM（应用性能监控）是通过对系统可观察性数据进行采集、存储和分析，进行系统的性能监控与诊断，主要功能包括性能指标监控、调用链分析，应用拓扑...

https:www.elastic.cocnblogmastertheelasticstackwithtrainingsfeaturedatelasticonglobal昨天就这篇报道在Elastic认证考试群里有非常激烈的讨论。从报道中，我们能得到如下信息：1.全球有81个国家的从业人员通过考试。2.全球截止2021年10月15日共通过Elastic认证工程师：1745名。3.全球近300人同时具备：ECE认证、ECA认证、ECOE认证。4.“物以稀为贵”，“少即意味着稀缺”，认证的含金量不言而喻。鉴于仍然有N多读者对Elasti...

背景ApacheShardingSphere基于用户的实际使用场景，为用户打造了多种实用功能，包括数据分片、读写分离等。在数据分片功能中，ApacheShardingSphere提供了标准分片、复合分片等多种实用的分片策略，在各种分片策略中，用户又可以配置相关分片算法，从而解决数据分片的问题。在读写分离功能中，ShardingSphere为用户提供了静态和动态的两种读写分离类型以及丰富的负载均衡算法以满足用户实际需求。可以看到ShardingSphere的分片...

《Elasticsearch向量搜索的工程化实战》文章一经发出，收到很多留言。读者对向量检索和普通检索的区别充满了好奇，所以就有了今天的文章。向量搜索已经在黑暗中成长了有些年头了，但是随着近几年机器学习和深度学习的蓬勃发展，“特别是万物皆可embedding“的观点越来越流行之后，向量搜索才逐渐从小众的技术走入人们的视野之中。相较于普通搜索（基于词元和倒排索引），向量搜索会成为一个革命者代替它（们）的位置，还是会与...

本篇文章主要从项目中实际场景出发，讲解分库分表等功能在日常运维中遇到的问题，以及ShardingSphereProxy对应的解决方案，版本号：v5.1.0。如无特别声明，以下示例中的数据库指MySQL。一、这个项目做什么ShardingSphereProxy，可以让用户像使用原生数据库一样使用ApacheShardingSphere。了解一项技术的开始，一般从官网开始。先来看一看官网对ShardingSphereProxy的定义是什么样的：定位为透明化的数据库代理端，提供封装了数...

背景随着业务的快速发展，数据的不断膨胀，流量负载的增加，业务系统遇到了强烈的挑战，对数据库系统可扩展性提出了强烈的诉求。Oracle、MySQL、SQLServer、PostgreSQL传统单机数据库在线扩展上的问题日益凸显。为了解决扩展问题，出现了可水平扩展的分布式数据库，于是分布式事务问题成为了必须面对的问题。在这种背景下，ShardingSphere提供了一套分布式数据库增强计算引擎，通过可插拔架构构建基于数据库之上的生态系统，提...

回顾自己过去的5年，从一名后端开发工程师，自我摸索、学习、探究，成为一名搜索开发工程师。复盘总结自己经历过的搜索的三个阶段，可简要概括为：（1）关键词搜索、（2）相关性搜索、（3）探索式搜索。具体如下图：•关键词搜索：主要借助关系型数据库如Mysql实现，搜索效率低下、性能差、效果差强人意。•相关性搜索：借助Solr和Elasticsearch实现，基于规则文本分词实现千人一面，对词典和现有知识依赖较高。•...

1、为什么要搞这么一套教程？我自己学习和实践Elastic相关技术有近6年+时间了，在这期间，走了不少弯路，但也得到过N多人的帮助。2019年年中的时候，我组建了“死磕Elastic认证考试特训营”，当时想法也很简单，和一帮志同道合的兄弟，一起论道、拿下Elastic认证。截止：2022年01月26日，已带领88人通过认证考试（中国已通过人数200人左右）。88人正好等于中国2018年+2019年已通过认证人数之和的4倍+。之前的知识点很分散、碎片...

1、引言本系列文章介绍如何修复Elasticsearch集群的常见错误和问题。这是系列文章的第一篇，主要探讨：Elasticsearch磁盘使用率超过警戒水位线，怎么办？2、从磁盘常见错误说开去当客户端向Elasticsearch写入文档时候报错：在elasticsearch的日志文件中报错如下：出现如上问题多半是：磁盘使用量超过警戒水位线，索引存在readonlyallowdelete索引块数据。3、报错释义基础认知：磁盘三个警戒水位线:推荐阅读：你不得不关注的Elas...

1、引言本系列文章介绍如何修复Elasticsearch集群的常见错误和问题。这是系列文章的第二篇，主要探讨：ElasitcsearchCPU使用率突然飙升，怎么办？2、Elasticsearch高CPU使用率的内涵线上环境ElasticsearchCPU使用率飙升常见问题如下：——来自《死磕Elasticsearch知识星球》Elasticsearch使用线程池来管理并发操作的CPU资源。关于线程池和队列，推荐阅读：Elasticsearch线程池和队列问题，请先看这一篇。Elasticsearch高CPU使用...

1、Elasticsearch监控指标可视化概述之前的推文Elasticsearch磁盘使用率超过警戒水位线，怎么办？有读者留言：“配合监控系统”。是的，监控系统就像我们的车载监控，平时可能用不到，一用到的时候就是“大事、要紧的事”。监控提前做起来，便于我们以可视化的方式直观的看到集群的各项监控指标，能真正做到“防范于未然”。监控的免费组件之前文章也有介绍，包含但不限于：cerebro本篇文章，我们介绍一下原生的、强大的Kibana...

作者敖丙来源敖丙(ID：JavaAudition)转载请联系授权(微信ID：Aobingcool)前言国庆期间看了数据库的很多资料和书籍，这点我在总结的数据库文章里面也提过了，然后我发现我对索引的介绍不全，所以整理了一下自己的笔记，决定来个索引完整版，老规矩可能还是没我正常文章风格那么跳，但是干货一定也能让你有所收获。索引介绍索引是什么官方介绍索引是帮助MySQL高效获取数据的数据结构。更通俗的说，数据库索引好比是一本书前面的目...

作者敖丙来源敖丙(ID：JavaAudition)转载请联系授权(微信ID：Aobingcool)前言其实数据库章节基本上的知识点我都写过一遍了，包括这篇事务和MVCC的，但是国庆期间我翻阅资料的时候我发现之前写的还差点意思，例子举得也差点意思，那我就根据我自己最新的理解，加上之前的总结相当于重写了，希望你也有新的收获。数据库事务介绍事务的四大特性(ACID)原子性(atomicity)：事务的最小工作单元，要么全成功，要么全失败。一致性(consi...

作者敖丙来源敖丙(ID：JavaAudition)转载请联系授权(微信ID：Aobingcool)背景我相信大家在数据库优化的时候都会说到索引，我也不例外，大家也基本上能对数据结构的优化回答个一二三，以及页缓存之类的都能扯上几句，但是有一次阿里P9的一个面试问我：你能从计算机层面开始说一下一个索引数据加载的流程么(就是想让我聊IO)我当场就去世了....因为计算机网络和操作系统的基础知识真的是我的盲区，不过后面我恶补了，废话不多说，...

作者敖丙来源敖丙(ID：JavaAudition)转载请联系授权(微信ID：Aobingcool)面试场景面试官：Redis有哪些数据类型我：String，List，set，zset，hash面试官：没了我：哦哦哦，还有HyperLogLog，bitMap，GeoHash，BloomFilter面试官：就这回家等通知吧。前言我敢肯定，第一个回答，100%的人都能说上来，但是第二个回答能回答上来的人可能就不多了，但是这也不是我今天探讨的话题。我就从我自己的去面试的回答思路，以及作为一个面试...

作者敖丙来源敖丙(ID：JavaAudition)转载请联系授权(微信ID：Aobingcool)前言上一章节我提到了基于zk分布式锁的实现，这章节就来说一下基于Redis的分布式锁实现吧。zk实现分布式锁的传送门：zk分布式锁在开始提到Redis分布式锁之前，我想跟大家聊点Redis的基础知识。说一下Redis的两个命令：SETNXkeyvaluesetnx是SETifNoteXists(如果不存在，则SET)的简写。用法如图，如果不存在set成功返回int的1，这个key存在了返回0。SETEXke...

作者敖丙来源敖丙(ID：JavaAudition)转载请联系授权(微信ID：Aobingcool)前言Redis在互联网技术存储方面使用如此广泛，几乎所有的后端技术面试官都要在Redis的使用和原理方面对小伙伴们进行360°的刁难。作为一个在互联网公司面一次拿一次Offer的面霸，打败了无数竞争对手，每次都只能看到无数落寞的身影失望的离开，略感愧疚(请允许我使用一下夸张的修辞手法)。于是在一个寂寞难耐的夜晚，我痛定思痛，决定开始写《吊打面试...

作者敖丙来源敖丙(ID：JavaAudition)转载请联系授权(微信ID：Aobingcool)前言Redis在互联网技术存储方面使用如此广泛，几乎所有的后端技术面试官都要在Redis的使用和原理方面对小伙伴们进行360°的刁难。作为一个在互联网公司面一次拿一次offer的面霸(请允许我使用一下夸张的修辞手法)，打败了无数竞争对手，每次都只能看到无数落寞的身影失望的离开，略感愧疚，在一个寂寞难耐的夜晚，我痛定思痛，决定开始写《吊打面试官》...