鸿蒙开发者社区

1、背景经常看到集群的merge限流耗时比较高，所以想分析其原因、造成的影响、以及反思merge的一些优化手段。比如下图中测试集群相关监控截图：可是从磁盘的写入来看，并不高：那么目前的情况带来哪些影响？资源利用率低下从写IO监控可以看出，其实ES节点的IO压力并不大，这导致IO资源的浪费pendingMerges队列增加，导致很多待合并的段一直等待队列中的元素迟迟无法得到处理，严重的甚至浪费内存合并太慢，段就多，占用内存也比...

Elasticsearch的同义词功能是一个重要的文本分析工具，特别是在全文搜索应用中。同义词机制使得用户能够建立一个同义词库，以处理一词多义、多词同义等情况，从而增强搜索的准确性和丰富性。1、同义词在搜索引擎领域用途同义词在搜索引擎领域的用途可概括如下：增强搜索的准确性——当用户输入一个关键词时，可能与他们实际意图相关的文档使用了一个不同的关键词或短语。同义词允许搜索引擎理解和识别这些情况，返回更准确的结...

1、企业级真实问题问题描述如下：如上图所示，index中有这样四个字段：titlecontentquestionanswer。要查询这四个字段，支持最多输入5个关键词模糊查询，多关键词以空格隔开。匹配度计算逻辑：关键词有序排列，权重依次降低，即排列在前的关键词权重最高，依此降低；检索顺序和结果顺序一致的排在前面。title（question）较content（answer）权重高，比如权重高10倍词频（关键词出现次数）越高，匹配度越高在匹配度相同的条件下...

1、背景TieredMergePolicy作为Elasticserach默认的策略，和LogMergePolicy合并相邻的段不同，其合并大小相近的段。作为ES使用的段策略，它的核心思想是将索引段分成多个层次（tier），每个层次的段大小会有一个预设的上限。当某一层的段数量超过阈值或者某个段的大小达到阈值时，就会触发合并操作，将多个小段合并成一个较大的段。通俗理解分层为更好地辅助大家理解“分层”，这里给个通俗类比描述如下：我们可以将书比作文档，...

一、Redisrehash问题回顾​​Redis开发规范解析(三)一个Redis最好存多少key​​一文中详细介绍了Rehash的基本原理和可能产生的问题，这里不做详细介绍。简单回顾下超出key阈值后，需要额外的hash表内存大小：键值个数需要额外的hash表内存大小134,217,7282GB67,108,8641GB33,554,432512.0MB16,777,216256.0MB8,388,608128.0MB4,194,30464.0MB2,097,15232.0MB1,048,57616.0MB524,2888.0MB随着key个数越多，rehash需要的额外内存...

过去两年，互联网行业人口红利见顶、增速放缓成为了业内的一个统一共识。面对这样的趋势，科技企业无论规模大小都不约而同产生了一个共同的诉求，那就是降低研发成本并增加研发效率。包括Meta、华为、腾讯、阿里等众多国内外科技巨头的领导层角色也都曾在过去数月中公开表示，认为降本增效将是未来多年内的常态化动作。而研发管理作为促进企业降本增效的有效手段，其价值和重要性正在今天这个时代变得愈发凸显。但软件研发是一...

top基本使用top命令运行图：第一行：基本信息第二行：任务信息第三行：CPU使用情况第四行：物理内存使用情况buffcache：buffers和cache都是内存中存放的数据，不同的是，buffers存放的是准备写入磁盘的数据，而cache存放的是从磁盘中读取的数据在Linux系统中，有一个守护进程(daemon)会定期把buffers中的数据写入的磁盘，也可以使用sync命令手动把buffers中的数据写入磁盘。使用buffers可以把分散的IO操作集中起来，减少了磁盘...

1JDKJREJVM的联系JVMJavaVirtualMachineJDKJavaDevelopmentKitJREJavaRuntimeEnvironment看上图官方的介绍讲的很清楚2JVM的作用JVM有2个特别有意思的特性，语言无关性和平台无关性。语言无关性是指实现了Java虚拟机规范的语言可以在JVM上运行，如Groovy，和在大数据领域比较火的语言Scala，因为JVM最终运行的是class文件，只要最终的class文件符合规范就可以在JVM上运行。平台无关性是指安装在不同平台的JVM会把class文件解释为...

介绍为什么要有常量池？常量池是为了避免频繁的创建和销毁对象而影响系统性能，其实现了对象的共享。例如字符串常量池，在编译阶段就把所有的字符串文字放到一个常量池中。（1）节省内存空间：常量池中所有相同的字符串常量被合并，只占用一个空间。（2）节省运行时间：比较字符串时，比equals()快。对于两个引用变量，只用判断引用是否相等，也就可以判断实际值是否相等。基本数据类型的包装类和常量池Java有8种基本数据类型整...

极简计算机发展史我们知道，计算机CPU和内存的交互是最频繁的，内存是我们的高速缓存区。而刚开始用户磁盘和CPU进行交互，CPU运转速度越来越快，磁盘远远跟不上CPU的读写速度，才设计了内存，但是随着CPU的发展，内存的读写速度也远远跟不上CPU的读写速度，因此，为了解决这一矛盾，CPU厂商在每颗CPU上加入了高速缓存，用来缓解这种症状，因此，现在CPU同内存交互就变成了下面的样子。单核CPU的性能不可能无限制的增长，要想很...

介绍要聊事务，不可避免的要提到数据库事务的四大特性原子性（Atomic）一致性（Consistency）隔离性（Isolation）持久性（Durability）今天只聊隔离性，其他的比较好理解，建议看推荐阅读中关于事务的讲解。先放一个表格，看看4个隔离级别会出现的各种问题，网上的解释一大堆。看完后还是一脸蒙蔽，感觉懂了，又好像没懂。因为没有具体的演示例子，索性自己尝试复现这几个问题。√为会发生，×为不会发生，下文的图片显示不清，...

基本用法awk是一个强大的文本分析工具，简单来说awk就是把文件逐行读入，（空格，制表符）为默认分隔符将每行切片，切开的部分再进行各种分析处理awk命令格式如下awk[Ffieldseparator]'commands'inputfile(s)[F分隔符]是可选的，因为awk使用空格，制表符作为缺省的字段分隔符，因此如果要浏览字段间有空格，制表符的文本，不必指定这个选项，但如果要浏览诸如etcpasswd文件，此文件各字段以冒号作为分隔符，则必须指明F选项echo...

介绍SpringMVC参数绑定的注解有很多，如RequestParam，RequestBody，PathVariable，RequestHeader，CookieValue等。这些注解的实现方式很类似，都是有一个对应的解析器，解析完返回一个对象，放在方法的参数上。对参数绑定注解不熟悉的看推荐阅读如RequestParam的解析器为RequestParamMethodArgumentResolver，RequestBody的解析器为PathVariableMethodArgumentResolver等，这些解析器的原理超级简单。我先写一个自己的解析器，...

vim打开文件的几种方式命令作用vim+nfilename打开文件，并定位到第n行vim+filename打开文件，并定位到最后一行vim+patternfilename定位至第一次被pattern匹配到的行的行首按行或pattern，可以快速打开到配置文件错误的地方，或者日志中报错的地方。如从监控系统，或者邮件收到报错信息时，直接根据时间定位到相应的日志位置vim+"2019021723:01:49.994"server.logvim的三种模式命令模式（commandmode）命令模式是Vim的默认操作模...

介绍有一个卖煎饼的店铺找上了你，希望你能给她们的店铺开发一个收银系统，已知一个煎饼的价格是8元，一个鸡蛋的价格是1元，一根香肠的价格是2元。你二话不说写出了如下代码煎饼类publicclassBattercake{protectedStringgetDesc(){return"煎饼";}protectedintcost(){return8;}}加鸡蛋的煎饼publicclassBattercakeWithEggextendsBattercake{OverridepublicStringgetDesc(){returnsuper.getDesc()+"加一个鸡蛋";}Overridepublicin...

索引的种类众所周知，索引类似于字典的目录，可以提高查询的效率。索引从物理上可以分为：聚集索引，非聚集索引从逻辑上可以分为：普通索引，唯一索引，主键索引，联合索引，全文索引索引优化策略不要在索引列上进行运算或使用函数在列上进行运算或使用函数会使索引失效，从而进行全表扫描。如下面例子在publishtime，id列上分别加上索引，publishtime为datetime类型，id为int类型全表扫描selectfromarticlewhereyear(publishti...

IPCRPC提供对远端Stub对象状态的订阅机制，在远端Stub对象消亡时，可触发消亡通知告诉本地Proxy对象。这种状态通知订阅需要调用特定接口完成，当不再需要订阅时也需要调用特定接口取消。使用这种订阅机制的用户，需要实现消亡通知接口DeathRecipient并实现onRemoteDied方法清理资源。该方法会在远端Stub对象所在进程消亡或所在设备离开组网时被回调。值得注意的是，调用这些接口有一定的顺序。首先，需要Proxy订阅Stub消亡通知...

导语：本文为四川华迪数据计算平台使用OceanBase替代Hadoop的实践，验证了OceanBase在性能和存储成本方面的优势：节省了60%的硬件成本，并将运维工作大幅减少，从Hadoop海量组件中释放出来；一套系统处理HTAP场景需求，简化了运维复杂度。作者简介：向平，现任四川华迪信息技术有限公司智慧医养研发部技术总监，主要负责智慧医养板块大数据和人工智能相关架构设计和团队管理工作。随着老龄化现象加剧，养老问题逐渐成为社会广泛...

一、问题Redis臭名昭著的神坑配置save，可以自动完成持久化。save360013001006010000但对持久化了解的人也知道，它是性能杀手，所以一般情况下，我们在线上不会用这个功能的，具体两种方法：不添加这个配置显示配置save""在Redis6.2以前，上述两种方法都可以实现。但如果你用Redis6.2、Redis7就会发现使用第一种方法的话，会默认加上这个配置：127.0.0.1:6380>configgetsave1)"save"2)"360013001006010000"二、原因before6.2(6....

5.1mayexpandvm检查映射的虚拟内存是否超过了内核限制进程地址空间中对虚拟内存的用量是有限制的，限制分为两个方面：对进程地址空间中能够映射的虚拟内存页总数做出限制。对进程地址空间中数据区的虚拟内存页总数做出限制。这里的数据区，在内核中定义的是所有私有，可写的虚拟内存区域（栈区除外）：Dataareaprivate,writable,notstackstaticinlineboolisdatamapping(vmflagstflags){本次需要映射的虚拟内存区域是否是私有，...