鸿蒙开发者社区

P17是中国太平洋保险（以下简称太保）关联关系最为复杂、商业数据库绑定程度最深、业务影响最多的核心系统之一。但就是这样一个对太保业务至关重要的系统却被选为数据库升级的“实验品”。当然，说是“实验品”只是因为这是太保第一次对关键的核心系统进行数据库升级，而并非真的只是“实验”。实际上，由于该系统十分重要，此次数据库的升级只许成功不许失败。从去年年底项目立项，到12月18日P17第一个子系统成功上线，并完成...

8月29日，2023开源和信息消费大赛新闻发布会在北京召开。工业和信息化部信息技术发展司副司长王威伟，江苏省工业和信息化厅副厅长池宇，湖南省工业和信息化厅总经济师熊琛，江苏省无锡市人民政府副市长周文栋，湖南省株洲市委常委、市人民政府副市长王庭恺，开放原子开源基金会理事长孙文龙，中国电子信息产业发展研究院总工程师秦海林参加发布会并发言。党中央、国务院高度重视开源和信息消费工作，在国家“十四五”规划纲要等...

分布式存储解决了传统存储的很多卡脖子的问题，其中包括可让数据均匀地分散在设备上存储，从而保障了某个节点宕掉的话还有其它节点可用让业务连续。为此，拥有良好的数据均衡算法，成为打造分布式存储的一个基础能力。可当我们把应用部署在上面时候，很多情况下都无法取得理想的结果。现有的分布式存储系统的数据均衡算法只考虑如何均匀分布数据，但是在分布式存储集群中，一份数据存在多个副本。尽管每个副本的数据是一致的，...

1、集群环境及问题描述集群版本：6.8.X集群节点：5节点（三个节点为主+数据节点，另外两个独立数据节点）。问题描述：由于IP冲突，修改了一台服务器的IP，然后5台配置改了一下一次重启，能启动，但是连不上，后台各种报错。2、问题讨论节点换IP原因探讨：宿主机服务器的IP地址和别的服务器IP冲突，所以要修改一台服务器的IP地址。不建议集群节点经常更换IP，原因如下：频繁更换Elasticsearch集群节点的IP地址可能会导致集群稳定...

1.引言向量检索已经成为现代搜索和推荐系统的核心组件。通过将复杂的对象（例如文本、图像或声音）转换为数值向量，并在多维空间中进行相似性搜索，它能够实现高效的查询匹配和推荐。Elasticsearch作为一款流行的开源搜索引擎，其在向量检索方面的发展也一直备受关注。本文将回顾Elasticsearch向量检索的发展历史，重点介绍各个阶段的特点和进展。以史为鉴，方便大家建立起Elasticsearch向量检索的全量认知。2.初步尝试：简单向...

1、线上环境问题咕泡同学提问：我在看runtime文档的时候做个测试，agg求avg的时候不管是double还是long，数据都不准确，这种在生产环境中如何解决啊？2、问题归类及出现场景上述问题可以归类为：Elasticsearch聚合查询下的精度问题。在日常的数据处理工作中，我们经常会遇到使用Elasticsearch进行大数据查询、统计、聚合等操作。Elasticsearch在实践中表现出优秀的搜索性能，但在一些复杂的聚合操作，如求平均值（avg）时，可能...

在Elasticsearch中，functionscore可以让我们在查询的同时对搜索结果进行​​自定义评分​​。functionscore提供了一系列的参数和函数让我们可以根据需求灵活地进行设置。近期有同学反馈，functionscore的相关参数不好理解，本文将深入探讨​​functionscore​​的核心参数和函数。1、functionscore函数的用途及适用场景Elasticsearch的functionscore查询是一种强大的工具，它可以允许我们修改文档的基本的相关​​评分​​，让...

几个月的时间一直在使用ChatGpt4，以口述语音转文字的形式说一下自己的体会。1、选择版本大前提：我使用的都是GPT4的版本。也就是说至少每个月要付费20$。因为3.5的版本，实际上使用体验是非常差的，主要体现在答非所问上。这一点在四版本出来以后就很好的得到了解决。2、效率提升GPT4的确能极大的提高我们的编码，文字撰写等的效率。这是毋庸置疑的事实。当然，个人认为国内的大模型至少短期内是很难达到GPT4的能力。国内的大...

1、实战问题球友提问：我想停用所有纯数字的分词，官网上的这个方法好像对ik分词器无效！有没有什么别的方法啊，chartgpt说分词可以用正则匹配但是测试好像是不行的我的es版本是8.5.3。2、进一步沟通后，得到问题最精准描述我的查询内容可能是："北京市海淀区清华园10栋105"，iksmart中文​​分词​​结果为：“北京市”、“海淀区”、“清华园”、“10栋”、105。用户期望：只想把分词后，是纯数字的排除掉。也就是说：期望最...

1、Elasticsearch故障探测及熔断背景探究Elasticsearch7.10.2节点之间的故障探测以及熔断故障是怎么做的，思考生产上的最佳实践。服务端故障场景：单个master挂掉除了断点断网，状态同步异常，主master也会认为自己已经失败，会退出，然后选举新的masterElasticsearch是一种基于点对点的系统，其中节点直接相互通信。主节点的职责是维护全局集群状态并在节点加入或离开集群时重新分配分片。每次集群状态更改时，新状态都会发布...

1、reindex源码在线地址为方便大家验证，这里给出reindexgithub源码地址。​​https:github.comelasticelasticsearchblob001fcfb931454d760dbccff9f4d1b8d113f8708cserversrcmainjavaorgelasticsearchindexreindexReindexRequest.java​​reindex常见问题：2、reindex源码本质​​reindex​​操作的本质是从一个或多个源索引中读取文档，并将这些文档索引到一个目标索引中，可能还涉及对文档的某些转换。以下是从源码中得出的re...

1、问题描述近期在优化索引时，我遇到了一些挑战。我们的环境是7节点1632G的机器，我在尝试内存优化。当前的文档总量为5亿，然而mapping设计和shard设计都出现了问题。每个节点上有480个shard，这是一个相当离谱的数量。当我试图分析内存消耗的时候，遇到了更大的问题。尽管fielddata、completion、segments、querycache和translog占用的内存量可以计算出来，但是Heap的内存占用量达到了15G，让我困惑的是，剩下的内存究竟消耗...

在Elasticsearch中，​​评分​​（或打分）通常在查询过程中进行，以判断文档的相关性。默认的打分机制使用的是BM25，但你也可以通过自定义的打分查询（functionscore）来​​自定义评分​​机制。然而，如果你想要将评分范围限定在0到1之间，你可能需要在查询中使用脚本来实现。Elasticsearch的评分主要关注的是相关性排序，而不是确切的评分值，因此如果你想要让Elasticsearch的评分等比例地映射到0和1之间，你需要使用一些...

数字化时代，各行各业的数据量呈现爆发式增长，对于海量数据价值的挖掘和应用，正成为推动创新的主要力量，与此同时，数据计算复杂度正在提升。在此背景下，对于数据处理的基石数据库而言，正面临市场变局。集中式数据库、分库分表等传统解决方案难以面对海量数据带来的挑战，性能瓶颈、分析能力不足、成本高昂等问题逐渐凸显。分布式数据库凭借数据自动分布在多个节点，连接任何一个节点均可以对集群数据进行读写的天然优势及...

师文汇是计算机专业出身，不过，他的第一份工作却是研发PLC（可编程控制器）。出于对数据库的兴趣，2011年，师文汇进入淘宝工作，参与到国产分布式数据库OceanBase的研发与实践中。2011年2月份，师文汇正式入职淘宝的数据库团队，比OceanBase创始人阳振坤入职晚了半年，当时阳振坤所领导的OceanBase项目也才刚刚起步，准备做第一个项目——淘宝的收藏夹，入职一个月后，师文汇就投入到OceanBase的研发中。收藏夹当时用的是MySQL...

任何一家企业想要获得持续性的发展与盈利，“降本增效”都是难以绕开的命题。但是“一刀切”的降本影响往往不太可控，成本的快速收缩往往会给业务带来低效运营和增长缓慢的风险。所以我们所说的降本，是指在成本降低的同时，效率不降反增，这才是企业真正意义上的降本。在传统集中式数据库统治数据库领域的多年里，“如何实现真正意义上的降本”成为众多企业IT部门头疼的问题。本文根据OceanBase解决方案架构师高继威在「OBClou...

01技术背景分布式系统中一个重要的问题就是数据复制（datareplication），数据复制一般是为了增强系统的可用性或提高性能。在保持多副本的情况下，有一个副本不可用，系统切换到其他副本就会恢复。而实现数据复制的一个主要难题就是保持各个副本的一致性，一个副本的数据更新之后，其他副本必须要保持同步，否则数据不一致就可能导致业务出现问题。在数据有多副本的情况下，如果网络、服务器或者软件出现故障，会导致部分副本写...

哈喽大家好啊，我是Hydra。前两天，百度紧随​​GPT4​​发布了自己的语言模型文心一言。讲道理，对于国内能够发布这样一个敢于对标​​CHATGPT​​的高质量语言模型，大家应该更多感受到的是赛博朋克与现实生活贴近的真实感，对这个模型应该有着更多的鼓励或赞美。可不知是因为整个发布会搞的过于像没有好好准备的学生毕业答辩PPT，还是它的实际表现并没有那么如人意，大家貌似对文心一言并不那么买账。于是我决定看一下知乎大...

哈喽大家好啊，我是Hydra。在平常的工作中，​​OpenFeign​​作为微服务间的调用组件使用的非常普遍，接口配合注解的调用方式突出一个简便，让我们能无需关注内部细节就能实现服务间的接口调用。但是工作中用久了，发现Feign也有些使用起来麻烦的地方，下面先来看一个问题，再看看我们在工作中是如何解决，以达到简化Feign使用的目的。先看问题在一个项目开发的过程中，我们通常会区分开发环境、测试环境和生产环境，如果有的...

哈喽大家好啊，我是Hydra，今天来和大家聊聊服务的限流。服务限流，是指通过控制请求的速率或次数来达到保护服务的目的，在微服务中，我们通常会将它和熔断、降级搭配在一起使用，来避免瞬时的大量请求对系统造成负荷，来达到保护服务平稳运行的目的。下面就来看一看常见的6种限流方式，以及它们的实现与使用。固定窗口算法固定窗口算法通过在单位时间内维护一个计数器，能够限制在每个固定的时间段内请求通过的次数，以达到限...