鸿蒙开发者社区

因为线上图数据库目前为单集群，数据量比较大，有以下缺点：单点风险，一旦集群崩溃或者因为某些查询拖垮整个集群，就会导致所有图操作受影响很多优化类但会影响读写的操作不好执行，比如：compact、balanceleader等；双集群在升级的时候也非常有优势，完全可以做到不影响业务运行，比如先升级备集群再升级主集群。总之，为了线上数据库更加稳定和高可用需要搭建双集群。选择BR目前我这边了解到复制集群方案有：新集群重新写入...

本文目录Text2Cypher传统的Text2Cypher用LLM做Text2CypherNebulaGraph上的Text2Cypher使用LlamaIndex使用LangChainDemo结论话接上文​​​《图技术在LLM下的应用：知识图谱驱动的大语言模型LlamaIndex》​​🔗同大家简单介绍过LLM和图、知识图谱相关的结合，现在我来和大家分享下最新的成果。毕竟，从GPT3开始展现出超出预期的”理解能力“开始，我一直在做Graph+LLM技术组合、互补的研究、探索和分享，截止到现在NebulaGraph已...

1、reindex源码在线地址为方便大家验证，这里给出reindexgithub源码地址。​​https:github.comelasticelasticsearchblob001fcfb931454d760dbccff9f4d1b8d113f8708cserversrcmainjavaorgelasticsearchindexreindexReindexRequest.java​​reindex常见问题：2、reindex源码本质​​reindex​​操作的本质是从一个或多个源索引中读取文档，并将这些文档索引到一个目标索引中，可能还涉及对文档的某些转换。以下是从源码中得出的re...

几个月的时间一直在使用ChatGpt4，以口述语音转文字的形式说一下自己的体会。1、选择版本大前提：我使用的都是GPT4的版本。也就是说至少每个月要付费20$。因为3.5的版本，实际上使用体验是非常差的，主要体现在答非所问上。这一点在四版本出来以后就很好的得到了解决。2、效率提升GPT4的确能极大的提高我们的编码，文字撰写等的效率。这是毋庸置疑的事实。当然，个人认为国内的大模型至少短期内是很难达到GPT4的能力。国内的大...

1、实战问题球友提问：我想停用所有纯数字的分词，官网上的这个方法好像对ik分词器无效！有没有什么别的方法啊，chartgpt说分词可以用正则匹配但是测试好像是不行的我的es版本是8.5.3。2、进一步沟通后，得到问题最精准描述我的查询内容可能是："北京市海淀区清华园10栋105"，iksmart中文​​分词​​结果为：“北京市”、“海淀区”、“清华园”、“10栋”、105。用户期望：只想把分词后，是纯数字的排除掉。也就是说：期望最...

1.引言向量检索已经成为现代搜索和推荐系统的核心组件。通过将复杂的对象（例如文本、图像或声音）转换为数值向量，并在多维空间中进行相似性搜索，它能够实现高效的查询匹配和推荐。Elasticsearch作为一款流行的开源搜索引擎，其在向量检索方面的发展也一直备受关注。本文将回顾Elasticsearch向量检索的发展历史，重点介绍各个阶段的特点和进展。以史为鉴，方便大家建立起Elasticsearch向量检索的全量认知。2.初步尝试：简单向...

在Elasticsearch中，functionscore可以让我们在查询的同时对搜索结果进行​​自定义评分​​。functionscore提供了一系列的参数和函数让我们可以根据需求灵活地进行设置。近期有同学反馈，functionscore的相关参数不好理解，本文将深入探讨​​functionscore​​的核心参数和函数。1、functionscore函数的用途及适用场景Elasticsearch的functionscore查询是一种强大的工具，它可以允许我们修改文档的基本的相关​​评分​​，让...

1、Elasticsearch故障探测及熔断背景探究Elasticsearch7.10.2节点之间的故障探测以及熔断故障是怎么做的，思考生产上的最佳实践。服务端故障场景：单个master挂掉除了断点断网，状态同步异常，主master也会认为自己已经失败，会退出，然后选举新的masterElasticsearch是一种基于点对点的系统，其中节点直接相互通信。主节点的职责是维护全局集群状态并在节点加入或离开集群时重新分配分片。每次集群状态更改时，新状态都会发布...

1、集群环境及问题描述集群版本：6.8.X集群节点：5节点（三个节点为主+数据节点，另外两个独立数据节点）。问题描述：由于IP冲突，修改了一台服务器的IP，然后5台配置改了一下一次重启，能启动，但是连不上，后台各种报错。2、问题讨论节点换IP原因探讨：宿主机服务器的IP地址和别的服务器IP冲突，所以要修改一台服务器的IP地址。不建议集群节点经常更换IP，原因如下：频繁更换Elasticsearch集群节点的IP地址可能会导致集群稳定...

1、问题描述近期在优化索引时，我遇到了一些挑战。我们的环境是7节点1632G的机器，我在尝试内存优化。当前的文档总量为5亿，然而mapping设计和shard设计都出现了问题。每个节点上有480个shard，这是一个相当离谱的数量。当我试图分析内存消耗的时候，遇到了更大的问题。尽管fielddata、completion、segments、querycache和translog占用的内存量可以计算出来，但是Heap的内存占用量达到了15G，让我困惑的是，剩下的内存究竟消耗...

1、线上环境问题咕泡同学提问：我在看runtime文档的时候做个测试，agg求avg的时候不管是double还是long，数据都不准确，这种在生产环境中如何解决啊？2、问题归类及出现场景上述问题可以归类为：Elasticsearch聚合查询下的精度问题。在日常的数据处理工作中，我们经常会遇到使用Elasticsearch进行大数据查询、统计、聚合等操作。Elasticsearch在实践中表现出优秀的搜索性能，但在一些复杂的聚合操作，如求平均值（avg）时，可能...

在Elasticsearch中，​​评分​​（或打分）通常在查询过程中进行，以判断文档的相关性。默认的打分机制使用的是BM25，但你也可以通过自定义的打分查询（functionscore）来​​自定义评分​​机制。然而，如果你想要将评分范围限定在0到1之间，你可能需要在查询中使用脚本来实现。Elasticsearch的评分主要关注的是相关性排序，而不是确切的评分值，因此如果你想要让Elasticsearch的评分等比例地映射到0和1之间，你需要使用一些...

前言大家,我是田螺。我们做后端开发的,经常需要定义接口文档。最近在做接口文档评审的时候，发现一个小伙伴定义的出参是个枚举值，但是接口文档没有给出对应具体的枚举值。其实，如何写好接口文档，真的很重要。今天田螺哥，给你带来接口文档设计的​​12​​个注意点1.你的接口名称是否清晰？换句话说，你的接口是做什么的，是否易懂清晰？一般接口​​url​​也要求能看得出接口的作用。比如说，查询用户信息（queryUserInfo...

前言大家好，我是田螺。我们去面试的时候，经常被问到​​netty​​​的题目。我整理了​​netty​​​的​​32​​连问。小伙伴们，收藏起来慢慢看吧。1.Netty是什么，它的主要特点是什么？​​Netty​​​是一个高性能、异步事件驱动的网络编程框架，它基于​​NIO​​​技术实现，提供了简单易用的​​API​​，用于构建各种类型的网络应用程序。其主要特点包括：高性能：​​Netty​​​使用异步​​IO​​，非阻塞式处理方...

译注：cstack在github维护了一个简单的、类似sqlite的数据库实现，通过这个简单的项目，可以很好的理解数据库是如何运行的。本文是第九篇，主要是实现Btree的二叉搜索并解决主键重复问题Part9二叉搜索与主键重复上次注意到我们的B树存储key时仍然是非排序的。现在我们来解决这个问题，并检测和拒绝主键的重复（插入）。现在我们的executeinsert()函数在插入时，选择的位置是在表的结尾处。作为替换，我们需要搜索表（树）中正确...

什么是ChatGPT？ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型，它能够通过学习和理解人类的语言来进行对话，还能根据聊天的上下文进行互动，并协助人类完成一系列任务，因此有望成为提高办公、学习效率的工具。以前的人工智能AlphaGo打败了柯洁，但只是在围棋领域，而ChatGPT则已经进入了日常工作领域和生活世界。不少和ChatGPT“聊过天”的网友纷纷感叹，“只有你想不到，没有ChatGPT办不成的”。上线...

一、MySQL的sp运行SQL语句两个步骤介绍二、代码跟踪三、知识应用四、总结一、MySQL的sp运行sql语句两个步骤介绍MySQL的sp运行SQL语句需要执行2个步骤：prepare和execute。第一次执行的时候先执行prepare，进行相关语句parse、itemize、fixfields等操作，然后才开始进行execute操作。等第二次再执行该sp的时候就直接运行execute而不需要再次进行重复的prepare操作，这样可以节省sp运行时候重复prepare的开销。但是，对于表操作就...

什么是通用查询日志通用查询日志（GeneralQueryLog）用来记录用户的所有操作，包括启动和关闭MySQL服务、所有用户的连接开始时间和截止时间、发给MySQL数据库服务器的所有SQL指令等。当我们的数据发生异常时，查看通用查询日志，还原操作时的具体场景，可以帮助我们准确定位问题。查看当前状态mysql>SHOWVARIABLESLIKE'%general%';+++VariablenameValue+++generallogOFFgenerallogfilevarlibmysqlzhyno1.log+++2rowsinset(0.00s...

系统版本：Linuxversion4.18.0348.el8.x8664前言SELinux是什么安全增强型Linux（SELinux）是一种采用安全架构的Linux®系统，它能够让管理员更好地管控哪些人可以访问系统。它最初是作为Linux内核的一系列补丁，由美国国家安全局（NSA）利用Linux安全模块（LSM）开发而成。SELinux工作原理SELinux定义了每个人对系统上的应用、进程和文件的访问控制。利用安全策略（一组告知SELinux哪些能访问，哪些不能访问的规则）来强制执行...

前言两表使用nestloop（以下简称NL）方式进行连接，小表驱动大表效率高，这似乎是大家的共识，但事实上这是有条件的，并不总是成立。这主要看大表扫描关联字段索引后返回多少数据量，是否需要回表，如果大表关联后返回大量数据，然后再回表，这个代价就会很高，大表处于被驱动表的位置可能就不是最佳选择了。实验举例使用benchmarksql压测的两个表​​bmsqlwarehouse​​​与​​bmsqlorderline​​来测试，初始化10仓数据。mys...