开源基础软件社区

1、TermsSet检索简介TermsSet查询是Elasticsearch中一种强大的查询类型，主要用于处理多值字段中的文档匹配。其核心功能在于，它可以检索至少匹配一定数量给定词项的文档，其中匹配的数量可以是固定值，也可以是基于另一个字段的动态值。这种查询方式在处理具有多个属性、分类或标签的复杂数据时非常有用。2、TermsSet检索产生背景TermsSet查询是Elasticsearch6.1版本中引入的新功能。在6.1版本之前，Elasticsearch提供了多种查...

Elasticsearch是实现用户无缝搜索体验的关键工具。它通过提供快速、准确和相关的搜索结果，彻底改变了用户与应用程序的互动方式。然而，要确保Elasticsearch部署达到最佳性能，就必须关注关键指标，并对诸如索引、缓存、查询、搜索以及存储等各种组件进行优化。在本博文中，我们将深入探讨如何调整Elasticsearch以实现最佳性能和发挥最大潜能的最佳实践与技巧，从优化集群健康、搜索性能和索引，到精通缓存策略和存储选项。无论...

随着Elasticsearch在全球范围内的快速发展，其功能和应用场景日益丰富。在今天的Elastic大会2023上，我们了解到了关于Elasticsearch7和8系列的一系列令人兴奋的新功能。本文将为大家详细介绍这些新功能及其应用，帮助大家更好地了解和使用Elasticsearch。1.新的集群平衡策略策略1：根据分片大小对磁盘进行再平衡在这种策略中，系统会监控集群中各个节点上磁盘的使用情况。如果发现某个节点的磁盘使用率超过了预设的阈值，系统会...

1、实战问题如何根据输入的id的顺序输出结果，id个数有500个，还有分页？问题来源：https:t.zsxq.com0cdyq7tzr2、方案探讨2.1Elasticsearch默认排序机制在Elasticsearch中，如果未指定排序规则，检索结果的默认排序方式是按照文档的相关性得分（score）进行降序排序。相关性得分表示了文档与查询的匹配程度。得分越高，文档与查询的匹配程度越高。有些情况下，查询结果的评分可能不相关或无法计算。例如，在过滤查询（如term、t...

1、朋友在微信与我聊天时提到：“ChatGPT的影响力日益显著。他的一个朋友所在的公司已经计划引入ChatGPT的API服务，并开始进行裁员。”2、我们可能无法深入了解ChatGPT的底层原理和论文思路，但我们至少应善于利用这个工具来提高效率，而不是墨守成规。例如，当Google问世时，继续使用雅虎搜索就会显得过时；同样，当苹果和安卓手机普及时，还抱着诺基亚就显得落后。因此，我们应尽早运用Chatgpt，提升工作效率。3、巨大的变革...

一、ElasticsearchRollup产生背景1.1认知前提Elasticsearch是一个分布式的搜索和分析引擎，能够处理大量的数据并提供实时查询功能。Elasticsearch传统的聚合操作都是实时聚合，就是执行聚合的那一刻，实时根据检索+聚合语句进行聚合操作。传统的聚合，当文档数据量非常大时进行多重聚合、嵌套聚合的性能会受到很大影响。因为聚合操作需要搜索整个索引，并处理大量数据，这会导致查询变慢，甚至可能使Elasticsearch集群崩溃。1.2...

1、线上实战问题写入es前，数据格式如下{"jsonlbm01":"test01","jsonlbm02":"test02","tmplbm01":"test03","tmplbm02":"test04"}需求：单纯用pipeline可不可以实现，如果写入key包含json提换为空，包含tmp提换为core，因为key字段有很多不考虑穷举，最终效果要如下：{"lbm01":"test01","lbm02":"test02","corelbm01":"test03","corelbm02":"test04"}——问题来源：死磕Elasticsearch知识星球https:t.zsxq.com0bzWL3w1X2、认知前...

1、线上常见问题在我线下对接企业或线上交流的时候，经常会遇到各种业务场景不同的问题。比如，常见问题归类如下：常见问题1：ES适合场景及架构选型问题。公司的核心业务是做企业员工健康管理，数据来自电子化后的员工体检报告以及各种健康数据采集设备，均存储在关系型数据库中。先计划搞健康大数据分析，比如某企业内按部门，年龄段等对现有数据对比分析等。请问ES适合这个场景使用吗？如果适合，大致的架构是怎样的？常见问...

1、实战问题POSTtest002bulk{"index":{"id":1}}{"name":"张三","city":"beijing"}{"index":{"id":2}}{"name":"李四","city":"beijing"}{"index":{"id":3}}{"name":"王五","city":"shanghai"}{"index":{"id":4}}{"name":"赵六","city":"shanghai"}请教老师，上面的是我在es保存的数据，想写一个dsl，求出来beijing占比50%，shanghai占比50%。死磕Elasticsearch知识星球https:t.zsxq.com0bqpcJiLL2、问题分析类似问题，样例数据单...

1、线上问题背景1.1某外企集群环境1、10TB左右（细节没有说特别具体）集群数据；2、2节点集群，资源使用率如下图；3、最大索引600GB4、Elasticsearch版本：7.17.45、集群共200分片。1.2核心问题症状：集群重启无法启动，已启动了20个小时+，集群仍然无法完全恢复正常状态。经交流反馈：之前，最长时间8小时启动集群。现在临近过年放假，直接无法启动。1.3核心报错Causedby:org.elasticsearch.action.UnavailableShardsException...

最近，有位读者问起一个奇怪的事情，他说他想抓一个​​baidu.com​​的数据包，体验下看包的乐趣。但却发现“抓不到”，这就有些奇怪了。我来还原下他的操作步骤。首先，通过​​ping​​命令，获得访问百度时会请求哪个IP。$pingbaidu.comPINGbaidu.com(39.156.66.10)56(84)bytesofdata.64bytesfrom39.156.66.10(39.156.66.10):icmpseq1ttl49time30.6ms64bytesfrom39.156.66.10(39.156.66.10):icmpseq2ttl49time30.6ms64bytes...

上篇文章「​​为什么我们家里的IP都是192.168开头的？​​」提到，因为IPv4地址有限，最大42亿个。为了更好的利用这有限的IP数量，网络分为局域网和广域网，将IP分为了私有IP和公网IP，一个局域网里的N多台机器都可以共用一个公网IP，从而大大增加了"可用IP数量"。收发数据就像收发快递当我们需要发送网络包的时候，在IP层，需要填入源IP地址，和目的IP地址，也就是对应快递的发货地址和收货地址。IP报头里含有发送和接收IP地...

是的，还是我小白，什么技术博主，老情感博主了。来讲个故事。资深老舔狗小张今天很兴奋，说什么也要请大家喝奶茶。因为他说他感觉要跟喜欢的女生小吕修成正果了。一问为什么。他耳朵都红了，说"我觉得小吕在暗示我了，她说她喜欢看阿凡达，正好我长得就像阿凡达"。听了让人皱眉。他继续说："她说她喜欢射手座，正好我就是"我挠挠头："行，别说了，懂了。她住上海，你也住上海，你两算是同居了"他愣了一会，看了看我："别说这种...

对于开发同学来说，CDN这个词，既熟悉又陌生。平时搞开发的时候很少需要碰这个，但却总能听到别人提起。我们都听说过它能加速，也大概知道个原因，但是往深了问。用了CDN就一定比不用更快吗？就感觉有些懵了。但没关系，今天我们换个角度重新认识下CDN。CDN是什么对于数字和文本类型的数据，比方说名字和电话号码相关的信息。我们需要有个地方存起来。我们通常会用mysql数据库去存。文本存在mysql中当我们需要重新将这一数据取...

我相信大家刚开始学socket的时候，都跟我一样。云里雾里的，对socket的概念很模糊。这篇文章我打算从一个初学者的角度开始聊起，让大家了解下我眼里的socket是什么以及socket的原理和内核实现。socket的概念故事要从一个插头说起。插头与插座当我将插头插入插座，那看起来就像是将两者连起来了。风扇与电力系统建立"连接"而插座的英文，又叫​​socket​​。巧了，我们程序员搞网络编程时也会用到一个叫​​socket​​的东西。...

大家第一次接触HTTPS的时候是不是和我一样，非常困惑。这玩意概念又多又繁琐。尤其是里面的公钥私钥啥的。当时我就特别想知道，为什么用公钥加密却不能用公钥解密？看完这篇文章你会弄明白，同时还会解锁很多HTTPS里的细节知识点。今天，我们就先从对称加密和非对称加密聊起吧。对称加密和非对称加密小学上课的时候，都传过小纸条吧？传纸条的时候每个拿到纸条的同学都会忍不住看一眼，毫无隐私可言。假设班花想对我表白，又不...

接上一篇文章​​《DNS中有哪些值得学习的优秀设计》​​最后遗留的两个问题。从抓包可以看出，DNS在传输层上使用了UDP协议，那它只用UDP吗？DNS的IPV4根域名只有​​13个​​，这里面其实有不少都部署在漂亮国，那是不是意味着，只要他们不高兴了，切断我们的访问，我们的网络就得瘫痪了呢？我们来展开今天的话题。DNS是基于UDP的应用层协议吗？当我们执行​​digwww.baidu.com​​​时，操作系统会发出​​dns请求​​​，去...

大家好，我是不才陈某前面在介绍分布式链路追踪时讲过异步调用会丢失链路信息，最终的解决方案是使用对应的包装类重新包装一下，如下：RunnableWrapperCallableWrapperSupplierWrapper还有openFeign异步请求丢失上文的问题，这些问题追根究底都是ThreadLocal惹得祸。由于ThreadLocal只能保存当前线程的信息，不能实现父子线程的继承。说到这，很多人想到了InheritableThreadLocal，确实InheritableThreadLocal能够实现父子线程...

简单应用在SpringSecurity往往需要存储用户登录的详细信息，这样在业务方法中能够随时获取用户的信息。在前面的SpringCloudGateway整合OAuth2.0实现统一认证鉴权文章中笔者是将用户信息直接存储在Request中，这样每次请求都能获取到对应的信息。其实Request中的信息存储也是通过ThreadLocal完成的，在异步执行的时候还是需要重新转存，这样一来代码就变得复杂。那么了解了TransmittableThreadLocal之后，完全可以使用这个存储用...

所以，重点的核心逻辑应该是在TtlCallablecall()或者TtlRunnablerun()中。以下以TtlCallable为例，TtlRunnable同理类似。在分析call()方法之前，先看一个类TransmitterpublicstaticclassTransmitter{捕获当前线程中的是所有TransimittableThreadLocal和注册ThreadLocal的值。NonNullpublicstaticObjectcapture(){returnnewSnapshot(captureTtlValues(),captureThreadLocalValues());}捕获TransimittableThreadLocal的值,将holde...