鸿蒙开发者社区

在使用Elasticsearch过程中，不免还会有Mysql等关系型数据库的使用痕迹，以下两个都是实战开发问到的问题：•Elasticsearch新增字段，能在Mapping设置默认值吗？•Elasticsearch有什么好的方式维护文档的createtime（创建时间）和updatetime（更新时间）吗？本文就从Elasticsearch默认值的实现方案说开去。认知前提：严格讲Elasticsearch是不支持Mapping层面设置数据类型的时候，设置字段的默认值的。有人会说，nullval...

如下都是实战环节遇到的问题：•logstash谁解决过时区问题，mysql是东八区shanghai但是这玩意读完存到es就少了8小时？•目前索引会比真正时间晚8小时，导致8点前的日志写到昨天索引里，大佬们有招吗？•问一下logstash输出日志到本地文件中，按照小时生成索引，但是他这边的时区是utc，生成的时间和北京时间少8小时，这一块大佬们是咋操作的？•......从浏览器kibana那里看timestamp时间戳变成了utc的时区？上...

显然，multiterms聚合只支持：多个terms聚合操作，是不能满足需求的。而，Composite组合聚合应运而生，巧妙的解决了如上组合聚合问题。Composite是个六级词汇，含义：并合的，复合的，混成的，合成的，集成的。Composite聚合是一种多桶聚合，可从不同来源创建复合桶。具体哪些不同源呢？主要支持的聚合方式如下：•Terms特定关键字聚合•Histogram区间聚合•Datehistogram日期区间聚合•GeoTilegridGeo地理位置...

互联网时代，业务生态复杂多变，基于微服务的架构理念应运而生，微服务架构体系带来了灵活性以及优越性，但也带来了相对的复杂性，微服务运行的排忧解错方面，相对难度提高很多。过去并没有非常优秀的监控体系产品，架构师们只能混搭多种技术产品，虽然部分解决了问题，但也带来了使用的门槛，用起来并不灵活。ElasticStack生态很丰富，擅长的应用领域众多，尤其是日志监控领域。曾经大名鼎鼎的ELK组合风靡一时，到现在已经进化...

球友问题：我记得您写过一篇关于建模字段膨胀的问题，对于比如requestheaderresponse这种动态的对象，是怎么处理来着？进一步反馈：决定升级es高版本了，Flattened解千愁！主要我们这需求要把接口所有信息都保留，只能这样了。ElasticsearchMapping如果不做特殊设置，默认为dynamic。dynamic的本质就是：不加约束的动态添加字段。这样对某些日志场景，可能会产生大量的未知字段。字段如果持续激增，就会达到ElasticsearchMappin...

•百度云业务>百度lb>INFINIGateway(百度)>Elasticsearch（百度云data节点）•华为云业务>华为lb>INFINIGateway(华为)>Elasticsearch（华为云data节点）Elasticsearch支持一个Preference参数来设置请求的优先访问，通过在两个云内部的极限网关分别设置各自请求默认的Preference参数，让各个云内部的请求优先发往本云内的数据节点，即可实现请求的就近访问。具体的百度云的INFINIGateway配置如下（华为云大体相同，就不...

Elasticsearch实战项目中势必会用到中文分词，而中文分词器的选型包含但不限于如下开源分词器：还有华为的未开源的：泊松分词器；阿里未开源的：达摩院定制的分词器。但，不论选择何种分词器，尤其选型开源分词器，到头来都会遇到：已有词库词典数据无法满足定制化项目需求的情况。那么，实战中如何解决词典扩展问题呢？本文给出实战思路。1.1分词器选型本文验证使用的IK分词器，其他分词器原理相同。1.2新扩充词典对历史索引数...

我的大致排解思路：如下第一、第二、第三......代表排查问题的推进步骤。2.1第一：确定节点角色划分，核实未被分配的节点类型。仅主节点是不参与分片数据落地存储的，这是认知大前提。经对方核实，未分配的节点的确是数据节点。集群有3个候选主节点，3个数据节点，其中1个数据节点为新添加的节点。2.2第二：关闭索引再打开试试。close再open之前验证过会走重新分配机制，部分场景适用。经对方核查，没有生效。2.3第三：独立创立...

如上命令行或许结合Kibana等集群监控工具更为直观查看。本文仅抛砖引玉，大而全的信息推荐官方文档，见参考部分给出的链接。仅看本文你肯定不过瘾，建议打开文章开头推荐4篇文章一起看。最常遇到问题：“Elasticsearch知道用什么dsl，但是从01给敲出来命令很困难，都得抄和改现成的，有什么好办法熟练一些？”•第一：熟练都是相对的，用的多了自然就熟悉了。•第二：适当翻看官方文档，加强认知，复制命令行也无可厚非...

本文是在以下6篇基础上的继续扩展版本，不求大而全，只求对实战有帮助。1、干货Elasticsearch运维实战常用命令清单2、干货ElasticsearchTop10监控指标3、你不得不关注的ElasticsearchTopX关键指标4、干货Elasticsearch开发实战常用命令清单5、干货Elasticsearch开发人员最佳实战指南6、Elasitcsearch开发运维常用命令集锦ps：主分片不可以修改（除非shrink），但：副本可以动态调整大小。磁盘的三个警戒水位线需要再一次强调。...

作者bigsai来源bigsai(ID：bigsai)前言hello我是bigsai，今天咱们进行JDBC+MySQL实战，非常适合初入门的小伙伴打开新的世界。实现一个增删改查(curd)的例子。先点赞再观看、帅哥靓女养成好习惯!在这个案例进行之前，你要确保自己电脑上拥有MySQL和IDEA编译器，另外还要安装MySQL数据库连接管理工具Navicat。方能进行以下的操作。如果以前没见过或者使用过也不要紧，本课程提供傻瓜式教学你只需跟着我的要求来包成功包会。通过本...

作者bigsai来源bigsai(ID：bigsai)缓存穿透、缓存雪崩和缓存击穿如果不了解，可能对这几个概念都不了解，听着感觉太高大上，至少笔者刚开始是这么觉得，本文并不是详细介绍如何解决和完美解决，更主要的是认识和认知吧。redis缓存穿透理解重在穿透吧，也就是访问透过redis直接经过mysql，通常是一个不存在的key,在数据库查询为null。每次请求落在数据库、并且高并发。数据库扛不住会挂掉。解决方案可以将查到的null设成该key的...

作者bigsai来源bigsai(ID：bigsai)前言对于Web来说，并发量和访问量增加一定程度上推动项目技术和架构的更迭和进步。可能会有以下的一些状况：页面并发量和访问量并不多，MySQL足以支撑自己逻辑业务的发展。那么其实可以不加缓存。最多对静态页面进行缓存即可。页面的并发量显著增多，数据库有些压力，并且有些数据更新频率较低反复被查询或者查询速度较慢。那么就可以考虑使用缓存技术优化。对高命中的对象存到keyvalue形式的R...

外存数据结构，或者说磁盘数据结构(OnDiskStructures)，记录的是需要进行持久化存储的元数据和数据。在存储体系中，访问外存数据带来的系统问题很多，比如如何快速找到数据，如何加速对元数据的频繁访问，如何进行数据一致性存储和灾难恢复等。本文介绍了InnoDB主要的外存数据结构，包括表和表空间(Table&TableSpace)，索引(Index)和恢复日志等。理解这些外存数据结构，有助于弄懂MySQL是如何访问和持久化数据的。PartⅠ表和表...

Innodb存储引擎是目前MySQL最主流的存储引擎，学习Innodb,可以先从其最基础的数据结构开始。Innodb的数据结构主要包括内存数据结构(InMemoryStructures)，如bufferpool,changebuffer,logbuffer等,磁盘数据结构(OnDiskStructures)，如索引Index,表空间及日志结构等。BufferPoolBufferPool主要是对Innodb存储引擎中的数据表(Table)和索引数据(Index)的一个缓存，它使得MySQL可以直接对一些热数据在内存中进行读取。InnodbBufferPo...

SQL是一种简单易用的业务逻辑表达语言，但随着扫描数据量和查询复杂度的增加，查询性能会变得越来越慢。想要对SQL进行调优，往往需要关注以下几个部分：需要了解引擎架构：用户往往需要对SQL引擎的架构特点有一定的了解，才能和业务的数据分布特征以及业务场景特征完美结合，来进行数据建模，从而设计出符合SQL引擎架构特点的表结构。SQL特征差异较大：即席查询的SQL往往变化较大，包括参与Join的表个数、Join条件、分组聚合的...

作者bigsai来源bigsai(ID：bigsai)课程导学我们都知道MongoDB是一款非常出色的非关系型文档数据库，你肯定会想问MongoDB这么强，我们该怎么用或者有啥运用场景呢MongoDB的应用场景非常多，无论是数据存储还是日志存储越来越多的公司在使用MongoDB，而我们今天也在SpringBoot基础上使用MongoDB实现一个简易版本的物流订单管理系统。在使用前，你自己的电脑上要有IDEA编译器来创建项目，还要拥有MongoDB数据库和Studio3T(MongoDB...

作者bigsai来源bigsai(ID：bigsai)课程导学大家好我是bigsai，我们都学过数据库，但你可能更熟悉关系(型)数据库例如MySQL，SQLSERVER，ORACLE等，对于非关系(型)数据库可能比较陌生，因为大部分入门级项目或者学习对非关系型数据库的使用要求并不高，所以你了解的会更少。但谈起性能和功能，非关系数据库的表现那可谓是非常亮眼了!咱们今天就介绍学习以及使用其中一种非关系型数据库——MongoDB数据库!本篇会介绍MongoDB相关内...

作者鄙人薛某来源鄙人薛某(ID：gh4c2f29048530)什么是分布式锁说到Redis，我们第一想到的功能就是可以缓存数据，除此之外，Redis因为单进程、性能高的特点，它还经常被用于做分布式锁。锁我们都知道，在程序中的作用就是同步工具，保证共享资源在同一时刻只能被一个线程访问，Java中的锁我们都很熟悉了，像synchronized、Lock都是我们经常使用的，但是Java的锁只能保证单机的时候有效，分布式集群环境就无能为力了，这个时候我...

作者鄙人薛某来源鄙人薛某(ID：gh4c2f29048530)数据库索引，相信大家都不陌生吧。索引是对数据库表中一列或多列的值进行排序的一种结构，使用索引可快速访问数据库表中的特定信息。作为辅助查询的工具，合理的设计索引能很大程度上减轻db的查询压力，db我们都知道，是项目最核心也是最薄弱的地方，如果压力太大很容易产生故障，造成难以预计的影响。所以，不管是日常开发还是面试，索引这一块知识体系都是必须掌握的。当然，虽...