鸿蒙开发者社区

自互联网信息技术高速发展以来，电商行业蓬勃发展，涌现出众多的网络电商新兴企业。而随着网络电商业务的不断深化拓展，不断地有中小型企业将线下业务交流先线上网站迁移——云上服务。云计算机主机的运维和安全迎来了艰巨的考验。而对于这些考验，我们可以从华为云的解决方案看清保障网站安全的思路脉络。网络运维的成本控制由于是多个企业对接，不同企业所使用的计算机主机是不一样的，一个中小型企业要对接不同企业开展业务...

后疫情时代，懒人经济和单身经济愈发流行，叠加疫情下宅经济的催化，美容仪、养生壶、洗地机......各种创新的小家电不断涌入消费者的视野。但在后疫情时代，小家电市场的消费热情还会一如既往吗，小家电产业的发展前路又将如何呢？从美的、格力、苏泊尔、九阳等老派巨头，到小熊电器、科沃斯、莱克等新生代企业，再到摩飞电器、SKG等网红品牌，小家电企业的生意模式从过去的“十年不变”到如今“五年一变”。快速变化的背后，是...

在当今的游戏行业中，精品化内容接连升级，如游戏与影视的产业化融合、产品内容不断创新、版权管理意识愈渐增强，措施不断完善。但是行业发展却面临极大的挑战，其内容开发以人工为主，效率低下；行业板块的分工细致，对于团队协作的要求较高，但当前行业内仍以分包、集中开发为主，耗费的时间长成本较高，无法实现大规模的数据和信息内容开发，存在内容泄露风险。针对这些挑战，行业发展趋势逐渐显露。从本地化的传统模式，发...

随着eBPF技术的广泛应用，在操作系统层面提供了更多的观测能力，站在操作系统层面对应用的行为数据进行trace追踪成了一种应用监控的新手段，本文主要介绍基于eBPF实现对应用网络数据监控的背后逻辑。一、一个请求数据包的组成一个完整的应用请求数据包主要包含请求地址信息及具体的请求数据。其中请求地址信息就是我们常说的五元组信息(IP+端口+协议)，这部分都是操作系统协议栈负责去解析；而请求数据则由应用通过各种协议去封...

1、问题引出以下两个导出问题来自Elastic中文社区。问题1、kibana怎么导出查询数据？问题2：elasticsearch数据导出就像数据库数据导出一样，elasticsearch可以么或者找到它磁盘上存放数据的位置，拷贝出来，放到另一个es服务器上或者转成自己要的数据格式？实际业务实战中，大家或多或少的都会遇到导入、导出问题。根据数据源的不同，基本可以借助：1、程序写入2、数据同步​logstashflumecanaeshadoopl等来实现关系型数据库（...

0、题记Elasticsearch实战数据量级少的时候，单节点就能玩的很6，但是随着数据量的增长，多节点分布式横向扩展集群是大势所趋。之前分享过​​基于时间创建索引及Curator实现索引生命周期管理​​。当集群硬件资源有限，尤其SSD磁盘更紧俏的业务场景下，最大化集群的性能，如何让用户最关心的“热”数据分布到SSD磁盘对应的节点上，让用户关注程度弱的“冷”数据分散到普通磁盘对应节点上？也就是说“冷热”数据分离是本文讨论...

1、reindex速率极慢，是否有办法改善？以下问题来自社区：​​http:t.cnRDOcX0O​​问题1：reindex和snapshot的速率极慢，是否有办法改善？reindex和snapshot的速率比用filebeat或者kafka到es的写入速率慢好几个数量级（集群写入性能不存在瓶颈），reindexsnapshot的时候CPU还是IO使用率都很低，是不是集群受什么参数限制了reindex和snapshot的速率？reindex不管是跨集群还是同集群上都很慢，大约35Ms的索引速率，会是什么原因...

1、引言Elasticsearch是非常灵活且功能丰富的搜索引擎，它提供了许多不同查询数据的方法。在实战业务场景中，经常会出现远远低于预期查询速度的慢查询。作为分布式系统的Elasticsearch，可能有各种影响查询性能的因素，包括外部因素，如负载均衡设置，网络延迟（带宽，NIC卡驱动程序）等。本文主要讨论可能导致慢查询的原因以及如何在Elasticsearch的上下文中识别它们？本文主要源于常见慢查询故障的排除方法，阅读本文的前提需...

0、引言实战中经常遇到的问题：问题1：请问下大家是如何评估集群的规模？比如数据量达到百万，千万，亿万，分别需要什么级别的集群，这要怎么评估？ps：自己搭建的测试环境很难达到这一级别。问题2：问题3：我看了很多文章关于es集群规划的文章，总感觉乱七八糟的，没有一个统一的规划思路。如何根据硬件条件和数据量来规划集群，设置多少节点，每个节点规划多少分片和副本？Elasticsearch集群规模和容量规划：是进行Elasticsea...

0、引言Elasticsearch上海Meetup中ebay工程师提了索引生命周期管理的概念。的确，在Demo级别的验证阶段我们数据量比较小，不太需要关注索引的生命周期，一个或几个索引基本就能满足需要。所以，这也会产生一种假象，认为：“Elasticsearch不就是增删改查，毛毛雨啦”的荒诞的假象。但是，在实战开发的生产环境中，索引的动态模板设置、索引Mapping设置、索引分片数副本数设置、索引创建、打开、关闭、删除的全生命周期的管理必...

题记刚接触Elasticsearch的朋友，或多或少会遇到一个问题，Elasticsearch在实际公司应用中除了搜索到底能做什么？本文给出了答案。除了“YouKnow,forSearch”，Elasticsearch的使用会不断增长和变化。ObjectRocket作为一家托管云计算公司，已经在ObjectRocket平台上提供托管Elasticsearch一段时间了，并且能够看到我们客户之间的一些明确趋势以及他们如何使用该产品。以下是我们在平台上看到的Top5场景用例：1记录和日志分析对...

0、题记本文建立在​​干货LogstashGrok数据结构化ETL实战上​​，并专注于在Grok中使用自定义正则表达式。有时Logstash没有我们需要的模式。幸运的是，我们有正则表达式库：Oniguruma。Oniguruma是一个灵活的正则表达式库。它包含多种语言的不同正则表达式实现的特性。Github地址：​​https:github.comkkosoniguruma​​1、基础再认知Logstash：一个服务器端数据处理管道，它同时从多个源中提取数据，对其进行转换，然后将其...

0、背景在当今世界，各行各业每天都有海量数据产生，为了从这些海量数据中获取想要的分析结果，需要对数据进行提取、转换，存储，维护，管理和分析。这已然远远超出了普通处理工具、数据库等的实现能力，只有基于的分布式架构和并行处理机制的大数据工具所才能实现这些功能。Elasticsearch是响应如前所述大多数用例的最热门的开源数据存储引擎之一。Elasticsearch是一种分布式数据存储和搜索引擎，具有容错和高可用性特点。为了...

1、问题源自星球同学的提问：es如何与hive或mysql结合使用？es不支持事务有什么好的弥补方案吗？2、事务的核心概念如果一个数据库声称支持事务的操作，那么该数据库必须要具备以下ACID四个特性：原子性（Atomicity）原子性是指事务包含的所有操作要么全部成功，要么全部失败回滚，一致性（Consistency）一致性是指事务必须使数据库从一个一致性状态变换到另一个一致性状态，也就是说一个事务执行之前和执行之后都必须处于一致性...

1、引言业务场景1：数据量非常大，需要进行索引生命周期管理，按日期划分索引，要求多个索引的Mapping一致，每次手动创建或者脚本创建都很麻烦！怎么破？业务场景2：实际业务多个索引，想让多个索引中的相同名字的字段类型完全一致，以便实现跨索引检索。怎么破？思考上面两个问题，当单Mapping不能解决多索引问题时，模板的作用就体现出来了。下文中：模板template，映射Mapping。2、Elasticsearch模板是什么鬼？【维基百科】...

在本文中，我们将研究Elasticsearch的各个部分写入数据目录的文件。我们将查看节点，索引和分片级文件，并简要说明其内容，以便了解Elasticsearch写入磁盘的数据。1、从Elasticsearch路径说起Elasticsearch配置了多个路径：path.home：运行Elasticsearch进程的用户的主目录。默认为Java系统属性user.dir，它是进程所有者的默认主目录。path.conf：包含配置文件的目录。这通常通过设置Java系统属性es.config来设置，因为在找到配...

0、引言现在几乎网上所有资料都说数据存储在传统数据库，再在es中同步一份数据作为检索使用，但是也都没有很详细的说明为什么要这么做，而且在es本身可以存储数据的情况下，存储两份数据是不是没有必要？还会引起别的问题。虽然收费而且支持的语法不完全，但是在现在es已经支持sql的情况下，我越来越搞不清楚es和数据库之间的界限。es不支持事务但是能够确保单条数据的写入，这样事务可以通过代码实现。很难进行联合查询可以像...

少啰嗦，直接看东西。1、Elasticsearch索引的设计1.1单一索引还是基于时间的索引？单一索引的问题：1）不能更新Mapping。比如：主分片数不可以修改（除非reindex）。2）无法灵活、快速地扩展。3）更适合固定、小型数据集。基于时间的索引面临的问题：1）如何确定间隔？数据量变更频率默认尝试每周为单位分割——建议2）如何实施？索引模板1.2定义索引注意事项举例：{"facetinternetaccessminute":{"template":"ceindexaccessv1"...

0、题记Elastic中文社区和各种Elastic爱好者交流群中会遇到形形色色的问题。来自运维球友讨论的真实线上吐槽问题总结：问题1：开发不规范。我们这边es都是我们在推,很多开发不会用或者用的不规范！问题2：不管性能，用起来再说！场景1：我们这边开发只要work，管他wildcard，能模糊就好，管他内存，windowssize死命地设，不管多少页都让它翻。问题3：不评估可行性和高可用性，先搞起来。场景1,我们还在2.x，这些开发的大爷可以...

1、Elasticsearch集群不同颜色代表什么？绿色——最健康的状态，代表所有的主分片和副本分片都可用；黄色——所有的主分片可用，但是部分副本分片不可用；红色——部分主分片不可用。（此时执行查询部分数据仍然可以查到，遇到这种情况，还是赶快解决比较好。2、Elasticsearch集群颜色变黄色了要不要紧？Elasticsearch集群黄色代表：分配了所有主分片，但至少缺少一个副本。没有数据丢失，因此搜索结果仍将完整。注意：您的高可...