免责声明任何文章不要过度深思!万事万物都经不起审视,因为世上没有同样的成长环境,也没有同样的认知水平,更「没有适用于所有人的解决方案」;不要急着评判文章列出的观点,只需代入其中,适度审视一番自己即可,能「跳脱出来从外人的角度看看现在的自己处在什么样的阶段」才不为俗人。怎么想、怎么做,全在乎自己「不断实践中寻找适合自己的大道」来看看我的一个技术总监朋友怎么说的。0背景我带领的这支技术团队,规模已达...
2023-11-06 14:59:56 1647浏览 0点赞 0回复 0收藏
免责声明任何文章不要过度深思!万事万物都经不起审视,因为世上没有同样的成长环境,也没有同样的认知水平,更「没有适用于所有人的解决方案」;不要急着评判文章列出的观点,只需代入其中,适度审视一番自己即可,能「跳脱出来从外人的角度看看现在的自己处在什么样的阶段」才不为俗人。怎么想、怎么做,全在乎自己「不断实践中寻找适合自己的大道」加我微信【ssshflz】,私信【副业】,进副业交流群,获取程序员可转型的副业...
2023-11-06 14:41:40 1909浏览 0点赞 0回复 0收藏
免责声明任何文章不要过度深思!万事万物都经不起审视,因为世上没有同样的成长环境,也没有同样的认知水平,更「没有适用于所有人的解决方案」;不要急着评判文章列出的观点,只需代入其中,适度审视一番自己即可,能「跳脱出来从外人的角度看看现在的自己处在什么样的阶段」才不为俗人。怎么想、怎么做,全在乎自己「不断实践中寻找适合自己的大道」案例一20万的项目,已经花了六十万了,客户突然又新提要求做一套百度的搜索...
2023-11-06 14:37:25 1556浏览 0点赞 0回复 0收藏
生产环境场景如下:请自己代入,参考链接:Mycat与ShardingSphere如何选择:https:blog.nxhz1688.com20210119mycatshardingsphere架构图:这里提供两种解决方案,我们选择第一种,第二种需要DBA辛苦了。本次操作需要一定的docker基础,作者原创,每一步遇见的坑都记录下来了,怎么解决,有什么其他方案。1不支持的项01路由至多数据节点不支持CASEWHEN、HAVING、UNION(ALL),有限支持子查询。除了分页子查询的支持之外(详情请参...
2023-09-11 11:47:34 2216浏览 0点赞 0回复 0收藏
背景ShardingSphere在日常中,开发者经常会用到时间类型,如果熟悉的时间类型涉及到了时区、精度,哪种时间类型更合适?JDBC驱动中又有哪些注意事项?因此,对数据库时间类型有更深入的了解,有助于开发者对于相关问题的排查。本文简要介绍常用的MySQL时间类型,并结合ShardingSpherePipeline中的逻辑,解读在程序中如何兼容MySQL的时间类型。MySQL时间类型简介ShardingSphereMySQL时间类型主要有如下5种时间类型所需空间(5.6....
2023-09-11 11:46:49 2153浏览 0点赞 0回复 0收藏
StorageNode介绍为了更好地满足扩展需求,不少数据库都采用了存算分离的架构进行实现。ApacheShardingSphere同样将基础组件划分为计算节点、存储节点和治理节点。其中,计算节点指的是ShardingSphereProxy,支持对外暴露MySQL协议,用来接收应用的数据库流量;存储节点指的是各类后端数据源,包括MySQL、PostgreSQL、SQLServer、Oracle等;而治理节点是用来存放分布式数据库的各类元数据,包括逻辑库表信息、流量规则、分片规则...
2023-09-11 11:46:11 1476浏览 0点赞 0回复 0收藏
📢随着业务持续发展,数据量和并发量达到一定程度,传统数据库可能面临性能、可扩展性、可用性等问题。ApacheShardingSphere是一款分布式的数据库生态系统,可以将任意数据库转换为分布式数据库,并通过数据分片、弹性伸缩、加密等能力对原有数据库进行增强。本篇就为大家讲解ShardingSphere的数据迁移功能,并通过实战讲解搭建分布式数据库的整个流程。数据迁移功能介绍数据迁移内置于ShardingSphereProxy,无需引入其他依赖。...
2023-09-11 11:45:41 2922浏览 0点赞 0回复 0收藏
前言分类树查询功能,在各个业务系统中可以说随处可见,特别是在电商系统中。但就是这样一个简单的分类树查询功能,我们却优化了5次。到底是怎么回事呢?背景我们的网站使用了SpringBoot推荐的模板引擎:Thymeleaf,进行动态渲染。它是一个XMLXHTMLHTML5模板引擎,可用于Web与非Web环境中的应用开发。它提供了一个用于整合SpringMVC的可选模块,在应用开发中,我们可以使用Thymeleaf来完全代...
2023-06-28 15:43:57 1930浏览 0点赞 0回复 0收藏
在实际工作中,我们经常需要在项目中调用第三方API接口,获取数据,或者上报数据,进行数据交换和通信。那么,调用第三方API接口会遇到哪些问题?如何解决这些问题呢?这篇文章就跟大家一起聊聊第三方API接口的话题,希望对你会有所帮助。1域名访问不到一般我们在第一次对接第三方平台的API接口时,可能会先通过浏览器或者postman调用一下,该接口是否可以访问。有些人可能觉得多次一举。其实不然。有可能你调用第三方平台的API...
2023-06-28 15:41:23 2510浏览 0点赞 0回复 0收藏
前言最近有些小伙伴问我,ETL数据迁移工具该用哪些。ETL(是ExtractTransformLoad的缩写,即数据抽取、转换、装载的过程),对于企业应用来说,我们经常会遇到各种数据的处理、转换、迁移的场景。今天特地给大家汇总了一些目前市面上比较常用的ETL数据迁移工具,希望对你会有所帮助。1.KettleKettle是一款国外开源的ETL工具,纯Java编写,绿色无需安装,数据抽取高效稳定(数据迁移工...
2023-06-28 15:40:36 3387浏览 0点赞 1回复 0收藏
前言最近我做过一个MySQL百万级别数据的excel导出功能,已经正常上线使用了。这个功能挺有意思的,里面需要注意的细节还真不少,现在拿出来跟大家分享一下,希望对你会有所帮助。原始需求:用户在UI界面上点击全部导出按钮,就能导出所有商品数据。咋一看,这个需求挺简单的。但如果我告诉你,导出的记录条数,可能有一百多万,甚至两百万呢?这时你可能会倒吸一口气。因为你可能会面临如...
2023-06-28 15:37:07 1957浏览 0点赞 0回复 0收藏
大家好,我是苏三,又跟大家见面了。前言不知道你有没有遇到过这样的场景:我们提供的某个API接口,响应时间原本一直都很快,但在某个不经意的时间点,突然出现了接口超时。也许你会有点懵,到底是为什么呢?今天跟大家一起聊聊接口突然超时的10个原因,希望对你会有所帮助。1.网络异常接口原本好好的,突然出现超时,最常见的原因,可能是网络出现异常了。比如:偶然的网络抖动,或者是带...
2023-06-28 15:23:22 1856浏览 0点赞 0回复 0收藏
上篇文章openEuler用户软件仓(EUR)介绍分享了什么是EUR以及为什么要使用EUR。本文将为大家分享openEuler用户软件仓(EUR)的使用方法,帮助大家在EUR中构建自己的软件包。基本概念在使用用户软件仓前,有如下几个概念需要您了解:用户:用户是使用本系统的主体,也是所有操作的发起者;项目:每个用户可以创建多个项目,项目用于组织一个或多个软件包,每个项目可以针对这组软件包生成针对各个openEuler版本的软件包...
2023-05-08 16:26:35 3107浏览 0点赞 0回复 0收藏
什么是EUREUR(openEulerUserRepo)是openEuler社区针对开发者推出的个人软件包托管平台,目的在于为开发者提供一个易用的软件包分发平台。链接:https:eur.openeuler.openatom.cn为什么我们需要EUR在操作系统的世界,软件包是一等公民,软件包的丰富程度和是否易于分发,一定程度上决定了操作系统用户和开发者的使用体验,试想一下这种情况:1.开发者希望自己尚在开发中的软件能够尽早的与openEuler社区持续的集成并发布...
2023-05-08 16:25:47 2477浏览 0点赞 0回复 0收藏
可重复构建(ReproducibleBuilds)是证明软件供应链安全的必要手段,2022已被纳入SupplyChainSecurityCon的topics以及微软的S2C2F(SecureSupplyChainConsumptionFramework)当中,并受到了Google开源安全团队的支持赞助。OpenSSFSLSA在软件供应链完整性与包管理最佳实践中也对可重复构建有所要求。2022年openEuler已初步建设可重复构建能力。什么是可重复构建对于可重复的构建,给定相同的源代码、构建环境和构建指令,任何人...
2023-05-08 16:18:41 2996浏览 0点赞 0回复 0收藏
案例1云原生场景下Java类应用性能问题诊断1.场景及案例介绍某Kafkaproducer客户端Java应用版本升级后性能出现下降,性能从222WTPS下降到65WTPS,吞吐量从337MBs下降到95.9MBs,如下图所示(为了便于比较,在不同POD里同时启动升级前后的两个应用):可见,Kafka客户端应用的性能出现了明显的下降,但此时Kafka服务端较轻载,CPU0.7%,内存16.8%,说明性能劣化是由于客户端应用的问题导致。Kafka服务端资源情况如下:2.性能问题...
2023-05-08 16:16:36 2626浏览 0点赞 0回复 0收藏
最近我们关注到一个关于containerd运行时的issue(https:github.comcontainerdcontainerdissues7843),该问题在containerdv1.6.9v1.5.15被引入。出现的问题是,当containerd重启后,在其中运行的Pod元数据中关于网络相关的数据(如podip)丢失,核心原因在于部分数据没有落盘。受影响的版本:v1.6.9v1.6.14,问题在v1.6.15版本中被修复。v1.5.15v1.5.16,问题在v1.5.17版本中被修复。通过以下步骤,可以快速重现该问题...
2023-05-08 16:15:14 2652浏览 0点赞 0回复 0收藏
虚拟机混合部署是指把对CPU、IO、Memory等资源有不同需求的虚拟机通过调度方式部署、迁移到同一个计算节点上,从而使得节点的资源得到充分利用。虚拟机混合部署的场景有多种,比如通过动态资源调度满足节点资源的动态调整;根据用户使用习惯动态调整节点虚拟机分布等等。而虚拟机高低优先级调度也是其中的一种实现方法。在单机的资源调度分配上,区分出高低优先级,即高优先级虚机和低优先级虚机发生资源竞争时,资源优先分配给...
2023-05-08 16:14:45 2751浏览 0点赞 0回复 0收藏
随着云计算市场规模的快速增长,各云厂商基础设施投入也不断增加,但行业普遍存在资源利用率低的问题,在上述背景下,提升资源利用率已经成为了一个重要的技术课题。将业务区分优先级混合部署(下文简称混部)是典型有效的资源利用率提升手段。业务可根据时延敏感性分为高优先级业务和低优先级业务。当高优先级业务和低优先级业务发生资源竞争时,需优先保障高优先级业务的资源供给。业务混部的核心技术是资源隔离控制,主要涉...
2023-05-08 15:52:20 2486浏览 0点赞 0回复 0收藏
随着网络与计算业务的快速发展,数据成为数字经济的关键生产要素,如何高质量挖掘数据价值,构建安全、合规、可信的数据流通,成为推动数字经济健康发展的关键。此外,根据我国个人信息保护法、欧盟通用数据保护条例GDPR等的要求可以看出,数据隐私监管保护的范围在扩大,保护力度日益增强。因此,对关键数据和业务进行安全保护,不仅是技术挑战,也是满足安全合规的必要条件。当前保护数据的通行方案通常作用于静态存储或网络...
2023-05-08 15:51:52 3209浏览 0点赞 0回复 0收藏