作者:封亚飞/SRE工程师,来自腾讯游戏发行线技术运营团队,陈自欣/蓝鲸监控产品运营腾讯不仅致力于开发广受欢迎的自研游戏,还与世界各地的知名游戏开发商合作,负责将这些游戏推向市场,让更多玩家享受游戏的乐趣。这些合作伙伴来自全球各地,使用多种多样的技术栈,这为游戏的稳定性维护提出了复杂的挑战。本文旨在探讨腾讯互娱如何利用DeepFlow的eBPF技术实现无侵入式的可观测性,这一策略不仅确保了游戏渐进式发布过程中...
2024-03-27 16:34:13 2251浏览 0点赞 0回复 0收藏
在上一篇文章[中国移动磐基PaaS平台基于eBPF的应用可观测性建设实践](https:hlpf4mnjh8.feishu.cndocxQa5UdNsiuot9zGxaD8gc4mv1nsg"中国移动磐基PaaS平台基于eBPF的应用可观测性建设实践")中分享了中国移动磐基PaaS平台如何将eBPF数据与现有的可观测数据整合,提供了开箱即用的应用可观测性,全栈无盲点的调用链追踪等能力。本篇文章将主要介绍开箱即用的可观测性能力如何快速实现故障定界、高效发现性能隐患。01背景介绍磐基Pa...
2024-03-25 09:38:33 2833浏览 0点赞 0回复 0收藏
本文为DeepFlow在第23期得物技术沙龙上的演讲实录。[回看链接]("回看链接"),[PPT下载](http:yunshanguangzhou.osscnbeijing.aliyuncs.comyunshanticketpdf8235df3c607756c86950684f5d05437820240311180744.pdf"PPT下载")。感谢得物稳定生产团队的邀请,很高兴能有这样一个机会来给大家分享一下我们在eBPF可观测性方面做的一些工作。DeepFlow是一个聚焦在eBPF技术上的可观测性产品,同时也是一个开源项目。今天我来分享一下Deep...
2024-03-20 15:26:27 2855浏览 0点赞 0回复 0收藏
收到一批社区用户的使用建议后,我们在DeepFlow6.4社区版中新增了一个简洁易用的「开箱即用」Dashboard。当用户初次安装DeepFlow、业务变更、扩容缩容时,随时都可以查看这个Dashboard,及时发现应用的性能和稳定性隐患,深刻感受基于eBPF的零侵扰可观测性带来的便捷。01、开箱即用DashboardDeepFlow在此之前提供的Application系列Dashboard,主要用于观测RED(请求、错误、时延)黄金指标的历史变化、服务之间的调用关系、服务...
2024-03-11 11:42:27 2842浏览 0点赞 0回复 0收藏
DeepFlow6.4支持TLS握手消息解析以后,HTTPS的全栈分布式追踪链路更精细了!01关于TLS握手这里我们引用一张来自bytebytego.com的图,来展示HTTPS通信全过程:从上图可以看到,为了完成一次HTTPS请求,客户端、服务端需要以此完成如下交互:TCP三次握手:SYN、SYNACK、ACKTLS握手和秘钥协商:三个到四个TLS协商消息,包括ClientHello、ServerHello、Certificate、KeyExchange等应用层HTTP通信01DNS、TLS、HTTPS全面覆盖为了展示D...
2024-02-27 15:45:11 2581浏览 1点赞 0回复 1收藏
HTTP2gRPC的协议头部使用[HPACK](https:httpwg.orgspecsrfc7541.html"HPACK")算法压缩,使得难以从内核系统调用(eBPFkprobe)中获取真实头部字段,因此现有的解决方案通常依赖eBPFuprobe。本文介绍DeepFlow6.4中基于eBPFkprobe的HTTP2压缩头高性能解码能力。01关于HPACKHTTP2协议头使用了HPACK算法进行压缩,以降低头部字段的带宽消耗。如下图所示,HTTP2的通信双方会向对方共享自己的压缩字典,该字典由两部分组成:编号161的...
2024-02-21 17:25:20 1533浏览 0点赞 0回复 0收藏
01序言本文整理自2023年12月16日于北京清华大学举办的以《网络为中心的零侵扰可观测性》的技术论坛,来自蓝鲸观测平台团队的刘文平做了题为《腾讯游戏真全栈观测实践》的演讲。介绍了腾讯IEG蓝鲸观测平台如何运用前沿的DeepFlow的eBPF技术,结合传统的APM体系,实现了对游戏服务全链路、真全栈,无盲点观测。这一跨越系统、网络、应用、基础组件、服务到业务的监控能力,不仅提升了问题诊断的效率,还优化了应用性能,确保了游...
2024-02-06 15:23:18 1777浏览 2点赞 0回复 0收藏
DeepFlow的eBPF特性支持RedHatCentOS的3.10内核了!01RedHatCentOS做了什么日前,DeepFlow一名潜在客户提到红帽在3.10内核中[移植了一部分eBPF特性](https:www.redhat.comenblogintroductionebpfredhatenterpriselinux7),让我司研发评估DeepFlow适配的可能性。在红帽的文章中提到:eBPFinRedHatEnterpriseLinux7.6isenabledonlyfortracingpurposes,whichallowsattachingeBPFprogramstoprobes,tracepointsandperfevents.Otherus...
2024-02-05 16:41:14 3774浏览 2点赞 0回复 0收藏
作者:冯晶晶本文整理自民生银行总行科技部网络管理中心高级工程师冯晶晶在「清华大学&云杉网络·可观测性技术论坛」的演讲实录。[回看链接](https:www.bilibili.comvideoBV1ag4y1C7DD),[PPT下载](http:yunshanguangzhou.osscnbeijing.aliyuncs.comyunshanticketpdfebae4e2d4d0ea71c28228c5e0dbb8f2320231225162831.pdf)摘要:民生银行通过DeepFlow构建了容器云全路径网络观测能力、eBPF零侵扰应用观测能力、应用函数监控能力...
2024-01-26 10:10:49 896浏览 0点赞 0回复 0收藏
作者:李倩,彭斌随着应用组件的可观测性逐渐受到重视,ApacheAPISIX引入插件机制丰富了可观测数据源。然而,这些数据分散在多个平台,形成了数据孤岛。本文旨在阐述如何利用DeepFlow基于eBPF的零侵扰特性构建APISIX可观测性解决方案,在此基础上统一集成APISIX插件已有的丰富数据源,消除孤岛、构建统一的可观测性平台,以全面监控和分析APISIX网关。通过DeepFlow,APISIX可以实现从流量监控、追踪分析、到性能优化的全面可观测...
2024-01-22 14:51:35 861浏览 0点赞 0回复 0收藏
作者:李飞云杉DeepFlow摘要:分布式数据库市场发展迅速,TDSQL、GuassDB、OceanBase、GoldenDB、TiDB等各类分布式数据库产品纷纷涌现,尤其在金融行业的落地越来越多。提高分布式数据库的可观测性,提升用户对产品稳定性、可靠性的信心,是金融核心业务云原生化的重要保障。DeepFlow通过eBPF技术零侵扰实现的全景图、分布式追踪和持续剖析等能力为分布式数据库的可观测性建设提供了开创性的新思路。本篇文章以某国有银行分布式...
2024-01-15 11:32:08 1159浏览 0点赞 0回复 0收藏
作者:卢城,平台运维研发工程师,来自中移信息技术有限公司磐基PaaS团队本文描述了DeepFlowServer用到的MySQL数据库改成PostgreSQL数据库的改造思路和实现细节。01:DeepFlowServer的数据库流向图在进入正题之前,我们需要了解MySQL数据库在DeepFlow里的数据流向细节。DeepFlowServer使用MySQL数据库存储Agent收集的KubernetesAPIserver拉取的全量资源数据和watch的资源变更数据,以供后续Server端进行观测数据的关联分析和资...
2024-01-09 15:52:38 1033浏览 1点赞 0回复 0收藏
本文整理自微拍堂高级运维工程师涂永春在「DeepFlow可观测性Meetup杭州站基于eBPF的可观测性实践」中的分享实录。回看链接[1],PPT下载[2]。微拍堂电商平台面临成本与性能优化瓶颈、问题定位困难以及业务流梳理困难等挑战,公司运维团队决定构建对业务零侵扰的可观测性平台。评估众多开源解决方案后,选择了基于eBPF的DeepFlow开源项目作为数据底座,在此基础上针对公司业务需求进行二次开发,实现了完整的用户界面。可观测性平...
2023-12-08 11:10:15 2507浏览 0点赞 0回复 0收藏
经验丰富的工程师都知道,在一个应用软件中,连接外部数据库的过程中,创建、获取、销毁连接是一个非常耗时的过程,如果极端情况下有几百毫秒的时延,软件整体性能就会大打折扣。所以我们一般会使用连接池来管理连接,使用连接池有以下几个优势:1.提前创建连接,在应用真正需要连接数据库时无需耗费额外的建连时间,使高频操作节省了一大部分时间;2.统一内存管理,如果每个开发人员都需要手动创建、手动销毁连接,如果某个地...
2023-11-21 14:50:33 561浏览 0点赞 0回复 0收藏
本文整理自政采云的高级运维开发工程师云影(张帆),在DeepFlow可观测性Meetup・杭州站中的分享实录,从政采云可观测平台的背景与规划、建设面临的问题与挑战,到DeepFlow在政采云的实践,以及总结与展望。云影同学详细的介绍了政采云可观测性建设过程中的痛点、挑战与解决方案,以及建设的成果和未来的计划。PPT下载:http:yunshanguangzhou.osscnbeijing.aliyuncs.comyunshanticketpdf7698944121a1ce331c35428be...
2023-11-07 17:08:45 1432浏览 0点赞 0回复 0收藏
本文为云杉网络原力释放云原生可观测性分享会第十七期直播实录中的案例三。回看链接[1],PPT下载[2]。同时,欢迎大家报名参与9月16日DeepFlow开展的线下活动《可观测性Meetup》01|背景介绍某车企的车控业务访问账户系统时无规律偶发连接超时(connectiontimeout),本案例分享利用DeepFlow深度剖析如何分钟级定位K8sCNI的SNAT(SourceNetworkAddressTranslation)触发Node节点源端口冲突,导致连接服务端异常。DeepFlow分析定位...
2023-09-12 14:45:38 901浏览 0点赞 0回复 0收藏
编者按:本文整理自小米集团高级工程师谭槊在《蓝鲸XDeepFlow可观测性Meetup》中的分享实录,详细阐述了将DeepFlow融入小米现有的可观测体系中的一线落地经验,用DeepFlow零插桩、全覆盖的能力解决了现有痛点,还解决了传统主机下cBPF如何关联流与进程、LVSNAT造成的服务拓扑断链等难题,并展望了与DeepFlow合作共建的未来,构建小米全新的可观测体系新阶段。大家好,我是来自小米的谭槊,今天非常高兴来参加DeepFlowX蓝鲸的...
2023-07-04 11:06:45 3976浏览 5点赞 3回复 2收藏
作者刘文平策划凌敏本文整理自腾讯IEG高级研发工程师刘文平在《蓝鲸xDeepFlow可观测性Meetup》中的分享实录,详细阐述了蓝鲸可观测性平台如何有效地融合了OpenTelemetry的标准化数据接入能力及DeepFlow的无插桩、全面覆盖的数据收集能力,进而解决游戏业务在观测数据采集、数据孤岛、以及云原生基础设施观测等领域所面临的难题。并展望了通过DeepFlow,构建适合腾讯游戏的专属观测场景。大家好,我是刘文平,很高兴能有机会...
2023-06-27 16:15:59 2551浏览 1点赞 0回复 0收藏
DeepFlow增加了PromQL支持,可无缝体验Prometheus提供的可观测能力,同时,DeepFlow结合eBPF提供了非常丰富的应用和网络性能指标,加上PromQL灵活强大的能力,我们可以打造一个零插桩的指标体系。01|DeepFlow零插桩指标支持PromQL查询在现代可观测性体系中,Prometheus以其简单易用、高度可扩展和强大的查询语言而闻名,它可以捕捉到系统和业务的状态和变化,并提供有价值的数据分析。在Prometheus生态中,PromQL更是不可或缺...
2023-06-16 10:53:22 1626浏览 0点赞 0回复 0收藏
DeepFlow基于eBPF实现了零插桩(ZeroCode)的云原生应用可观测性,能够在不改代码、不改启动参数、不重启进程的前提下实现分布式追踪。这是一种全新的技术手段,因此不少用户在选型和落地DeepFlow的过程中会对它的性能开销存在疑问。到底Agent的运行会对业务造成什么样的影响?而Agent自身的资源开销又如何?这些问题我们在SIGCOMM2023论文《NetworkCentricDistributedTracingwithDeepFlow:TroubleshootingYourMicroservicesinZ...
2023-06-01 10:49:48 5158浏览 2点赞 2回复 2收藏