降本增笑?开猿down机?盲目数据库容器化的潜在风险

转载 

转载自: 降本增笑?开猿down机?盲目数据库容器化的潜在风险 最近滴滴的故障的问题,相信大家都看到了一些分析,故障点一致指向了K8S ,Docker。 实际上对于Docker本身数据库工程师并不是很熟悉,基于数据库的本身的重要性和承载的业务量等区别,不少大型的应用是不会使用docker 来承载数据

干货!网络丢包故障定位全景指南

转载 

转载自: 干货!网络丢包故障定位全景指南 深入理解网络子系统 万字长文 建议收藏 引言 本期分享一个比较常见的⽹

滴滴K8s升级:从1.12到1.20,P0级故障背后的启示

转载 

转载自: 滴滴K8s升级:从1.12到1.20,P0级故障背后的启示 11 月 27 日晚滴滴发生了大范围、长时间的故障。官方消息说是“底层系统软件发生故障”,而据网上的小道消息,一个规模非常大的 K8s 集群进行在线热升级,因为某些原因,所有 Pod(容器)被 kill,而 K8s 的元数据已经被

记一次神奇的sql查询经历,group by慢查询优化(已解决)

转载 

转载自: 记一次神奇的sql查询经历,group by慢查询优化(已解决) 一、问题背景 现网出现慢查询,在500万数量级的情况下,单表查询速度在30多秒,需要对sql进行优化,sql如下: 我在测试环境构造了500万条数据,模拟了这个慢查询。 简单来说,就是查询一定条件下,都有哪些用户的,很简单的

Elasticsearch ILM 索引生命周期管理常见坑及避坑指南

转载 

转载自: Elasticsearch ILM 索引生命周期管理常见坑及避坑指南 之前的博文和

ELK日志保留7天-索引生命周期策略

转载 

转载自: ELK日志保留7天-索引生命周期策略 一、简介 ELK日志我们一般都是按天存储,例如索引名为"kafkalog-2022-04-05",因为日志量所占的存储是非常大的,我们不能一直保存,而是要定期清理旧的,这里就以保留7天日志为例。 自动清理7天以前的日志可以用定时任务的方式,这样就需要加

微信小工具:提取聊天记录,导出为HTML/Word/CSV/SQLite,分析生成年度聊天报告

转载 

转载自: 微信小工具:提取聊天记录,导出为HTML/Word/CSV/SQLite,分析生成年度聊天报告 在这个时代,微信已经成为了我们生活中不可或缺的一部分。日前,有位朋友更换了手机,他询问我,能否将旧手机上的微信聊天记录完整地导出到电脑,以方便他随时查阅。为了满足他的需求,也为了解决大家可能面临

踩坑记录:Flink消费kafka数据丢失,同步问题的排查

转载 

转载自: 踩坑记录:Flink消费kafka数据丢失,同步问题的排查 我们有一个flink任务,消费的kafka的数据,写入到es,非常简单的逻辑,但是出现了数据丢失的情况,之前没遇到过,初步猜想是转换逻辑或脏数据的影响,排查了一圈,未发现Exception等相关信息。猜想是写入频率太快,es写入的

Elasticsearch索引生命周期管理方案

转载 

转载自: Elasticsearch索引生命周期管理方案 一、前言 在 Elasticsearch 的日常中,有很多如存储 系统日志、行为数据等方面的应用场景,这些场景的特点是数据量非常大,并且随着时间的增长 索引 的数量也会持续增长,然而这些场景基本上只有最近一段时间的数据有使用价值或者会被经常使

重磅!中国科学院发布128个科学研究前沿

转载 

转载自: 重磅!中国科学院发布128个科学研究前沿 2023年11月28日,中国科学院科技战略咨询研究院、中国科学院文献情报中心与科睿唯安联合发布的《2023研究前沿》报告和《2023研究前沿热度指数》报告,遴选出2023年全球较为活跃或发展迅速的128个研究前沿,并对相关学科的发展趋势和重点问题进