技术分享|其他|关于elasticsearch索引数据丢失|虚拟机备份专家云祺科技

关于我们

技术分享关于elasticsearch索引数据丢失

2020-07-13

前几天在elasticsearch实施点，突然发现一个莫名其妙的现象，elasticsearch的索引数据一直在减少，有些上亿的数据在逐渐丢失，使用bigdesk监控查看elasticsearch的运行状态发现，elasticsearch内部在批量删除数据。

那这些批量删除的操作是由外部引起的还是内部？

tcpdump观察节点的通信发现，没有其他节点外的ip与之通讯，也就是这种现象是elasticsearch内部所引起的。

后来查阅elasticsearch关于批量删除，确定是ttl原因，查看elasticsearch的default-mapping.json里面的确设置了_ttl。

总结：_ttl是数据的时间之门，一点时间到了，过期的docs就会删除，没有挽回的办法，所以，除非在非常明确的知道过期必删除就不要去设置_ttl。