hadoop扫描日志文件dncp_block_verification.log.prev可以删除吗?

发布于 2021-12-03 04:12:05 字数 369 浏览 683 评论 2

初接手一个hadoop项目的维护,发现20T的datanode已经只有 不到1T的剩余空间了,找了下,发现

目录 /data/hdfs/dfsdata/current/BP-2130229945-10.123.125.126-1414127351845 下有两个文件 dncp_block_verification.log.curr 和 dncp_block_verification.log.prev

我看 dncp_block_verification.log.prev 这个文件很大很大,都有好几个T了。

在网上查了知道里面是DataBlockScanner扫描日志文件,不知道里面的内容可不可以删除掉呢?我网上搜了一圈,还是不确定,特来向各位大拿确定。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

南汐寒笙箫 2021-12-04 13:39:32

好的,谢谢了。

三月梨花 2021-12-04 09:38:23

dncp_block_verification.log.curr和dncp_block_verification.log.prev,它记录了一些DataNode对文件系定时统做一致性检查需要的信息。

DataBlockScanner是datanode上很重要的部分,用于周期性地对块文件进行校验,当客户端读取整个块时,也会通知DataBlockScanner校验结果。

采用滚动日志方式,只有当前行数curNumLines超过最大行数maxNumLines,并且距离上次滚动日志的时间
超过minRollingPeriod时,才将dncp_block_verification.log.curr重命名为dncp_block_verification.log.prev,将新的日志写到dncp_block_verification.log.curr中。

可以看出prev是旧的日志,也就是个备份,重点还是在curr中。

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文