hadoop扫描日志文件dncp_block_verification.log.prev可以删除吗?
初接手一个hadoop项目的维护,发现20T的datanode已经只有 不到1T的剩余空间了,找了下,发现
目录 /data/hdfs/dfsdata/current/BP-2130229945-10.123.125.126-1414127351845 下有两个文件 dncp_block_verification.log.curr 和 dncp_block_verification.log.prev
我看 dncp_block_verification.log.prev 这个文件很大很大,都有好几个T了。
在网上查了知道里面是DataBlockScanner扫描日志文件,不知道里面的内容可不可以删除掉呢?我网上搜了一圈,还是不确定,特来向各位大拿确定。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(2)
好的,谢谢了。
dncp_block_verification.log.curr和dncp_block_verification.log.prev,它记录了一些DataNode对文件系定时统做一致性检查需要的信息。
DataBlockScanner是datanode上很重要的部分,用于周期性地对块文件进行校验,当客户端读取整个块时,也会通知DataBlockScanner校验结果。
采用滚动日志方式,只有当前行数curNumLines超过最大行数maxNumLines,并且距离上次滚动日志的时间
超过minRollingPeriod时,才将dncp_block_verification.log.curr重命名为dncp_block_verification.log.prev,将新的日志写到dncp_block_verification.log.curr中。
可以看出prev是旧的日志,也就是个备份,重点还是在curr中。