请教Happy Fish:文件同步问题
你好,我有几个问题想了解下。
1。一组新增一个storage后,如何保证同步文件的正确性,源机器到目标机器 的文件同步正确性如何保证。是否有断点续传功能。
2。binlog一直增大的?
3。如果一个文件对应的原storage的ip变了,怎么在同组中找 其他storage 。什么策略。
谢谢
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(3)
回复 3# tom20100210
>>对于第一个问题:那每个组里面的 各个storage 他们的binlog 应该是一样的是吗?
通常情况下,都应该是一致的。
可能存在不一致的情况,场景如下:
一个Group中有A、B两台storage server。
文件F上传到A,然后立即被删除掉(此时A还没有把文件F同步给B)。
A的binlog中会有两条记录,创建文件F一条,删除文件F一条。
然后A对B进行同步时,发现文件F不存在,就会忽略(跳过)创建文件F和删除文件F这两个同步。
相应地,B的binlog中,就比A的少了两条记录。
>>对于第三个问题:再确认一个问题 这样aQMQrExrSbcAAAAAAAMbE3pnnXY632.gz一个文件名 可以反算出 对应ip和时间。。之类的东东?
是的,可以反解出文件创建时间和上传的storage server IP地址。
>>另外一个问题: .gz-m 里面的信息有什么用?
-m后缀的文件,保存文件附加属性(meta data),比如作者、图片大小等等。
上传文件时,如果不设置文件相关属性,就不会产生这样的文件。
回复 2# happy_fish100
谢谢回答!
对于第一个问题:那每个组里面的 各个storage 他们的binlog 应该是一样的是吗?
对于第三个问题:再确认一个问题 这样aQMQrExrSbcAAAAAAAMbE3pnnXY632.gz一个文件名 可以反算出 对应ip和时间。。之类的东东?
另外一个问题: .gz-m 里面的信息有什么用?
回复 1# tom20100210
>>1。一组新增一个storage后,如何保证同步文件的正确性,源机器到目标机器 的文件同步正确性如何保证。是否有断点续传功能。
binlog中会记录文件上传、删除等操作,FastDFS根据binlog进行文件同步。已同步到的位置会保存到mark文件中。所以支持断点续传。
>>2。binlog一直增大的?
binlog中只记录文件ID(包括文件路径和文件名),不会存储文件内容,所以binlog文件不会增长得很快。
binlog文件名格式:binlog.###,其中###为顺序号,例如binlog.000、binlog.001等等,binlog文件最大为1GB,写满了会自动写到下一个binlog文件。
>>3。如果一个文件对应的原storage的ip变了,怎么在同组中找 其他storage 。什么策略。
tracker server上记录了集群中的group和storage server信息,通过tracker server可以找到集群中有哪些group,每个group下有哪些storage server,包括哪些storage server是ACTIVE的。