请教Happy Fish:文件同步问题

发布于 2022-09-18 22:05:52 字数 176 浏览 25 评论 3

你好,我有几个问题想了解下。
1。一组新增一个storage后,如何保证同步文件的正确性,源机器到目标机器 的文件同步正确性如何保证。是否有断点续传功能。
2。binlog一直增大的?
3。如果一个文件对应的原storage的ip变了,怎么在同组中找 其他storage 。什么策略。

谢谢

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(3

情痴 2022-09-19 21:07:20

回复 3# tom20100210

>>对于第一个问题:那每个组里面的 各个storage 他们的binlog 应该是一样的是吗?
通常情况下,都应该是一致的。

可能存在不一致的情况,场景如下:
一个Group中有A、B两台storage server。

文件F上传到A,然后立即被删除掉(此时A还没有把文件F同步给B)。
A的binlog中会有两条记录,创建文件F一条,删除文件F一条。

然后A对B进行同步时,发现文件F不存在,就会忽略(跳过)创建文件F和删除文件F这两个同步。
相应地,B的binlog中,就比A的少了两条记录。

>>对于第三个问题:再确认一个问题  这样aQMQrExrSbcAAAAAAAMbE3pnnXY632.gz一个文件名 可以反算出 对应ip和时间。。之类的东东?
是的,可以反解出文件创建时间和上传的storage server IP地址。

>>另外一个问题:  .gz-m 里面的信息有什么用?
-m后缀的文件,保存文件附加属性(meta data),比如作者、图片大小等等。
上传文件时,如果不设置文件相关属性,就不会产生这样的文件。

深海里的那抹蓝 2022-09-19 07:51:33

回复 2# happy_fish100

   谢谢回答!
对于第一个问题:那每个组里面的 各个storage 他们的binlog 应该是一样的是吗?
对于第三个问题:再确认一个问题  这样aQMQrExrSbcAAAAAAAMbE3pnnXY632.gz一个文件名 可以反算出 对应ip和时间。。之类的东东?
另外一个问题:  .gz-m 里面的信息有什么用?

苏大泽ㄣ 2022-09-19 00:37:55

回复 1# tom20100210

>>1。一组新增一个storage后,如何保证同步文件的正确性,源机器到目标机器 的文件同步正确性如何保证。是否有断点续传功能。
binlog中会记录文件上传、删除等操作,FastDFS根据binlog进行文件同步。已同步到的位置会保存到mark文件中。所以支持断点续传。

>>2。binlog一直增大的?
binlog中只记录文件ID(包括文件路径和文件名),不会存储文件内容,所以binlog文件不会增长得很快。
binlog文件名格式:binlog.###,其中###为顺序号,例如binlog.000、binlog.001等等,binlog文件最大为1GB,写满了会自动写到下一个binlog文件。

>>3。如果一个文件对应的原storage的ip变了,怎么在同组中找 其他storage 。什么策略。
tracker server上记录了集群中的group和storage server信息,通过tracker server可以找到集群中有哪些group,每个group下有哪些storage server,包括哪些storage server是ACTIVE的。

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文