BeeGFS更新后非常慢
我正在运行一个具有 1 个头节点、40 个计算节点、2 个数据节点和 2 个元节点的集群。所有节点都运行 Ubuntu 20.04，内核版本 5.4.0-100-generic。它们都通过 10 Gbit/s 接口连接，数据和元节点除外，数据和元节点通过 40 Gbit/s 连接。
文件系统由 BeeGFS，意味着所有用户的/home位于数据和元节点上，并通过BeeGFS挂载到任何计算和头节点。我们最近将 BeeGFS 从版本 7.21 更新到 7.25，但保留了所有 beegfs 服务的完整配置。
但是，自从更新以来，每当在文件操作过程中涉及 BeeGFS 时，我们都会遇到非常低的数据速率（~ 10 - 20 MB/s），例如将数据从计算节点复制到 /home 的某个子目录/用户。这不是物理数据服务器的问题，因为 beegfs-ctl --storagebench 显示了合理的结果。另外，如果我在不使用 BeeGFS 的情况下将一个大文件从某个计算节点或头节点复制到存储节点，速度也在 100 MB/s 左右，这是合理的。
我不知道从哪里开始寻找，因为 BeeGFS 配置非常庞大。同样，我真的不知道这里要包括什么。如果您需要查看配置的某些特定部分或者您知道此问题可能来自何处，请告诉我。
预先感谢您的任何想法或帮助！
I am running a cluster with 1 head node, 40 compute nodes, 2 data and 2 meta nodes. All nodes are running Ubuntu 20.04, kernel version 5.4.0-100-generic. They are all connected via 10 Gbit/s interfaces expect for the data and meta nodes, which are connected via 40 Gbit/s.
The file system is run by BeeGFS, meaning the /home of all users is lying on the data and meta nodes and mounted via BeeGFS to any compute and the head node. We recently updated BeeGFS from version 7.21 to 7.25 but kept the whole configuration of all beegfs-services.
However, since the update we are experiencing very low data rates (~ 10 - 20 MB/s) whenever involving BeeGFS in a file operation process like e.g. copying data from a compute node to some sub directory of /home/user. This is not a problem of the physical data servers, as beegfs-ctl --storagebench shows reasonable results. Also, if I copy a large file from some compute node or the head node to the storage node without using BeeGFS, the speed is also around some 100 MB/s, which is reasonable.
I am not sure where even to start looking as the BeeGFS configs are vast. Similarly, I don't really know what of it to include here. Please let me know if you need to see some specific part of the configuration or if you have any idea where this problem could come from.
Thanks in advance for any idea or help!
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论