芹菜内存管理
我有 3 个 celery 节点,每个节点运行 6 到 8 个工作线程,我的任务往往会使用大量内存。似乎任务完成后,他们并没有释放内存。有没有办法告诉工作进程在执行完成后终止并重新启动,或者改进 celery 的垃圾收集?
I have a 3 celery nodes running between 6 and 8 workers each and my tasks tend to use a lot of memory. It seems that when the tasks finish, they aren't releasing the memory. Is there a way to either tell the worker process to die and restart after execution completes, or improve celery's garbage collection?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
对于这些工作人员,您可以设置 max-tasks-per-child -设置为一。
For those workers you could set max-tasks-per-child-setting to one.