celery处理10w级别的更新记录的任务，是创建10w个任务，还是创建一个任务扫表循环处理？各有何优势？
数据库有10w个记录，半年后可能会增加到20w，但最终应该不会超过100w 服务器配置： python3.6 celery+rabbitMQ云主机 ubuntu 16.04 1G 1核数据库 pos…
celery做分布式，如果我有100个worker运行，是不是这100个worker都会连接数据库？
我想用celery做一个分布式的爬虫 让celery抓取数据，存入我的mysql数据库 但是我买来的mysql数据库只有50个连接数（数据库提供商限制） 那我是不是就…
django xadmin 后台不显示定时任务：django_celery_beat 表
1.我的项目是 django 1.11, python 2.7 ，用的 celery 4.1 ，使用了django_celery_beat 第三方库。安装并迁移之后，在 admin 后台里有一个定时任务表…
celery multi start 用supervisor监控问题
supervisor是Linux下的一个进程管理工具，其能对前台运行的服务进行管理，对于后台的服务则需要将其转化为前台才能通过supervisor进行管理。通过cele…
celery的task_success这个signal为什么不起作用了
@celery_app.task(name=u"abc", routing_key="xxx") def func_abc(a, b, c, d): pass @task_success.connect(sender=u"abc") def on_abc_success(sen…
celery中的两组group任务，如何让第二组任务等待第一组任务完成后执行
我需要按步骤执行两组任务，每组任务中的子任务是并行celery执行的，但是第二组任务需要等待第一组任务全部完成后再继续执行 from celery import gro…
请问 Python 有没有实现远程脚本分发结果返回及文件传输功能的分布式开源项目
Hi，各位。是这样的，小弟当前需要一个分布式系统，需要实现的功能是在分发脚本到不同主机上执行、结果返回到控制主机（broker）及文件传输同步。已知…
如何在Celery任务中“优雅”地管理数据库session？
我有一些操作数据库的celery任务，需要在代码开头新建session，在代码结尾关闭session。 当前的方式是： @app.task def celery_task(): session = DB…
Celery提交任务出错？
跟着官方的入门教程部署和运行的，为啥报这个错？ tasks.py # -*- encoding:UTF-8 -*- from celery import Celery brokers = 'redis://localhost:637…
求教celery如何根据id停止正在执行的任务
当任务运行时间长的时候，我有的时候可能想会停止这个任务进行调整，请问如何根据celery任务的id停止任务呢？我在文档中找到了增加base=AbortableTask…
celery 怎么配置多worker分别对应一个queue
想要弄一个worker对应一个queue，但是每个worker只注册一个任务，调用这个任务直接扔到对应的queue里，怎么写配置啊。。。弄了一天了。。…
请问 celery 有什么负载均衡的办法吗？如何让加入队列的任务平均分配在每个 worker 节点上呢？
目前小弟用 celery 搭了一套共 7 个 worker 节点的系统，主要是用于分散数据文件生成的任务，避免单个节点 I/O 过高，性能太差。目前小弟有几个问题：…
django 多服务配置？
用celery搞了一套分布式分发系统。并做了一个event.py实时监控，event是独立django外面运行的。使用了os设置了环境变量。就可以外部访问model。 现在…
