在使用 RabbitMQ 作为消息代理时，多个 Celery 实例（或应用）可以共享同一个 RabbitMQ 实例。这样做可以简化基础设施管理，同时允许不同的 Celery 应用之间进行消息传递和协作。下面是如何配置多个 Celery 实例以使用同一个 RabbitMQ 实例的步骤：
1. 安装依赖
确保你的 Python 环境中安装了 Celery 和 pika（RabbitMQ 的 Python 客户端库，虽然 Celery 内部使用，但你可能需要单独安装 RabbitMQ 服务器）。
pip install celery pika
2. 配置 RabbitMQ
确保 RabbitMQ 服务器正在运行。你可以通过以下命令在本地启动 RabbitMQ（假设你已经安装了 RabbitMQ 服务器）：
sudo systemctl start rabbitmq-server
3. 配置 Celery 实例
每个 Celery 实例都需要一个配置文件或配置代码块。这里以 Python 配置为例。
Celery 实例 A 的配置
# celery_config_a.py
from celery import Celery
app = Celery('app_a', broker='amqp://guest:guest@localhost:5672//')
app.conf.update(
result_backend='rpc://', # 或者使用其他后端，如 Redis 或 RabbitMQ
task_routes={
'app_a.tasks.*': {'queue': 'app_a_queue'},
},
)
Celery 实例 B 的配置
# celery_config_b.py
from celery import Celery
app = Celery('app_b', broker='amqp://guest:guest@localhost:5672//')
app.conf.update(
result_backend='rpc://', # 或者使用其他后端，如 Redis 或 RabbitMQ
task_routes={
'app_b.tasks.*': {'queue': 'app_b_queue'},
},
)
4. 定义任务
为每个 Celery 实例定义任务。
Celery 实例 A 的任务
# app_a/tasks.py
from celery_config_a import app
@app.task
def add(x, y):
return x + y
Celery 实例 B 的任务
# app_b/tasks.py
from celery_config_b import app
@app.task
def multiply(x, y):
return x * y
5. 启动 Celery Worker
为每个 Celery 实例启动单独的 worker。
# 启动 Celery 实例 A 的 worker
celery -A celery_config_a worker --loglevel=info
# 启动 Celery 实例 B 的 worker
celery -A celery_config_b worker --loglevel=info
6. 发送任务
你可以从任何 Celery 实例或其他 Python 脚本中发送任务。
# 发送 Celery 实例 A 的任务
from app_a.tasks import add
result = add.delay(4, 6)
print(result.get()) # 输出 10
# 发送 Celery 实例 B 的任务
from app_b.tasks import multiply
result = multiply.delay(4, 6)
print(result.get()) # 输出 24
注意事项
- 队列命名：确保每个 Celery 实例使用不同的队列名称，以避免任务混淆。
- 权限：RabbitMQ 默认使用
guest用户，密码也是guest。在生产环境中，你应该创建具有适当权限的用户。 - 安全性：使用 TLS/SSL 加密 RabbitMQ 连接，以保护传输中的数据。
- 资源分配：监控 RabbitMQ 和 Celery worker 的资源使用情况，确保它们不会过载。
通过上述配置，你可以使多个 Celery 实例共享同一个 RabbitMQ 实例，从而实现任务分发和协作。
