Gestion efficace de Celery, CeleryBeat, Flower et FastAPI dans DevContainers

Configuration dynamique de Docker pour FastAPI, Celery et les services associés

Ce script utilise Python avec Docker Compose pour configurer la gestion des services dynamiques dans un environnement de développement. Les services sont configurés pour s'exécuter uniquement en cas de besoin, optimisant l'utilisation des ressources.

# Docker Compose file with profiles for selective service activation
version: '3.8'
services:
  trader:
    build:
      context: ..
      dockerfile: .devcontainer/Dockerfile
    volumes:
      - ../:/app:cached
      - ~/.ssh:/home/user/.ssh:ro
      - ~/.gitconfig:/home/user/.gitconfig:cached
    command: sleep infinity
    environment:
      - AGENT_CACHE_REDIS_HOST=redis
      - DB_URL=postgresql://myuser:mypassword@postgres:5432/db
    profiles:
      - default
  celery:
    build:
      context: ..
      dockerfile: .devcontainer/Dockerfile
    volumes:
      - ../:/app:cached
    command: celery -A src.celery worker --loglevel=debug
    environment:
      - AGENT_CACHE_REDIS_HOST=redis
      - DB_URL=postgresql://myuser:mypassword@postgres:5432/db
    profiles:
      - optional
  redis:
    image: redis:latest
    networks:
      - trader-network
    profiles:
      - default

Optimiser le démarrage de Celery avec un script Python

Ce script Python automatise le démarrage des services de céleri en fonction de l'action utilisateur. Il utilise Docker SDK pour Python pour contrôler les conteneurs.

import docker
def start_optional_services():
    client = docker.from_env()
    services = ['celery', 'celerybeat', 'flower']
    for service in services:
        try:
            container = client.containers.get(service)
            if container.status != 'running':
                container.start()
                print(f"Started {service}")
            else:
                print(f"{service} is already running")
        except docker.errors.NotFound:
            print(f"Service {service} not found")
if __name__ == "__main__":
    start_optional_services()

Test unitaire du workflow de céleri

Ce script de test Python utilise Pytest pour valider l'environnement d'exécution des tâches Celery, garantissant la modularité et l'exactitude.

import pytest
from celery import Celery
@pytest.fixture
def celery_app():
    return Celery('test', broker='redis://localhost:6379/0')
def test_task_execution(celery_app):
    @celery_app.task
    def add(x, y):
        return x + y
    result = add.delay(2, 3)
    assert result.get(timeout=5) == 5

Des questions fréquemment posées sur l'intégration de Docker et du céleri

1. Quel est le but de Docker Compose Profils?
2. Ils permettent de regrouper les services en catégories logiques, permettant un démarrage sélectif des conteneurs. Par exemple, le profil « par défaut » peut inclure des services essentiels comme FastAPI, tandis que le profil « facultatif » inclut Celery ouvriers.
3. Comment démarrer un service spécifique à partir d'un profil optionnel ?
4. Utilisez la commande docker compose --profile optional up celery pour démarrer uniquement les conteneurs du profil "facultatif".
5. Quel est l'avantage d'utiliser Docker SDK pour gérer les conteneurs?
6. Docker SDK permet un contrôle programmatique sur les conteneurs, tels que le démarrage ou l'arrêt de services spécifiques dynamiquement, via des scripts Python.
7. Comment puis-je surveiller les tâches de céleri en temps réel?
8. Vous pouvez utiliser Flower, un outil de surveillance sur le Web. Démarrez-le en utilisant celery -A app flower pour afficher la progression des tâches et les journaux via une interface Web.
9. Quel est l’avantage de faire fonctionner les ouvriers Celery uniquement à la demande ?
10. Il économise des ressources et évite les appels API inutiles. Par exemple, vous pouvez retarder le démarrage des Workers jusqu'à ce que des tests d'intégration spécifiques nécessitent un traitement de tâches en arrière-plan.

Gestion efficace des conteneurs pour les développeurs

La gestion efficace des ressources de développement est cruciale pour maintenir la productivité. En démarrant sélectivement des services comme le céleri et les fleurs, les développeurs peuvent se concentrer sur la construction de fonctionnalités sans distractions inutiles. Docker Compose Profils Simplify ce processus, garantissant que les ressources sont utilisées judicieusement.

Les scripts et les frameworks de test améliorent encore cette configuration en fournissant une activation et une validation dynamiques des services. Combinés, ces outils offrent un environnement flexible et robuste, permettant aux développeurs de déboguer, tester et déployer facilement leurs applications FastAPI. 🌟