DevContainers에서 Celery, CeleryBeat, Flower 및 FastAPI를 효율적으로 관리

FastAPI, Celery 및 관련 서비스를 위한 동적 Docker 설정

이 스크립트는 Docker Compose와 함께 Python을 사용하여 개발 환경에서 동적 서비스 관리를 구성합니다. 서비스는 필요할 때만 실행되도록 설정되어 리소스 사용을 최적화합니다.

# Docker Compose file with profiles for selective service activation
version: '3.8'
services:
  trader:
    build:
      context: ..
      dockerfile: .devcontainer/Dockerfile
    volumes:
      - ../:/app:cached
      - ~/.ssh:/home/user/.ssh:ro
      - ~/.gitconfig:/home/user/.gitconfig:cached
    command: sleep infinity
    environment:
      - AGENT_CACHE_REDIS_HOST=redis
      - DB_URL=postgresql://myuser:mypassword@postgres:5432/db
    profiles:
      - default
  celery:
    build:
      context: ..
      dockerfile: .devcontainer/Dockerfile
    volumes:
      - ../:/app:cached
    command: celery -A src.celery worker --loglevel=debug
    environment:
      - AGENT_CACHE_REDIS_HOST=redis
      - DB_URL=postgresql://myuser:mypassword@postgres:5432/db
    profiles:
      - optional
  redis:
    image: redis:latest
    networks:
      - trader-network
    profiles:
      - default

파이썬 스크립트로 셀러리 시작 최적화

이 Python 스크립트는 사용자 작업을 기반으로 Celery 서비스 시작을 자동화합니다. Python용 Docker SDK를 사용하여 컨테이너를 제어합니다.

import docker
def start_optional_services():
    client = docker.from_env()
    services = ['celery', 'celerybeat', 'flower']
    for service in services:
        try:
            container = client.containers.get(service)
            if container.status != 'running':
                container.start()
                print(f"Started {service}")
            else:
                print(f"{service} is already running")
        except docker.errors.NotFound:
            print(f"Service {service} not found")
if __name__ == "__main__":
    start_optional_services()

셀러리 작업 흐름 단위 테스트

이 Python 테스트 스크립트는 Pytest를 사용하여 Celery 작업 실행 환경을 검증하고 모듈성과 정확성을 보장합니다.

import pytest
from celery import Celery
@pytest.fixture
def celery_app():
    return Celery('test', broker='redis://localhost:6379/0')
def test_task_execution(celery_app):
    @celery_app.task
    def add(x, y):
        return x + y
    result = add.delay(2, 3)
    assert result.get(timeout=5) == 5

Docker와 Celery 통합에 대해 자주 묻는 질문

1. Docker Compose 프로파일의 목적은 무엇입니까?
2. 서비스를 논리적 범주로 그룹화하여 컨테이너를 선택적으로 시작할 수 있습니다. 예를 들어 "기본" 프로필에는 FastAPI와 같은 필수 서비스가 포함될 수 있는 반면 "선택적" 프로필에는 다음이 포함됩니다. Celery 노동자.
3. 옵션 프로필에서 특정 서비스를 시작하려면 어떻게해야합니까?
4. 명령을 사용하십시오 docker compose --profile optional up celery "선택적" 프로필의 컨테이너만 시작합니다.
5. 컨테이너 관리를 위해 Docker SDK를 사용하면 어떤 이점이 있습니까?
6. Docker SDK를 사용하면 Python 스크립트를 통해 특정 서비스를 동적으로 시작하거나 중지하는 등 컨테이너를 프로그래밍 방식으로 제어할 수 있습니다.
7. 셀러리 작업을 실시간으로 모니터링하려면 어떻게해야합니까?
8. 웹 기반 모니터링 도구 인 Flower를 사용할 수 있습니다. 사용하여 시작하십시오 celery -A app flower 웹 인터페이스를 통해 작업 진행과 로그를 보려면
9. 셀러리 노동자를 요구하는 것만으로도 이점은 무엇입니까?
10. 리소스를 저장하고 불필요한 API 호출을 피합니다. 예를 들어, 특정 통합 테스트에 백그라운드 작업 처리가 필요할 때까지 시작 작업자를 지연시킬 수 있습니다.

개발자를위한 효율적인 컨테이너 관리

생산성을 유지하려면 개발 리소스를 효율적으로 관리하는 것이 중요합니다. Celery 및 Flower와 같은 서비스를 선택적으로 시작함으로써 개발자는 불필요한 방해 없이 기능 구축에 집중할 수 있습니다. Docker Compose 프로필은 이 프로세스를 단순화하여 리소스가 현명하게 사용되도록 보장합니다.

스크립트와 테스트 프레임워크는 동적 서비스 활성화 및 검증을 제공하여 이 설정을 더욱 향상시킵니다. 이러한 도구가 결합되어 유연하고 강력한 환경을 제공하므로 개발자는 FastAPI 애플리케이션을 쉽게 디버그, 테스트 및 배포할 수 있습니다. 🌟