DevContainers での Celery、CeleryBeat、Fflower、および FastAPI の効率的な管理

Fastapi、セロリ、および関連サービスのダイナミックドッカーセットアップ

このスクリプトは、Python と Docker Compose を使用して、開発環境で動的サービス管理を構成します。サービスは必要な場合にのみ実行されるように設定され、リソースの使用が最適化されます。

# Docker Compose file with profiles for selective service activation
version: '3.8'
services:
  trader:
    build:
      context: ..
      dockerfile: .devcontainer/Dockerfile
    volumes:
      - ../:/app:cached
      - ~/.ssh:/home/user/.ssh:ro
      - ~/.gitconfig:/home/user/.gitconfig:cached
    command: sleep infinity
    environment:
      - AGENT_CACHE_REDIS_HOST=redis
      - DB_URL=postgresql://myuser:mypassword@postgres:5432/db
    profiles:
      - default
  celery:
    build:
      context: ..
      dockerfile: .devcontainer/Dockerfile
    volumes:
      - ../:/app:cached
    command: celery -A src.celery worker --loglevel=debug
    environment:
      - AGENT_CACHE_REDIS_HOST=redis
      - DB_URL=postgresql://myuser:mypassword@postgres:5432/db
    profiles:
      - optional
  redis:
    image: redis:latest
    networks:
      - trader-network
    profiles:
      - default

Python スクリプトによる Celery の起動の最適化

この Python スクリプトは、ユーザーのアクションに基づいて Celery サービスの起動を自動化します。 Docker SDK for Python を使用してコンテナを制御します。

import docker
def start_optional_services():
    client = docker.from_env()
    services = ['celery', 'celerybeat', 'flower']
    for service in services:
        try:
            container = client.containers.get(service)
            if container.status != 'running':
                container.start()
                print(f"Started {service}")
            else:
                print(f"{service} is already running")
        except docker.errors.NotFound:
            print(f"Service {service} not found")
if __name__ == "__main__":
    start_optional_services()

Celery ワークフローの単体テスト

このPythonテストスクリプトは、Pytestを使用してCelry Taskの実行環境を検証し、モジュール性と正確性を確保します。

import pytest
from celery import Celery
@pytest.fixture
def celery_app():
    return Celery('test', broker='redis://localhost:6379/0')
def test_task_execution(celery_app):
    @celery_app.task
    def add(x, y):
        return x + y
    result = add.delay(2, 3)
    assert result.get(timeout=5) == 5

Dockerとセロリの統合に関するよくある質問

1. Docker Compose プロファイルの目的は何ですか?
2. サービスを論理カテゴリにグループ化し、コンテナの選択的な起動を可能にします。たとえば、「デフォルト」プロファイルにはFastapiなどの必須サービスを含めることができますが、「オプション」プロファイルには Celery 労働者。
3. オプションのプロファイルから特定のサービスを開始するにはどうすればよいですか?
4. コマンドを使用します docker compose --profile optional up celery 「オプションの」プロファイルでコンテナのみを起動します。
5. コンテナの管理にDocker SDKを使用することの利点は何ですか？
6. Docker SDKは、Pythonスクリプトを介して特定のサービスを動的に開始または停止するなど、コンテナをプログラム的に制御できるようにします。
7. セロリタスクをリアルタイムで監視するにはどうすればよいですか？
8. Webベースの監視ツールであるFlowerを使用できます。使用してください celery -A app flower Webインターフェイスを介してタスクの進行状況とログを表示します。
9. セロリワーカーをオンデマンドで走らせることの利点は何ですか？
10. リソースを節約し、不必要な API 呼び出しを回避します。たとえば、特定の統合テストでバックグラウンド タスクの処理が必要になるまで、ワーカーの開始を遅らせることができます。

開発者向けの効率的なコンテナ管理

生産性を維持するには、開発リソースを効率的に管理することが重要です。 Celery や Flower などのサービスを選択して開始することで、開発者は不必要に気を散らすことなく機能の構築に集中できます。 Docker Compose プロファイルはこのプロセスを簡素化し、リソースが賢明に使用されるようにします。

スクリプトとテストフレームワークは、動的なサービスのアクティブ化と検証を提供することにより、このセットアップをさらに強化します。組み合わせて、これらのツールは柔軟で堅牢な環境を提供し、開発者がFastAPIアプリケーションを簡単にデバッグ、テスト、展開できるようにします。 🌟