Učinkovito upravljanje Celery, CeleryBeat, Flower in FastAPI v DevContainers

Dynamic Docker Setup za Fastapi, zeleno in sorodne storitve

Ta skript uporablja Python z Dockerjem Compose za konfiguriranje dinamičnega upravljanja storitev v razvojnem okolju. Storitve so nastavljene za izvajanje samo, kadar je to potrebno, optimizacijo porabe virov.

# Docker Compose file with profiles for selective service activation
version: '3.8'
services:
  trader:
    build:
      context: ..
      dockerfile: .devcontainer/Dockerfile
    volumes:
      - ../:/app:cached
      - ~/.ssh:/home/user/.ssh:ro
      - ~/.gitconfig:/home/user/.gitconfig:cached
    command: sleep infinity
    environment:
      - AGENT_CACHE_REDIS_HOST=redis
      - DB_URL=postgresql://myuser:mypassword@postgres:5432/db
    profiles:
      - default
  celery:
    build:
      context: ..
      dockerfile: .devcontainer/Dockerfile
    volumes:
      - ../:/app:cached
    command: celery -A src.celery worker --loglevel=debug
    environment:
      - AGENT_CACHE_REDIS_HOST=redis
      - DB_URL=postgresql://myuser:mypassword@postgres:5432/db
    profiles:
      - optional
  redis:
    image: redis:latest
    networks:
      - trader-network
    profiles:
      - default

Optimizacija zagona zelene s skriptom Python

Ta skript Python avtomatizira zagon storitev zelene na podlagi uporabniškega dejanja. Za nadzor zabojnikov uporablja Docker SDK za Python.

import docker
def start_optional_services():
    client = docker.from_env()
    services = ['celery', 'celerybeat', 'flower']
    for service in services:
        try:
            container = client.containers.get(service)
            if container.status != 'running':
                container.start()
                print(f"Started {service}")
            else:
                print(f"{service} is already running")
        except docker.errors.NotFound:
            print(f"Service {service} not found")
if __name__ == "__main__":
    start_optional_services()

Testiranje enote za delovni tok zelene

Ta testni skript Python uporablja Pytest za preverjanje izvajalnega okolja opravil Celery, kar zagotavlja modularnost in pravilnost.

import pytest
from celery import Celery
@pytest.fixture
def celery_app():
    return Celery('test', broker='redis://localhost:6379/0')
def test_task_execution(celery_app):
    @celery_app.task
    def add(x, y):
        return x + y
    result = add.delay(2, 3)
    assert result.get(timeout=5) == 5

Pogosta vprašanja o integraciji Docker in Celery

1. Kakšen je namen dockerja sestavljanja profilov?
2. Omogočajo združevanje storitev v logične kategorije, kar omogoča selektivni zagon vsebnikov. Na primer, "privzeti" profil lahko vključuje bistvene storitve, kot je FastAPI, medtem ko "izbirni" profil vključuje Celery delavci.
3. Kako zaženem določeno storitev iz izbirnega profila?
4. Uporabite ukaz docker compose --profile optional up celery Za začetek samo zabojnikov v profilu "neobvezno".
5. Kakšna je prednost uporabe Docker SDK za upravljanje zabojnikov?
6. Docker SDK omogoča programski nadzor nad zabojniki, kot je zagon ali zaustavitev določenih storitev dinamično prek skriptov Python.
7. Kako lahko v realnem času spremljam naloge zelenjave?
8. Uporabite lahko Flower, spletno orodje za spremljanje. Začnite ga uporabljati celery -A app flower za ogled poteka naloge in dnevnikov prek spletnega vmesnika.
9. Kakšna je korist, če vodijo delavce z zelenjavo samo na zahtevo?
10. Prihrani vire in se izogne ​​nepotrebnim klicem API-ja. Na primer, lahko odložite zagon delavcev, dokler določeni integracijski testi ne potrebujejo obdelave opravil v ozadju.

Učinkovito upravljanje vsebnikov za razvijalce

Učinkovito upravljanje razvojnih virov je ključnega pomena za ohranjanje produktivnosti. S selektivnim zagonom storitev, kot sta Celery in Flower, se lahko razvijalci osredotočijo na gradnjo funkcij brez nepotrebnih motenj. Profili Docker Compose poenostavljajo ta postopek in zagotavljajo pametno uporabo virov.

Skripti in preskusni okviri še izboljšajo to nastavitev z zagotavljanjem dinamične aktivacije in potrjevanja storitev. Ta orodja v kombinaciji ponujajo prilagodljivo in robustno okolje, ki razvijalcem omogoča odpravljanje napak, preizkušanje in uporabo svojih aplikacij FastaPi z lahkoto. 🌟