Αποτελεσματική διαχείριση Celery, CeleryBeat, Flower και FastAPI σε DevContainers

Ρύθμιση Dynamic Docker για FastAPI, Celery και σχετικές υπηρεσίες

Αυτό το σενάριο χρησιμοποιεί Python με Docker Compose για να διαμορφώσει τη δυναμική διαχείριση υπηρεσιών σε ένα περιβάλλον ανάπτυξης. Οι υπηρεσίες έχουν ρυθμιστεί ώστε να εκτελούνται μόνο όταν χρειάζεται, βελτιστοποιώντας τη χρήση των πόρων.

# Docker Compose file with profiles for selective service activation
version: '3.8'
services:
  trader:
    build:
      context: ..
      dockerfile: .devcontainer/Dockerfile
    volumes:
      - ../:/app:cached
      - ~/.ssh:/home/user/.ssh:ro
      - ~/.gitconfig:/home/user/.gitconfig:cached
    command: sleep infinity
    environment:
      - AGENT_CACHE_REDIS_HOST=redis
      - DB_URL=postgresql://myuser:mypassword@postgres:5432/db
    profiles:
      - default
  celery:
    build:
      context: ..
      dockerfile: .devcontainer/Dockerfile
    volumes:
      - ../:/app:cached
    command: celery -A src.celery worker --loglevel=debug
    environment:
      - AGENT_CACHE_REDIS_HOST=redis
      - DB_URL=postgresql://myuser:mypassword@postgres:5432/db
    profiles:
      - optional
  redis:
    image: redis:latest
    networks:
      - trader-network
    profiles:
      - default

Βελτιστοποίηση της εκκίνησης του σέλινου με ένα σενάριο Python

Αυτό το σενάριο Python αυτοματοποιεί την εκκίνηση των υπηρεσιών Celery με βάση τη δράση του χρήστη. Χρησιμοποιεί το Docker SDK για Python για τον έλεγχο των κοντέινερ.

import docker
def start_optional_services():
    client = docker.from_env()
    services = ['celery', 'celerybeat', 'flower']
    for service in services:
        try:
            container = client.containers.get(service)
            if container.status != 'running':
                container.start()
                print(f"Started {service}")
            else:
                print(f"{service} is already running")
        except docker.errors.NotFound:
            print(f"Service {service} not found")
if __name__ == "__main__":
    start_optional_services()

Δοκιμή μονάδας Η ροή εργασίας του σέλινου

Αυτό το σενάριο δοκιμής Python χρησιμοποιεί το Pytest για την επικύρωση του περιβάλλοντος εκτέλεσης εργασιών Celery, διασφαλίζοντας αρθρωτή και ορθότητα.

import pytest
from celery import Celery
@pytest.fixture
def celery_app():
    return Celery('test', broker='redis://localhost:6379/0')
def test_task_execution(celery_app):
    @celery_app.task
    def add(x, y):
        return x + y
    result = add.delay(2, 3)
    assert result.get(timeout=5) == 5

Συχνές ερωτήσεις σχετικά με την ενσωμάτωση Docker και Celery

1. Ποιος είναι ο σκοπός των προφίλ Docker Compose;
2. Επιτρέπουν τις υπηρεσίες ομαδοποίησης σε λογικές κατηγορίες, επιτρέποντας την επιλεκτική εκκίνηση των εμπορευματοκιβωτίων. Για παράδειγμα, το προφίλ "προεπιλεγμένου" μπορεί να περιλαμβάνει βασικές υπηρεσίες όπως το FastAPI, ενώ το προφίλ "προαιρετικό" προφίλ περιλαμβάνει Celery εργάτες.
3. Πώς μπορώ να ξεκινήσω μια συγκεκριμένη υπηρεσία από ένα προαιρετικό προφίλ;
4. Χρησιμοποιήστε την εντολή docker compose --profile optional up celery για να ξεκινήσετε μόνο τα κοντέινερ στο προφίλ "προαιρετικό".
5. Ποιο είναι το πλεονέκτημα της χρήσης του Docker SDK για τη διαχείριση κοντέινερ;
6. Το Docker SDK επιτρέπει προγραμματιστικό έλεγχο σε κοντέινερ, όπως έναρξη ή διακοπή συγκεκριμένων υπηρεσιών δυναμικά, μέσω σεναρίων Python.
7. Πώς μπορώ να παρακολουθώ τις εργασίες του Celery σε πραγματικό χρόνο;
8. Μπορείτε να χρησιμοποιήσετε το Flower, ένα εργαλείο παρακολούθησης που βασίζεται στο web. Ξεκινήστε να το χρησιμοποιείτε celery -A app flower Για να δείτε την πρόοδο της εργασίας και τα αρχεία καταγραφής μέσω μιας διεπαφής ιστού.
9. Ποιο είναι το όφελος από τη λειτουργία των εργατών Celery μόνο κατόπιν ζήτησης;
10. Εξοικονομεί πόρους και αποφεύγει περιττές κλήσεις API. Για παράδειγμα, μπορείτε να καθυστερήσετε την εκκίνηση των εργαζομένων έως ότου οι συγκεκριμένες δοκιμές ενσωμάτωσης χρειαστούν επεξεργασία εργασιών στο παρασκήνιο.

Αποτελεσματική διαχείριση εμπορευματοκιβωτίων για προγραμματιστές

Η αποτελεσματική διαχείριση των αναπτυξιακών πόρων είναι ζωτικής σημασίας για τη διατήρηση της παραγωγικότητας. Με επιλεκτικά ξεκινώντας υπηρεσίες όπως το σέλινο και το λουλούδι, οι προγραμματιστές μπορούν να επικεντρωθούν στην οικοδόμηση χαρακτηριστικών χωρίς περιττές περισπασμούς. Το Docker Compose Profiles απλοποιεί αυτή τη διαδικασία, εξασφαλίζοντας ότι οι πόροι χρησιμοποιούνται με σύνεση.

Τα σενάρια και τα πλαίσια δοκιμών ενισχύουν περαιτέρω αυτή τη ρύθμιση παρέχοντας δυναμική ενεργοποίηση και επικύρωση. Συνδυασμένα, αυτά τα εργαλεία προσφέρουν ένα ευέλικτο και ισχυρό περιβάλλον, επιτρέποντας στους προγραμματιστές να εντοπίζουν, να δοκιμάζουν και να αναπτύσσουν με ευκολία τις εφαρμογές FastAPI. 🌟