Виправлення фонового завдання Fastapi 502 Помилка на AWS Elastic Beanstalk

Робота з фоновими завданнями у Fastapi на еластичному бобсталі

Розгортання програми Fastapi на AWS Elastic Beanstalk може бути плавним досвідом - доки ви не зіткнетесь з такими проблемами, як помилка поганого шлюзу 502. Одне поширене обличчя розробників больової точки-це поводження з тривалими фоновими завданнями, які можуть спровокувати тайм-аути шлюзу. 🚀

Уявіть це: у вас є кінцева точка API, яка генерує файл PDF у фоновому режимі, займає близько 30 секунд. Місцево всього працює ідеально. Але після розгортання на Elastic Beanstalk, виклик API не вдається з розчаруванням 502 помилки. Ви регулювали тайм -аути NGINX та Gunicorn, але проблема зберігається.

Це класичний сценарій, коли налаштування інфраструктури та обробка фонових завдань. AWS Elastic Beanstalk, за замовчуванням, може припинити запити до завершення фонового завдання. Розуміння, чому це відбувається, і як працювати навколо нього, є ключовим фактором для забезпечення плавного розгортання.

У цій статті ми вивчимо, чому фонові завдання Fastapi викликають 502 помилки на еластичній Beanstalk, як правильно налаштувати тайм -аути та альтернативні рішення, щоб ваш API працював безперешкодно. Незалежно від того, чи маєте ви справу з генерацією PDF, обробкою даних або будь-яким тривалою завданням, ці розуміння допоможуть вам ефективно вирішити проблему. ⚡

Оптимізація фонових завдань Fastapi на AWS Elastic Beanstalk

Під час запуску програми Fastapi AWS Elastic Beanstalk, Ефективно поводження з тривалими фоновими завданнями має вирішальне значення для запобігання 502 помилок поганих шлюзів. Перший розроблений нами сценарій використовує Fastapi's Фонові роботи Особливість для обробки генерації PDF асинхронно. Це дозволяє API негайно повернути відповідь, поки завдання продовжується виконувати на задньому плані. Однак такий підхід може бути проблематичним на еластичному Beanstalk через те, як Gunicorn та Nginx обробляють тайм -аути запитів.

Для вирішення цієї проблеми ми представили більш надійне рішення за допомогою селери та Redis. У цій установці кінцева точка Fastapi надсилає завдання селі, а не обробляти його безпосередньо. Селера, що працює в окремому робітничому процесі, підбирає завдання і виконує його асинхронно, не блокуючи основну програму. Це запобігає питанням тайм -ауту, оскільки запит API завершується миттєво, поки селера поводиться з обробкою самостійно. Уявіть, що інтернет -магазин, що генерує рахунки -фактури оптом - без належної делегації завдань, API буде боротися під навантаженням. 🚀

Ще одна альтернатива, яку ми дослідили, - це використання AWS SQS (проста служба черги). Замість того, щоб покладатися на внутрішню чергу завдань, цей метод підштовхує довідкові завдання до керованої черги повідомлень. Зовнішня служба працівників постійно опитує SQ для нових завдань і обробляє їх асинхронно. Це особливо корисно в додатках з високим рухом, наприклад, додаток для спільного використання їзди, де кожна їзда генерує кілька завдань щодо обробки даних. Використовуючи AWS SQS, ми розлучаємо виконання завдання з API, покращуючи масштабованість та надійність.

Нарешті, з боку фронту ми реалізували механізм опитування для перевірки статусу завдання. Оскільки фонове завдання займає близько 30 секунд, фронт повинен періодично запитувати API, щоб перевірити, чи готовий PDF. Замість того, щоб переповнювати сервер безперервними запитами, ми реалізували підхід на основі інтервалу, який повторює кожні 5 секунд для обмеженої кількості спроб. Це гарантує, що фронт залишається чуйним, уникаючи зайвого навантаження API. За допомогою цієї стратегії користувачі, які вимагають створення документів, таких як податкові звіти, не відчуватимуть невідповідного інтерфейсу під час очікування. 📄✅

from fastapi import FastAPI, BackgroundTasks
from celery import Celery
import time
app = FastAPI()
celery = Celery("tasks", broker="redis://localhost:6379/0")
@celery.task
def generate_pdf_task(order_id: str):
    print(f"Generating PDF for order {order_id}")
    time.sleep(30)  # Simulating long processing time
    return f"PDF generated for order {order_id}"
@app.post("/generate-pdf/{order_id}")
async def generate_pdf(order_id: str, background_tasks: BackgroundTasks):
    background_tasks.add_task(generate_pdf_task, order_id)
    return {"message": "PDF generation started"}

import boto3
from fastapi import FastAPI
app = FastAPI()
sqs = boto3.client('sqs', region_name='us-east-1')
queue_url = "https://sqs.us-east-1.amazonaws.com/your-account-id/your-queue-name"
@app.post("/generate-pdf/{order_id}")
async def generate_pdf(order_id: str):
    response = sqs.send_message(
        QueueUrl=queue_url,
        MessageBody=str(order_id)
    )
    return {"message": "PDF generation request sent", "message_id": response['MessageId']}

async function checkPdfStatus(orderId) {
    let attempts = 0;
    const maxAttempts = 5;
    while (attempts < maxAttempts) {
        const response = await fetch(`/get-pdf-url/${orderId}`);
        const data = await response.json();
        if (data.pdf_url) {
            console.log("PDF available at:", data.pdf_url);
            return;
        }
        attempts++;
        await new Promise(resolve => setTimeout(resolve, 5000));
    }
    console.log("PDF generation timed out.");
}

from fastapi.testclient import TestClient
from main import app
client = TestClient(app)
def test_generate_pdf():
    response = client.post("/generate-pdf/test_order")
    assert response.status_code == 200
    assert response.json() == {"message": "PDF generation started"}

Покращення фонового завдання Fastapi за допомогою WebSockets

Один виклик із фоновими завданнями в Фастапі надає оновлення користувачів у режимі реального часу, не покладаючись на неефективне опитування. Чудова альтернатива - це використання Websockets, які дозволяють двонаправленому зв'язку між клієнтом та сервером. Замість того, щоб неодноразово запитувати кінцеву точку, щоб перевірити статус завдання, бекенд може надсилати оновлення, коли є прогрес.

За допомогою WebSockets, коли користувач вимагає генерації PDF, сервер негайно підтверджує запит і починає обробляти у фоновому режимі. У міру просування завдання повідомлення WebSocket можуть інформувати клієнта про різні етапи, такі як "обробка", "завантаження" та "завершено". Це зменшує зайві дзвінки API та покращує досвід користувачів, особливо в таких програмах, як генерація рахунків-фактур електронної комерції або завантаження звітів. 🚀

Реалізація WebSockets у Fastapi вимагає використання асинсіо і Websockets модуль. Підключення WebSocket встановлюється, коли Frontend слухає оновлення, а бекенд натискає на повідомлення в режимі реального часу. Цей метод є високоефективним порівняно з традиційним опитуванням і широко використовується в додатках, що потребують миттєвих оновлень, таких як фінансові панелі інформаційних ресурсів та інструменти редагування спільної роботи.