Sửa lỗi 502 Bad Gateway trong Docker Compose khi tải tệp lớn lên FastAPI

Khắc phục sự cố lỗi Docker 502 trong quá trình tải tệp lên

Khi làm việc với FastAPI, Docker Compose và tải tệp lên, đôi khi bạn có thể gặp phải lỗi, đặc biệt là khi tải tệp lớn lên. Một vấn đề phổ biến được các nhà phát triển báo cáo là 502 Cổng xấu lỗi, đặc biệt là khi cố gắng tải lên các tệp lớn hơn, chẳng hạn như kho lưu trữ .7z 120MB.

Loại lỗi này có thể xuất phát từ nhiều nguyên nhân, bao gồm thời gian chờ của máy chủ, giới hạn cấu hình trong Docker hoặc thậm chí là các sự cố proxy ngược như những sự cố gặp phải với Nginx. Hiểu nguyên nhân cốt lõi là chìa khóa để giải quyết các vấn đề tải lên liên tục này.

Nếu đang sử dụng Swagger UI của FastAPI để tải lên, bạn có thể nhận thấy ứng dụng đang cố làm mới hoặc gặp sự cố trong quá trình này, đặc biệt là khi tải lên tệp nhỏ hơn. Những triệu chứng này có thể dẫn đến hành vi không nhất quán và cần phải gỡ lỗi thêm.

Trong hướng dẫn này, chúng tôi sẽ đi sâu vào những gì có thể gây ra những lỗi này, bao gồm giới hạn kích thước tệp, cấu hình sai proxy ngược hoặc các sự cố phụ trợ khác trong Docker Soạn môi trường. Chúng tôi cũng sẽ khám phá các giải pháp tiềm năng để ngăn chặn các lỗi tái diễn khi xử lý việc tải tệp lên trong ứng dụng FastAPI.

Tìm hiểu giải pháp cho lỗi 502 trong FastAPI với Docker Compose

Các tập lệnh được cung cấp trước đó nhằm mục đích giải quyết vấn đề tải lên các tệp lớn, cụ thể là kho lưu trữ .7z 120MB, thông qua FastAPI và Docker Compose. Một trong những yếu tố cốt lõi là việc sử dụng tác vụ nền trong FastAPI. Bằng cách tận dụng nền_tasks.add_task() lệnh, quá trình trích xuất tệp được xử lý không đồng bộ, nghĩa là nó không chặn chu kỳ yêu cầu chính. Điều này rất cần thiết để ngăn ngừa lỗi hết thời gian chờ khi xử lý các tệp lớn. Nếu không có tính năng này, FastAPI sẽ cố gắng xử lý mọi thứ trong luồng chính, có thể gây ra lỗi 502 Bad Gateway nếu máy chủ mất quá nhiều thời gian để phản hồi.

Một tính năng quan trọng khác là việc sử dụng im lặng.copyfileobj() phương pháp ghi tập tin đã tải lên đĩa một cách hiệu quả. Chức năng này được thiết kế cho các tệp lớn vì nó đọc từ luồng tệp theo từng đoạn, ngăn chặn tình trạng quá tải bộ nhớ. Hàm UUID trong Python đảm bảo rằng mỗi tệp có một tên duy nhất để tránh ghi đè, điều này rất quan trọng trong môi trường nơi nhiều người dùng có thể tải tệp lên cùng một lúc. Nếu tên tệp không phải là duy nhất, bạn có thể gặp phải sự cố hỏng tệp hoặc xung đột trong quá trình tải lên.

Tệp Docker Compose được định cấu hình để kéo dài thời gian chờ cho máy chủ FastAPI bằng cách sử dụng uvicorn --timeout-keep-alive lựa chọn. Lệnh này đảm bảo rằng máy chủ có thể duy trì kết nối với máy khách lâu hơn, ngay cả khi các tệp lớn mất nhiều thời gian để tải lên. Bằng cách đặt giá trị này thành 300 giây (hoặc 5 phút), nó sẽ ngăn Docker đóng kết nối sớm, điều này thường dẫn đến lỗi 502. Nó cũng giúp duy trì sự ổn định trong quá trình chạy dài.

Cuối cùng, cấu hình Nginx đóng một vai trò quan trọng trong việc cho phép tải lên tệp lớn hơn bằng cách đặt client_max_body_size chỉ thị tới 200 MB. Thay đổi này đảm bảo rằng Nginx có thể chấp nhận các tệp lớn hơn giới hạn mặc định là 1 MB. Đi đôi với proxy_read_timeout chỉ thị, cho phép máy chủ đợi phản hồi của máy chủ phụ trợ lâu hơn, những cài đặt này giúp tránh các lỗi xuất phát từ việc truyền tệp chậm hoặc lớn. Cùng với nhau, những tối ưu hóa này đảm bảo rằng ứng dụng FastAPI của bạn có thể xử lý các tệp tải lên lớn mà không gặp sự cố hoặc gây ra lỗi 502 trong môi trường Docker Compose.

# This FastAPI function handles large file uploads using background tasks.
from fastapi import FastAPI, UploadFile, File, BackgroundTasks, HTTPException, status
import os, shutil, uuid
from fastapi.responses import JSONResponse
app = FastAPI()
UPLOAD_DIR = "/app/uploads"
@app.post("/7zip/")
async def upload_7zip(background_tasks: BackgroundTasks, archive_file: UploadFile = File(...)):
    # Check if the uploaded file is a valid .7z file
    if not archive_file.filename.endswith(".7z"):
        raise HTTPException(status_code=status.HTTP_400_BAD_REQUEST, detail="Please upload a valid 7z file.")
    # Generate a unique filename to prevent overwrites
    archive_filename = f"{uuid.uuid4()}_{archive_file.filename}"
    archive_path = os.path.join(UPLOAD_DIR, archive_filename)
    try:
        # Save the uploaded file to the server
        with open(archive_path, "wb") as buffer:
            shutil.copyfileobj(archive_file.file, buffer)
        # Add file extraction to background tasks to avoid timeouts
        background_tasks.add_task(extract_file, archive_path)
        return JSONResponse({"message": "File uploaded successfully, extraction is in progress."})
    except Exception as e:
        raise HTTPException(status_code=500, detail=f"An error occurred while processing the 7z file: {str(e)}")
# Background task to extract files
def extract_file(archive_path: str):
    # Placeholder function for extracting 7z files
    pass

# Adjusting Nginx configuration to allow larger file uploads
server {
    listen 80;
    server_name example.com;
    location / {
        proxy_pass http://app:8000;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
    }
    # Set the maximum allowed upload size to 200MB
    client_max_body_size 200M;
    proxy_read_timeout 300;
}

# Docker Compose file with increased timeout to avoid 502 errors
version: '3'
services:
  app:
    container_name: fastapi_app
    build: .
    command: bash -c "uvicorn main:app --host 0.0.0.0 --port 8000 --timeout-keep-alive=300"
    ports:
      - "8000:8000"
    volumes:
      - ./uploads:/app/uploads
    depends_on:
      - db
    restart: always
    environment:
      - FASTAPI_ENV=production
  db:
    image: postgres
    environment:
      POSTGRES_USER: user
      POSTGRES_PASSWORD: pass

Khắc phục các vấn đề về kích thước tệp trong FastAPI bằng Docker Compose

Một khía cạnh quan trọng có thể ảnh hưởng đến việc tải tệp lên trong Docker Soạn môi trường là việc xử lý các giới hạn của máy chủ về bộ nhớ và thời gian chờ. Ngoài việc điều chỉnh thời gian chờ của máy chủ và cấu hình proxy ngược, việc tải tệp lên cũng có thể bị ảnh hưởng bởi các hạn chế ở cấp hệ thống, chẳng hạn như bộ nhớ khả dụng và tài nguyên CPU. Khi tải lên một tệp lớn, chẳng hạn như kho lưu trữ .7z 120MB, máy chủ có thể cạn kiệt bộ nhớ hoặc sử dụng CPU ở mức cao, khiến máy chủ gặp sự cố hoặc làm mới giữa quá trình. Điều này có thể trở nên trầm trọng hơn khi nhiều người dùng tải tệp lên cùng một lúc.

Một điểm quan trọng khác là hiệu suất tải tệp lên có thể bị suy giảm do quá trình chứa. Docker cách ly tài nguyên trên mỗi vùng chứa, nghĩa là trừ khi được định cấu hình đúng cách, vùng chứa có thể không có đủ tài nguyên để xử lý các tệp lớn một cách hiệu quả. Điều này có thể dẫn đến việc máy chủ bị làm mới hoặc gặp sự cố khi xử lý các tệp thậm chí còn nhỏ hơn, chẳng hạn như phạm vi 16-17 MB mà bạn đã gặp phải. Điều cần thiết là phải đảm bảo rằng bộ chứa Docker của bạn có tài nguyên CPU và bộ nhớ cần thiết được phân bổ, đồng thời các giới hạn phải được kiểm tra trong các tình huống thực tế.

Cuối cùng, việc xử lý yêu cầu của FastAPI có thể được tối ưu hóa bằng cách sử dụng các kỹ thuật phát trực tuyến, cho phép tải lên tệp theo từng đoạn. Điều này sẽ giúp xử lý các tệp lớn hơn mà không làm tràn bộ nhớ của máy chủ. Kết hợp với cấu hình phân bổ tài nguyên Nginx, Uvicorn và Docker phù hợp, tính năng phát trực tuyến có thể giúp API của bạn mạnh mẽ hơn. Việc kết hợp các tối ưu hóa bổ sung này đảm bảo độ ổn định tốt hơn khi xử lý các tệp tải lên lớn hoặc đồng thời trong môi trường sản xuất.