Büyük Dosyaları FastAPI'ye Yüklerken Docker Compose'daki 502 Hatalı Ağ Geçidi Hatalarını Düzeltme

Dosya Yükleme Sırasında Docker 502 Hatalarını Giderme

FastAPI, Docker Compose ve dosya yüklemeleriyle çalışırken, özellikle büyük dosya yüklemelerinde zaman zaman hatalarla karşılaşabilirsiniz. Geliştiriciler tarafından bildirilen yaygın bir sorun, 502 sunucu hatası Özellikle 120MB .7z arşivi gibi daha büyük dosyaları yüklemeye çalışırken hata oluştu.

Bu tür bir hata, sunucu zaman aşımları, Docker'daki yapılandırma sınırları ve hatta Nginx'te karşılaşılanlar gibi ters proxy sorunları dahil olmak üzere birçok nedenden kaynaklanabilir. Temel nedeni anlamak, bu kalıcı yükleme sorunlarını çözmenin anahtarıdır.

Yüklemeler için FastAPI'nin Swagger kullanıcı arayüzünü kullanıyorsanız, özellikle daha küçük dosya yüklemelerinde uygulamanın işlem sırasında yenilenmeye veya çökmeye çalıştığını fark edebilirsiniz. Bu belirtiler tutarsız davranışlara yol açabilir ve daha fazla hata ayıklama gerektirebilir.

Bu kılavuzda, dosya boyutu sınırları, ters proxy yanlış yapılandırmaları veya sisteminizdeki diğer arka uç sorunları da dahil olmak üzere bu hatalara nelerin neden olabileceğini ayrıntılı olarak ele alacağız. Docker Oluşturma çevre. FastAPI uygulamalarındaki dosya yüklemeleriyle uğraşırken tekrarlanan hataları önlemek için potansiyel çözümleri de araştıracağız.

FastAPI'de 502 Hatasının Çözümünü Docker Compose ile Anlamak

Daha önce sağlanan komut dosyaları, FastAPI ve Docker Compose aracılığıyla büyük dosyaların, özellikle de 120MB .7z arşivinin yüklenmesi sorununu çözmeyi amaçlıyor. Temel unsurlardan biri, kullanımıdır. arka plan görevleri FastAPI'de. Yararlanarak arka plan_tasks.add_task() komutuyla dosya çıkarma işlemi eşzamansız olarak gerçekleştirilir, yani ana istek döngüsünü engellemez. Bu, büyük dosyaları işlerken zaman aşımı hatalarını önlemek için gereklidir. Bu özellik olmadan, FastAPI ana iş parçacığında her şeyi halletmeye çalışacak ve sunucunun yanıt vermesi çok uzun sürerse büyük olasılıkla 502 Hatalı Ağ Geçidi hatasına neden olacaktır.

Bir diğer önemli özellik ise kullanımıdır. Shutil.copyfileobj() Yüklenen dosyayı verimli bir şekilde diske yazan yöntem. Bu işlev, dosya akışından parçalar halinde okuduğundan ve belleğin aşırı yüklenmesini önlediğinden büyük dosyalar için tasarlanmıştır. Python'daki UUID işlevi, üzerine yazmayı önlemek için her dosyanın benzersiz bir ad almasını sağlar; bu, birden fazla kullanıcının aynı anda dosya yükleyebildiği ortamlarda önemlidir. Bir dosya adı benzersiz değilse yükleme işlemi sırasında dosya bozulması veya çakışmalarla ilgili sorunlarla karşılaşabilirsiniz.

Docker Compose dosyası, FastAPI sunucusunun zaman aşımını şu şekilde uzatacak şekilde yapılandırılmıştır: uvicorn --zaman aşımı-canlı tutma seçenek. Bu komut, büyük dosyaların yüklenmesi çok uzun sürdüğünde bile sunucunun istemciyle bağlantısını daha uzun süre sürdürmesini sağlar. Bunu 300 saniyeye (veya 5 dakikaya) ayarlayarak Docker'ın bağlantıyı zamanından önce kapatmasını önler, bu da genellikle 502 hatasıyla sonuçlanır. Ayrıca uzun süren işlemler sırasında stabilitenin korunmasına da yardımcı olur.

Son olarak, Nginx yapılandırması, daha büyük dosya yüklemelerine izin vermede kritik bir rol oynar. client_max_body_size 200 MB'a kadar direktif. Bu değişiklik, Nginx'in varsayılan 1MB sınırından daha büyük dosyaları kabul edebilmesini sağlar. ile birleştiğinde proxy_read_timeout Sunucunun arka uç sunucunun yanıtı için daha uzun süre beklemesine olanak tanıyan yönerge, bu ayarlar yavaş veya büyük dosya aktarımlarından kaynaklanan hataların önlenmesine yardımcı olur. Bu optimizasyonlar birlikte, FastAPI uygulamanızın Docker Compose ortamlarında çökmeden veya 502 hatalarına neden olmadan büyük dosya yüklemelerini gerçekleştirebilmesini sağlar.

# This FastAPI function handles large file uploads using background tasks.
from fastapi import FastAPI, UploadFile, File, BackgroundTasks, HTTPException, status
import os, shutil, uuid
from fastapi.responses import JSONResponse
app = FastAPI()
UPLOAD_DIR = "/app/uploads"
@app.post("/7zip/")
async def upload_7zip(background_tasks: BackgroundTasks, archive_file: UploadFile = File(...)):
    # Check if the uploaded file is a valid .7z file
    if not archive_file.filename.endswith(".7z"):
        raise HTTPException(status_code=status.HTTP_400_BAD_REQUEST, detail="Please upload a valid 7z file.")
    # Generate a unique filename to prevent overwrites
    archive_filename = f"{uuid.uuid4()}_{archive_file.filename}"
    archive_path = os.path.join(UPLOAD_DIR, archive_filename)
    try:
        # Save the uploaded file to the server
        with open(archive_path, "wb") as buffer:
            shutil.copyfileobj(archive_file.file, buffer)
        # Add file extraction to background tasks to avoid timeouts
        background_tasks.add_task(extract_file, archive_path)
        return JSONResponse({"message": "File uploaded successfully, extraction is in progress."})
    except Exception as e:
        raise HTTPException(status_code=500, detail=f"An error occurred while processing the 7z file: {str(e)}")
# Background task to extract files
def extract_file(archive_path: str):
    # Placeholder function for extracting 7z files
    pass

# Adjusting Nginx configuration to allow larger file uploads
server {
    listen 80;
    server_name example.com;
    location / {
        proxy_pass http://app:8000;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
    }
    # Set the maximum allowed upload size to 200MB
    client_max_body_size 200M;
    proxy_read_timeout 300;
}

# Docker Compose file with increased timeout to avoid 502 errors
version: '3'
services:
  app:
    container_name: fastapi_app
    build: .
    command: bash -c "uvicorn main:app --host 0.0.0.0 --port 8000 --timeout-keep-alive=300"
    ports:
      - "8000:8000"
    volumes:
      - ./uploads:/app/uploads
    depends_on:
      - db
    restart: always
    environment:
      - FASTAPI_ENV=production
  db:
    image: postgres
    environment:
      POSTGRES_USER: user
      POSTGRES_PASSWORD: pass

Docker Compose ile FastAPI'de Dosya Boyutu Sorunlarının Üstesinden Gelmek

Dosya yüklemelerini etkileyebilecek önemli bir husus Docker Oluşturma ortamları, bellek ve zaman aşımlarına ilişkin sunucu sınırlarının işlenmesidir. Sunucu zaman aşımı ayarlamalarına ve ters proxy yapılandırmalarına ek olarak dosya yüklemeleri, kullanılabilir bellek ve CPU kaynakları gibi sistem düzeyindeki kısıtlamalardan da etkilenebilir. 120MB .7z arşivi gibi büyük bir dosya yüklenirken sunucu, bellek tükenmesi veya yüksek CPU kullanımıyla karşılaşabilir ve bu da işlemin ortasında çökmesine veya yenilenmesine neden olabilir. Birden fazla kullanıcının aynı anda dosya yüklemesi durumunda bu durum daha da kötüleşebilir.

Bir diğer önemli nokta ise konteynerizasyondan dolayı dosya yükleme performansının düşebilmesidir. Liman işçisi kaynakları kapsayıcı başına yalıtır; bu, uygun şekilde yapılandırılmadığı sürece bir kapsayıcının büyük dosyaları verimli bir şekilde işlemek için yeterli kaynağa sahip olamayabileceği anlamına gelir. Bu, karşılaştığınız 16-17 MB aralığı gibi daha küçük dosyaları işlerken sunucunun yenilenmesine veya çökmesine neden olabilir. Docker kapsayıcılarınızın gerekli CPU ve bellek kaynaklarına sahip olduğundan emin olmak önemlidir ve sınırlar gerçek dünya senaryolarında test edilmelidir.

Son olarak FastAPI'nin istek işlemesi, parçalı dosya yüklemelerine izin veren akış teknikleri kullanılarak optimize edilebilir. Bu, sunucunun belleğini aşırı doldurmadan daha büyük dosyaların işlenmesine yardımcı olur. Nginx, Uvicorn ve Docker kaynak tahsislerinin doğru yapılandırılmasıyla birlikte akış, API'nizi daha güçlü hale getirebilir. Bu ek optimizasyonların dahil edilmesi, üretim ortamlarında büyük veya eşzamanlı dosya yüklemeleriyle uğraşırken daha iyi stabilite sağlar.