Az Airflow engedélyezési problémáinak megoldása az Azure Entra ID integrációval

OAuth-engedélyezési hibák megoldása az Airflow-ban több parancsfájl-megközelítéssel

Első megoldás – Python háttérszkript az OAuth-engedélyezéshez

# Import required modules and configure OAuth settings
import os
from flask import Flask, redirect, url_for, session
from flask_oauthlib.client import OAuth
# Define environment variables
tenant_id = os.getenv("AAD_TENANT_ID")
client_id = os.getenv("AAD_CLIENT_ID")
client_secret = os.getenv("AAD_CLIENT_SECRET")
app = Flask(__name__)
app.secret_key = 'supersecretkey'
oauth = OAuth(app)
# Define OAuth configuration with Flask-OAuthlib
azure = oauth.remote_app('azure',
    consumer_key=client_id,
    consumer_secret=client_secret,
    request_token_params={'scope': 'openid email profile'},
    base_url=f"https://login.microsoftonline.com/{tenant_id}",
    access_token_url=f"https://login.microsoftonline.com/{tenant_id}/oauth2/v2.0/token",
    authorize_url=f"https://login.microsoftonline.com/{tenant_id}/oauth2/v2.0/authorize"
)
@app.route('/login')
def login():
    return azure.authorize(callback=url_for('authorized', _external=True))
# OAuth authorization callback route
@app.route('/oauth-authorized/azure')
def authorized():
    response = azure.authorized_response()
    if response is None or response.get('access_token') is None:
        return 'Access Denied'
    # Handle successful authorization response
    session['azure_token'] = (response['access_token'], '')
    return redirect(url_for('home'))
@azure.tokengetter
def get_azure_oauth_token():
    return session.get('azure_token')
# Run the Flask app
if __name__ == '__main__':
    app.run()

Alternatív háttérmegközelítés – Airflow konfiguráció JWKS és OpenID használatával a biztonságos token érvényesítéshez

Egy másik háttérmegoldás, amely az OpenID Connect és a JSON Web Key Set konfigurációjára összpontosít az Airflow-ban

import os
from airflow.www.fab_security.manager import AUTH_OAUTH
# Required Airflow and custom modules for handling Azure OAuth
from airflow.auth.managers.fab.security_manager.override import FabAirflowSecurityManagerOverride
from airflow.utils.log.logging_mixin import LoggingMixin
class AzureAuthConfig:
    AAD_TENANT_ID = os.getenv('AAD_TENANT_ID')
    AAD_CLIENT_ID = os.getenv('AAD_CLIENT_ID')
    AAD_CLIENT_SECRET = os.getenv('AAD_CLIENT_SECRET')
AUTH_TYPE = AUTH_OAUTH
OAUTH_PROVIDERS = [{
    'name': 'azure',
    'remote_app': {
        'client_id': AzureAuthConfig.AAD_CLIENT_ID,
        'client_secret': AzureAuthConfig.AAD_CLIENT_SECRET,
        'authorize_url': f"https://login.microsoftonline.com/{AzureAuthConfig.AAD_TENANT_ID}/oauth2/v2.0/authorize",
        'access_token_url': f"https://login.microsoftonline.com/{AzureAuthConfig.AAD_TENANT_ID}/oauth2/v2.0/token",
        'jwks_uri': 'https://login.microsoftonline.com/common/discovery/v2.0/keys',
        'redirect_uri': 'https://airflow.xyz.com/oauth-authorized/azure'
    }},
# Ensure authentication maps to the correct role group in Azure
AUTH_ROLES_MAPPING = {
    "airflow_nonprod_admin": ["Admin"],
    "airflow_nonprod_op": ["Op"],
    "airflow_nonprod_viewer": ["Viewer"],
}

Frontend Script – JavaScript az OAuth-engedélyezés kezeléséhez

JavaScript-megközelítés az OAuth-átirányítások és -hibák kezelésére a kezelőfelületen

// JavaScript function to handle authorization redirect
const authorizeUser = () => {
  const oauthUrl = 'https://login.microsoftonline.com/your-tenant-id/oauth2/v2.0/authorize';
  const params = {
    client_id: 'your-client-id',
    redirect_uri: 'https://airflow.xyz.com/oauth-authorized/azure',
    response_type: 'token',
    scope: 'openid email profile'
  };
  const queryString = new URLSearchParams(params).toString();
  window.location.href = \`\${oauthUrl}?\${queryString}\`;
};
// Handle OAuth errors in the frontend
const handleOAuthError = (error) => {
  if (error === 'access_denied') {
    alert('Access Denied. Please contact your admin.');
  } else {
    alert('An unexpected error occurred.');
  }
};
// Bind function to login button
document.getElementById('login-btn').addEventListener('click', authorizeUser);

Alapvető kérdések az Azure Entra ID és az Airflow integrálásával kapcsolatban

1. Mi a célja a AUTH_ROLES_MAPPING paraméter az Airflow-ban?
2. A AUTH_ROLES_MAPPING paraméter összekapcsolja az Azure-szerepköröket az Airflow-szerepkörökkel, lehetővé téve az Azure-beli csoporttagságokon alapuló automatikus szerepkör-hozzárendelést. Ez leegyszerűsíti a hozzáférés-szabályozást azáltal, hogy megfelelő engedélyeket rendel az Azure Entra ID-n keresztül bejelentkező felhasználókhoz.
3. Hogyan működik a jwks_uri dolgozik az OAuth beállításban?
4. A jwks_uri meghatározza azt az URI-t, ahol az Azure nyilvános kulcsai lekérhetők a JWT-jogkivonat ellenőrzéséhez. Ez a lépés kulcsfontosságú a tokenek hitelességének ellenőrzéséhez, és megakadályozza az illetéktelen hozzáférést.
5. Miért állítja be a redirect_uri fontos az OAuth-szolgáltatóknál?
6. A redirect_uri megmondja az Azure-nak, hogy hova küldje a felhasználókat a sikeres hitelesítés után. Ez gyakran az OAuth-válaszokat kezelő Airflow-végpontra van beállítva, amely lehetővé teszi az Azure és az Airflow közötti zökkenőmentes integrációt.
7. Több szerepkör is hozzárendelhető egyetlen Azure Entra ID-csoporthoz?
8. Igen, több szerepkör is hozzárendelhető egyetlen Azure-csoporthoz, ami rugalmasságot tesz lehetővé az engedélyek hozzárendelésében. Például az „Adminisztrátor” és a „Néző” szerepkör is társítható egy csoporthoz az átfedő engedélyekhez.
9. Mi a legjobb módja az „Érvénytelen JSON webkulcs-készlet” hibák elhárításának?
10. Biztosítsa a jwks_uri megfelelően van konfigurálva és elérhető. Hibák gyakran előfordulnak, ha a végpont nem érhető el, vagy ha az Azure Entra ID-kulcsok helytelenül vannak gyorsítótárazva az Airflow-ban.
11. Hogyan működik a client_kwargs hatókör növeli a biztonságot?
12. A client_kwargs A hatókör korlátozza az Airflow által a felhasználói profilból hozzáférhető adatokat, és korlátozza a bizalmas információkhoz való hozzáférést, ami kulcsfontosságú a vállalati beállítások megfelelőségéhez.
13. Engedélyezi WTF_CSRF_ENABLED javítani a biztonságot?
14. Igen, WTF_CSRF_ENABLED Cross-Site Request Forgery védelmet biztosít az Airflow számára, megakadályozva a jogosulatlan kéréseket. Ez a jelző erősen ajánlott éles környezetben a nagyobb biztonság érdekében.
15. Hogyan kezelhetek egy elutasított bejelentkezési kérelmet?
16. Tekintse át a felhasználói szerepköröket az Azure-ban, és ellenőrizze, hogy megfelelően vannak-e hozzárendelve. Ezenkívül ellenőrizze authorize_url és a csoportleképezés helyes, mivel ezek a beállítások befolyásolják a hitelesítés sikerét.
17. Használhatok más OAuth-szolgáltatót, mint az Azure?
18. Igen, az Airflow más OAuth-szolgáltatókat is támogat, például a Google-t vagy az Oktát a szolgáltató-specifikus paraméterek beállításával OAUTH_PROVIDERS. Minden szolgáltató egyedi URL-címekkel és konfigurációs követelményekkel rendelkezhet.

Utolsó gondolatok az Azure Entra ID segítségével történő légáramlás biztosításához

Az Azure Entra ID integrálása az Airflow-val ésszerűsítheti a hitelesítést a szervezetek között. Az olyan OAuth-paraméterek gondos konfigurálásával, mint a jwks_uri és hozzáférési jogkivonat URL-jeit, biztonságos kapcsolatokat hoz létre, amelyek minimalizálják az illetéktelen hozzáférés kockázatát. Ez a biztonsági szint elengedhetetlen minden adatvezérelt szervezet számára.

Az Azure-beli szerepkör-leképezések méretezhető, szerepkör-alapú hozzáférési stratégiát tesznek lehetővé az Airflow-ban. Ezekkel a leképezésekkel hatékonyabbá válik a felhasználók kezelése és az engedélyek hozzárendelése, különösen nagyobb csapatokban. E konfigurációk világos megértése rugalmasabbá teheti az engedélyezési beállításokat a jövőbeli biztonsági igényekkel szemben. 🔒