Résolution des problèmes d'autorisation dans Airflow avec l'intégration d'Azure Entra ID

Résolution des erreurs d'autorisation OAuth dans Airflow avec plusieurs approches de script

Première solution - Script backend Python pour l'autorisation OAuth

# Import required modules and configure OAuth settings
import os
from flask import Flask, redirect, url_for, session
from flask_oauthlib.client import OAuth
# Define environment variables
tenant_id = os.getenv("AAD_TENANT_ID")
client_id = os.getenv("AAD_CLIENT_ID")
client_secret = os.getenv("AAD_CLIENT_SECRET")
app = Flask(__name__)
app.secret_key = 'supersecretkey'
oauth = OAuth(app)
# Define OAuth configuration with Flask-OAuthlib
azure = oauth.remote_app('azure',
    consumer_key=client_id,
    consumer_secret=client_secret,
    request_token_params={'scope': 'openid email profile'},
    base_url=f"https://login.microsoftonline.com/{tenant_id}",
    access_token_url=f"https://login.microsoftonline.com/{tenant_id}/oauth2/v2.0/token",
    authorize_url=f"https://login.microsoftonline.com/{tenant_id}/oauth2/v2.0/authorize"
)
@app.route('/login')
def login():
    return azure.authorize(callback=url_for('authorized', _external=True))
# OAuth authorization callback route
@app.route('/oauth-authorized/azure')
def authorized():
    response = azure.authorized_response()
    if response is None or response.get('access_token') is None:
        return 'Access Denied'
    # Handle successful authorization response
    session['azure_token'] = (response['access_token'], '')
    return redirect(url_for('home'))
@azure.tokengetter
def get_azure_oauth_token():
    return session.get('azure_token')
# Run the Flask app
if __name__ == '__main__':
    app.run()

Approche backend alternative - Configuration du flux d'air à l'aide de JWKS et OpenID pour la validation sécurisée des jetons

Une autre solution backend axée sur la configuration d'OpenID Connect et de JSON Web Key Set dans Airflow

import os
from airflow.www.fab_security.manager import AUTH_OAUTH
# Required Airflow and custom modules for handling Azure OAuth
from airflow.auth.managers.fab.security_manager.override import FabAirflowSecurityManagerOverride
from airflow.utils.log.logging_mixin import LoggingMixin
class AzureAuthConfig:
    AAD_TENANT_ID = os.getenv('AAD_TENANT_ID')
    AAD_CLIENT_ID = os.getenv('AAD_CLIENT_ID')
    AAD_CLIENT_SECRET = os.getenv('AAD_CLIENT_SECRET')
AUTH_TYPE = AUTH_OAUTH
OAUTH_PROVIDERS = [{
    'name': 'azure',
    'remote_app': {
        'client_id': AzureAuthConfig.AAD_CLIENT_ID,
        'client_secret': AzureAuthConfig.AAD_CLIENT_SECRET,
        'authorize_url': f"https://login.microsoftonline.com/{AzureAuthConfig.AAD_TENANT_ID}/oauth2/v2.0/authorize",
        'access_token_url': f"https://login.microsoftonline.com/{AzureAuthConfig.AAD_TENANT_ID}/oauth2/v2.0/token",
        'jwks_uri': 'https://login.microsoftonline.com/common/discovery/v2.0/keys',
        'redirect_uri': 'https://airflow.xyz.com/oauth-authorized/azure'
    }},
# Ensure authentication maps to the correct role group in Azure
AUTH_ROLES_MAPPING = {
    "airflow_nonprod_admin": ["Admin"],
    "airflow_nonprod_op": ["Op"],
    "airflow_nonprod_viewer": ["Viewer"],
}

Script frontend – JavaScript pour la gestion des autorisations OAuth

Une approche JavaScript pour gérer les redirections et les erreurs OAuth sur le frontend

// JavaScript function to handle authorization redirect
const authorizeUser = () => {
  const oauthUrl = 'https://login.microsoftonline.com/your-tenant-id/oauth2/v2.0/authorize';
  const params = {
    client_id: 'your-client-id',
    redirect_uri: 'https://airflow.xyz.com/oauth-authorized/azure',
    response_type: 'token',
    scope: 'openid email profile'
  };
  const queryString = new URLSearchParams(params).toString();
  window.location.href = \`\${oauthUrl}?\${queryString}\`;
};
// Handle OAuth errors in the frontend
const handleOAuthError = (error) => {
  if (error === 'access_denied') {
    alert('Access Denied. Please contact your admin.');
  } else {
    alert('An unexpected error occurred.');
  }
};
// Bind function to login button
document.getElementById('login-btn').addEventListener('click', authorizeUser);

Questions essentielles sur l'intégration d'Azure Entra ID avec Airflow

1. Quel est le but du AUTH_ROLES_MAPPING paramètre dans Airflow ?
2. Le AUTH_ROLES_MAPPING Le paramètre connecte les rôles Azure aux rôles Airflow, permettant des attributions de rôles automatisées basées sur les appartenances à des groupes dans Azure. Cela simplifie le contrôle d'accès en attribuant les autorisations appropriées aux utilisateurs se connectant via Azure Entra ID.
3. Comment le jwks_uri fonctionne-t-il dans la configuration OAuth ?
4. Le jwks_uri définit l'URI où les clés publiques d'Azure peuvent être récupérées pour la vérification du jeton JWT. Cette étape est cruciale pour valider l’authenticité des jetons et empêcher tout accès non autorisé.
5. Pourquoi définir le redirect_uri dans les fournisseurs OAuth est-il important ?
6. Le redirect_uri indique à Azure où envoyer les utilisateurs après une authentification réussie. Ceci est souvent défini sur le point de terminaison Airflow gérant les réponses OAuth, permettant une intégration fluide entre Azure et Airflow.
7. Plusieurs rôles peuvent-ils être attribués à un seul groupe Azure Entra ID ?
8. Oui, plusieurs rôles peuvent être mappés à un seul groupe Azure, ce qui permet une flexibilité dans l'attribution des autorisations. Par exemple, les rôles « Administrateur » et « Visualiseur » peuvent être associés à un groupe pour des autorisations qui se chevauchent.
9. Quelle est la meilleure façon de résoudre les erreurs « Jeu de clés Web JSON non valide » ?
10. Assurer le jwks_uri est correctement configuré et accessible. Des erreurs se produisent souvent si le point de terminaison est inaccessible ou si les clés Azure Entra ID ne sont pas correctement mises en cache dans Airflow.
11. Comment le client_kwargs la portée améliore-t-elle la sécurité ?
12. Le client_kwargs la portée limite les données auxquelles Airflow peut accéder à partir d'un profil utilisateur, imposant un accès restreint aux informations sensibles, ce qui est essentiel pour la conformité dans les environnements d'entreprise.
13. Est-ce que l'activation WTF_CSRF_ENABLED améliorer la sécurité ?
14. Oui, WTF_CSRF_ENABLED fournit une protection contre la falsification de demandes intersites pour Airflow, empêchant les demandes non autorisées. Cet indicateur est fortement recommandé dans les environnements de production pour plus de sécurité.
15. Comment puis-je gérer une demande de connexion refusée ?
16. Examinez les rôles d’utilisateur dans Azure pour confirmer qu’ils sont correctement attribués. De plus, vérifiez authorize_url et le mappage de groupe sont corrects, car ces paramètres ont un impact sur le succès de l'authentification.
17. Puis-je utiliser un fournisseur OAuth différent d’Azure ?
18. Oui, Airflow prend en charge d'autres fournisseurs OAuth comme Google ou Okta en ajustant les paramètres spécifiques au fournisseur dans OAUTH_PROVIDERS. Chaque fournisseur peut avoir des URL et des exigences de configuration uniques.

Réflexions finales sur la sécurisation du flux d'air avec Azure Entra ID

L'intégration d'Azure Entra ID avec Airflow peut rationaliser l'authentification dans les organisations. En configurant soigneusement les paramètres OAuth comme le jwks_uri et accédez aux URL des jetons, vous établissez des connexions sécurisées qui minimisent le risque d'accès non autorisé. Ce niveau de sécurité est essentiel pour toute organisation axée sur les données.

Les mappages de rôles dans Azure permettent une stratégie d'accès évolutive et basée sur les rôles dans Airflow. Grâce à ces mappages, la gestion des utilisateurs et l'attribution des autorisations deviennent plus efficaces, en particulier dans les grandes équipes. Une compréhension claire de ces configurations peut rendre votre configuration d’autorisation plus résiliente aux futurs besoins de sécurité. 🔒