Resolvendo problemas de autorização no Airflow com integração do Azure Entra ID

Resolvendo erros de autorização OAuth no Airflow com várias abordagens de script

Primeira solução - script de back-end Python para autorização OAuth

# Import required modules and configure OAuth settings
import os
from flask import Flask, redirect, url_for, session
from flask_oauthlib.client import OAuth
# Define environment variables
tenant_id = os.getenv("AAD_TENANT_ID")
client_id = os.getenv("AAD_CLIENT_ID")
client_secret = os.getenv("AAD_CLIENT_SECRET")
app = Flask(__name__)
app.secret_key = 'supersecretkey'
oauth = OAuth(app)
# Define OAuth configuration with Flask-OAuthlib
azure = oauth.remote_app('azure',
    consumer_key=client_id,
    consumer_secret=client_secret,
    request_token_params={'scope': 'openid email profile'},
    base_url=f"https://login.microsoftonline.com/{tenant_id}",
    access_token_url=f"https://login.microsoftonline.com/{tenant_id}/oauth2/v2.0/token",
    authorize_url=f"https://login.microsoftonline.com/{tenant_id}/oauth2/v2.0/authorize"
)
@app.route('/login')
def login():
    return azure.authorize(callback=url_for('authorized', _external=True))
# OAuth authorization callback route
@app.route('/oauth-authorized/azure')
def authorized():
    response = azure.authorized_response()
    if response is None or response.get('access_token') is None:
        return 'Access Denied'
    # Handle successful authorization response
    session['azure_token'] = (response['access_token'], '')
    return redirect(url_for('home'))
@azure.tokengetter
def get_azure_oauth_token():
    return session.get('azure_token')
# Run the Flask app
if __name__ == '__main__':
    app.run()

Abordagem alternativa de back-end - configuração do Airflow usando JWKS e OpenID para validação de token seguro

Outra solução de back-end com foco na configuração do OpenID Connect e JSON Web Key Set no Airflow

import os
from airflow.www.fab_security.manager import AUTH_OAUTH
# Required Airflow and custom modules for handling Azure OAuth
from airflow.auth.managers.fab.security_manager.override import FabAirflowSecurityManagerOverride
from airflow.utils.log.logging_mixin import LoggingMixin
class AzureAuthConfig:
    AAD_TENANT_ID = os.getenv('AAD_TENANT_ID')
    AAD_CLIENT_ID = os.getenv('AAD_CLIENT_ID')
    AAD_CLIENT_SECRET = os.getenv('AAD_CLIENT_SECRET')
AUTH_TYPE = AUTH_OAUTH
OAUTH_PROVIDERS = [{
    'name': 'azure',
    'remote_app': {
        'client_id': AzureAuthConfig.AAD_CLIENT_ID,
        'client_secret': AzureAuthConfig.AAD_CLIENT_SECRET,
        'authorize_url': f"https://login.microsoftonline.com/{AzureAuthConfig.AAD_TENANT_ID}/oauth2/v2.0/authorize",
        'access_token_url': f"https://login.microsoftonline.com/{AzureAuthConfig.AAD_TENANT_ID}/oauth2/v2.0/token",
        'jwks_uri': 'https://login.microsoftonline.com/common/discovery/v2.0/keys',
        'redirect_uri': 'https://airflow.xyz.com/oauth-authorized/azure'
    }},
# Ensure authentication maps to the correct role group in Azure
AUTH_ROLES_MAPPING = {
    "airflow_nonprod_admin": ["Admin"],
    "airflow_nonprod_op": ["Op"],
    "airflow_nonprod_viewer": ["Viewer"],
}

Script de front-end - JavaScript para tratamento de autorização OAuth

Uma abordagem JavaScript para lidar com redirecionamentos e erros OAuth no frontend

// JavaScript function to handle authorization redirect
const authorizeUser = () => {
  const oauthUrl = 'https://login.microsoftonline.com/your-tenant-id/oauth2/v2.0/authorize';
  const params = {
    client_id: 'your-client-id',
    redirect_uri: 'https://airflow.xyz.com/oauth-authorized/azure',
    response_type: 'token',
    scope: 'openid email profile'
  };
  const queryString = new URLSearchParams(params).toString();
  window.location.href = \`\${oauthUrl}?\${queryString}\`;
};
// Handle OAuth errors in the frontend
const handleOAuthError = (error) => {
  if (error === 'access_denied') {
    alert('Access Denied. Please contact your admin.');
  } else {
    alert('An unexpected error occurred.');
  }
};
// Bind function to login button
document.getElementById('login-btn').addEventListener('click', authorizeUser);

Perguntas essenciais sobre a integração do Azure Entra ID com o Airflow

1. Qual é o propósito do AUTH_ROLES_MAPPING parâmetro no Airflow?
2. O AUTH_ROLES_MAPPING O parâmetro conecta funções do Azure às funções do Airflow, permitindo atribuições automatizadas de funções com base em associações de grupos no Azure. Isto simplifica o controlo de acesso, atribuindo permissões apropriadas aos utilizadores que iniciam sessão através do Azure Entra ID.
3. Como é que jwks_uri funciona na configuração do OAuth?
4. O jwks_uri define o URI onde as chaves públicas do Azure podem ser recuperadas para verificação do token JWT. Esta etapa é crucial para validar a autenticidade dos tokens, evitando acessos não autorizados.
5. Por que definir o redirect_uri em provedores OAuth é importante?
6. O redirect_uri informa ao Azure para onde enviar os usuários após a autenticação bem-sucedida. Geralmente, isso é definido para o ponto de extremidade do Airflow que manipula as respostas do OAuth, permitindo uma integração suave entre o Azure e o Airflow.
7. Várias funções podem ser atribuídas a um único grupo de IDs do Azure Entra?
8. Sim, várias funções podem ser mapeadas para um único grupo do Azure, permitindo flexibilidade na atribuição de permissões. Por exemplo, as funções de "Administrador" e "Visualizador" podem ser associadas a um grupo para permissões sobrepostas.
9. Qual é a melhor maneira de solucionar erros de “Conjunto de chaves da Web JSON inválido”?
10. Certifique-se de que jwks_uri está corretamente configurado e acessível. Os erros ocorrem frequentemente se o ponto final estiver inacessível ou se as chaves de ID do Azure Entra forem armazenadas em cache incorretamente no Airflow.
11. Como é que client_kwargs escopo aumentar a segurança?
12. O client_kwargs O escopo limita os dados que o Airflow pode acessar a partir de um perfil de usuário, impondo acesso restrito a informações confidenciais, o que é fundamental para conformidade em ambientes corporativos.
13. Habilitando WTF_CSRF_ENABLED melhorar a segurança?
14. Sim, WTF_CSRF_ENABLED fornece proteção contra falsificação de solicitação entre sites para o Airflow, evitando solicitações não autorizadas. Este sinalizador é altamente recomendado em ambientes de produção para maior segurança.
15. Como posso lidar com uma solicitação de login negada?
16. Revise as funções de usuário no Azure para confirmar que estão atribuídas corretamente. Além disso, verifique authorize_url e o mapeamento de grupo estão corretos, pois essas configurações afetam o sucesso da autenticação.
17. Posso usar um provedor OAuth diferente do Azure?
18. Sim, o Airflow oferece suporte a outros provedores OAuth, como Google ou Okta, ajustando os parâmetros específicos do provedor em OAUTH_PROVIDERS. Cada provedor pode ter URLs e requisitos de configuração exclusivos.

Considerações finais sobre como proteger o fluxo de ar com o Azure Entra ID

A integração do Azure Entra ID com o Airflow pode agilizar a autenticação entre organizações. Ao configurar cuidadosamente os parâmetros OAuth como o jwks_uri e URLs de token de acesso, você está estabelecendo conexões seguras que minimizam o risco de acesso não autorizado. Este nível de segurança é essencial para qualquer organização orientada por dados.

Os mapeamentos de funções no Azure permitem uma estratégia de acesso escalonável e baseada em funções no Airflow. Com esses mapeamentos, o gerenciamento de usuários e a atribuição de permissões se tornam mais eficientes, principalmente em equipes maiores. Uma compreensão clara destas configurações pode tornar a sua configuração de autorização mais resiliente às futuras necessidades de segurança. 🔒