使用 Azure Entra ID 集成解决 Airflow 中的授权问题

使用多种脚本方法解决 Airflow 中的 OAuth 授权错误

第一个解决方案 - 用于 OAuth 授权的 Python 后端脚本

# Import required modules and configure OAuth settings
import os
from flask import Flask, redirect, url_for, session
from flask_oauthlib.client import OAuth
# Define environment variables
tenant_id = os.getenv("AAD_TENANT_ID")
client_id = os.getenv("AAD_CLIENT_ID")
client_secret = os.getenv("AAD_CLIENT_SECRET")
app = Flask(__name__)
app.secret_key = 'supersecretkey'
oauth = OAuth(app)
# Define OAuth configuration with Flask-OAuthlib
azure = oauth.remote_app('azure',
    consumer_key=client_id,
    consumer_secret=client_secret,
    request_token_params={'scope': 'openid email profile'},
    base_url=f"https://login.microsoftonline.com/{tenant_id}",
    access_token_url=f"https://login.microsoftonline.com/{tenant_id}/oauth2/v2.0/token",
    authorize_url=f"https://login.microsoftonline.com/{tenant_id}/oauth2/v2.0/authorize"
)
@app.route('/login')
def login():
    return azure.authorize(callback=url_for('authorized', _external=True))
# OAuth authorization callback route
@app.route('/oauth-authorized/azure')
def authorized():
    response = azure.authorized_response()
    if response is None or response.get('access_token') is None:
        return 'Access Denied'
    # Handle successful authorization response
    session['azure_token'] = (response['access_token'], '')
    return redirect(url_for('home'))
@azure.tokengetter
def get_azure_oauth_token():
    return session.get('azure_token')
# Run the Flask app
if __name__ == '__main__':
    app.run()

替代后端方法 - 使用 JWKS 和 OpenID 进行气流配置以进行安全令牌验证

另一个后端解决方案，重点关注 Airflow 中的 OpenID Connect 和 JSON Web Key Set 配置

import os
from airflow.www.fab_security.manager import AUTH_OAUTH
# Required Airflow and custom modules for handling Azure OAuth
from airflow.auth.managers.fab.security_manager.override import FabAirflowSecurityManagerOverride
from airflow.utils.log.logging_mixin import LoggingMixin
class AzureAuthConfig:
    AAD_TENANT_ID = os.getenv('AAD_TENANT_ID')
    AAD_CLIENT_ID = os.getenv('AAD_CLIENT_ID')
    AAD_CLIENT_SECRET = os.getenv('AAD_CLIENT_SECRET')
AUTH_TYPE = AUTH_OAUTH
OAUTH_PROVIDERS = [{
    'name': 'azure',
    'remote_app': {
        'client_id': AzureAuthConfig.AAD_CLIENT_ID,
        'client_secret': AzureAuthConfig.AAD_CLIENT_SECRET,
        'authorize_url': f"https://login.microsoftonline.com/{AzureAuthConfig.AAD_TENANT_ID}/oauth2/v2.0/authorize",
        'access_token_url': f"https://login.microsoftonline.com/{AzureAuthConfig.AAD_TENANT_ID}/oauth2/v2.0/token",
        'jwks_uri': 'https://login.microsoftonline.com/common/discovery/v2.0/keys',
        'redirect_uri': 'https://airflow.xyz.com/oauth-authorized/azure'
    }},
# Ensure authentication maps to the correct role group in Azure
AUTH_ROLES_MAPPING = {
    "airflow_nonprod_admin": ["Admin"],
    "airflow_nonprod_op": ["Op"],
    "airflow_nonprod_viewer": ["Viewer"],
}

前端脚本 - 用于 OAuth 授权处理的 JavaScript

用于处理前端 OAuth 重定向和错误的 JavaScript 方法

// JavaScript function to handle authorization redirect
const authorizeUser = () => {
  const oauthUrl = 'https://login.microsoftonline.com/your-tenant-id/oauth2/v2.0/authorize';
  const params = {
    client_id: 'your-client-id',
    redirect_uri: 'https://airflow.xyz.com/oauth-authorized/azure',
    response_type: 'token',
    scope: 'openid email profile'
  };
  const queryString = new URLSearchParams(params).toString();
  window.location.href = \`\${oauthUrl}?\${queryString}\`;
};
// Handle OAuth errors in the frontend
const handleOAuthError = (error) => {
  if (error === 'access_denied') {
    alert('Access Denied. Please contact your admin.');
  } else {
    alert('An unexpected error occurred.');
  }
};
// Bind function to login button
document.getElementById('login-btn').addEventListener('click', authorizeUser);

有关将 Azure Entra ID 与 Airflow 集成的基本问题

1. 目的是什么 AUTH_ROLES_MAPPING 气流中的参数？
2. 这 AUTH_ROLES_MAPPING 参数将 Azure 角色连接到 Airflow 角色，从而根据 Azure 中的组成员身份实现自动角色分配。这通过为通过 Azure Entra ID 登录的用户分配适当的权限来简化访问控制。
3. 如何 jwks_uri 在 OAuth 设置中工作吗？
4. 这 jwks_uri 定义可以检索 Azure 公钥以进行 JWT 令牌验证的 URI。此步骤对于验证令牌的真实性、防止未经授权的访问至关重要。
5. 为什么要设置 redirect_uri 在 OAuth 提供商中重要吗？
6. 这 redirect_uri 告诉 Azure 在身份验证成功后将用户发送到哪里。这通常设置为处理 OAuth 响应的 Airflow 端点，从而允许 Azure 和 Airflow 之间的平滑集成。
7. 是否可以将多个角色分配给单个 Azure Entra ID 组？
8. 是的，多个角色可以映射到单个 Azure 组，从而可以灵活地分配权限。例如，“管理员”和“查看者”角色都可以与一个组关联以实现重叠权限。
9. 解决“无效 JSON Web 密钥集”错误的最佳方法是什么？
10. 确保 jwks_uri 已正确配置且可访问。如果终结点无法访问或者 Azure Entra ID 密钥错误地缓存在 Airflow 中，通常会发生错误。
11. 如何 client_kwargs 范围增强安全性？
12. 这 client_kwargs 范围限制了 Airflow 可以从用户配置文件访问的数据，从而强制限制对敏感信息的访问，这对于企业环境中的合规性至关重要。
13. 是否启用 WTF_CSRF_ENABLED 提高安全性？
14. 是的， WTF_CSRF_ENABLED 为 Airflow 提供跨站点请求伪造保护，防止未经授权的请求。强烈建议在生产环境中使用此标志以提高安全性。
15. 如何处理被拒绝的登录请求？
16. 检查 Azure 中的用户角色以确认它们已正确分配。另外，验证 authorize_url 和组映射是正确的，因为这些设置会影响身份验证的成功。
17. 我可以使用与 Azure 不同的 OAuth 提供商吗？
18. 是的，Airflow 通过调整特定于提供商的参数来支持其他 OAuth 提供商，例如 Google 或 Okta OAUTH_PROVIDERS。每个提供商可能有独特的 URL 和配置要求。

关于使用 Azure Entra ID 保护气流的最终想法

将 Azure Entra ID 与 Airflow 集成可以简化跨组织的身份验证。通过仔细配置 OAuth 参数，例如 jwks_uri 和访问令牌 URL，您正在建立安全连接，以最大限度地减少未经授权的访问风险。这种安全级别对于任何数据驱动的组织都是至关重要的。

Azure 中的角色映射允许在 Airflow 中采用可扩展的、基于角色的访问策略。通过这些映射，管理用户和分配权限变得更加高效，尤其是在较大的团队中。清楚地了解这些配置可以使您的授权设置更能适应未来的安全需求。 🔒