Løse autorisasjonsproblemer i Airflow med Azure Entra ID-integrasjon

Overvinne OAuth-utfordringer med Azure Entra ID og Airflow

Konfigurering av autentisering for bedriftsapplikasjoner kan ofte være en kompleks prosess, spesielt når du arbeider med avanserte plattformer som og . 🎛️ I dagens skydrevne miljøer tilbyr slike integrasjoner sikker, sentralisert brukeradministrasjon, men kan gi sin del av tekniske hindringer, spesielt med OAuth-basert autorisasjon.

Tenk deg at du har konfigurert alt omhyggelig – fra OAuth-klienter til roller i Azure – og den første autentiseringen fungerer sømløst. Men akkurat når du tror du er klar til å gå live, an vises, og stopper fremgangen din kaldt. Dette kan være en frustrerende opplevelse, men det er en utfordring som kan løses med en dypere forståelse av Azures JSON Web Key Set-krav (JWKS).

Denne artikkelen tar for seg et virkelighetsscenario der oppsettet er fullført, men Airflow avviser brukere på autorisasjonsstadiet. Vi vil fordype oss i potensielle årsaker til feilmeldingen «Ugyldig JSON-nettnøkkelsett» og gå gjennom feilsøkingstips for å sikre i et produksjonsmiljø.

Ved å løse disse vanlige problemene vil du være klar til å optimalisere sikkerhetsoppsettet for en jevn, autorisert tilgangsopplevelse. La oss dykke inn for å gjøre disse feilene til innsikt! 🔑

Kommando	Eksempel på bruk
azure.authorize(callback=url_for('authorized', _external=True))	Denne kommandoen starter OAuth-autorisasjonsprosessen, og omdirigerer brukere til Azures påloggingsside. Tilbakeringingsparameteren spesifiserer en funksjon for å håndtere autorisasjonssvaret når brukeren er autentisert.
jwks_uri	JSON Web Key Set (JWKS) URI er spesifisert for å hente offentlige nøkler som brukes av Azure for å validere autentisiteten til JWT-tokens. Denne innstillingen er avgjørende for å sikre sikker tokenverifisering.
get_oauth_user_info	Denne metoden overstyres for å analysere og trekke ut brukerinformasjon fra JWT-tokenet mottatt under autentisering. Den tilpasser måten brukerdetaljer håndteres etter autorisasjon, og kartlegger tokendataene til Airflow-brukeregenskaper.
authorize_url	Denne kommandoen definerer URL-endepunktet for brukerautorisasjon med Azure. Det er her OAuth-flyten begynner, og dirigerer brukere til et påloggingsgrensesnitt for å tillate app-tilgang.
access_token_url	Spesifiserer Azure-endepunktet som brukes til å utveksle en autorisasjonskode for et tilgangstoken, som gir tilgang til brukerens profil og andre tillatelser definert i omfanget.
session.get('azure_token')	Henter Azure OAuth-tokenet fra øktlagringen, og muliggjør tilgang til sikrede endepunkter ved å gi tilgangstokenet i API-forespørsler. Denne kommandoen sikrer at tokenet lagres og administreres sikkert i øktlagring.
client_kwargs	Inneholder flere klientkonfigurasjonsparametere for OAuth. Her brukes client_kwargs til å definere omfang som openid, e-post og profil for å kontrollere hvilken type data appen kan få tilgang til på vegne av brukeren.
super().get_oauth_user_info	Bruker Pythons super()-funksjon for å utvide standard OAuth-brukerinformasjonsmetode med tilpasset parsing. Denne tilnærmingen lar oss håndtere feil og feilsøke logger samtidig som vi opprettholder nedarvet funksjonalitet.
request_token_params	Definerer ekstra parametere for den første OAuth-forespørselen. I dette oppsettet spesifiserer det omfanget av tilgang forespurt fra brukeren, noe som hjelper til med å hente bare de nødvendige brukerdataene under autentisering.
window.location.href	Brukt i JavaScript-front-end-skriptet, omdirigerer denne kommandoen nettleseren dynamisk til OAuth-autorisasjons-URLen. Den konstruerer URL-en med brukerspesifikke spørringsparametere for å starte påloggingsflyten.

Forbedre OAuth-sikkerheten i luftstrøm med tilpassede skript

I denne løsningen tar vi for oss hvordan vi integrerer med for OAuth-basert autentisering og autorisasjon. Denne integrasjonen gir en sikker og sentralisert måte å administrere brukertilgang på, ideell for organisasjoner med komplekse sikkerhetskrav. Det første skriptet fungerer ved å sette opp den nødvendige OAuth-konfigurasjonen i Airflows backend, og definere viktige parametere som (JSON Web Key Set URI) for å tillate sikker verifisering av tokens autentisitet. Hensikten med "jwks_uri" er å hente offentlige nøkler fra Azure, som sikrer at JWT-er (JSON Web Tokens) mottatt fra Azure er legitime og umanipulerte. Dette er et avgjørende skritt, siden tokens uten riktig verifisering kan føre til uautorisert tilgang.

Skriptet bruker også parameterne "authorize_url" og "access_token_url", som definerer URL-endepunktene i Azure for henholdsvis å starte OAuth-flyten og utveksle autorisasjonskoder for tilgangstokener. Disse URL-ene er nøkkelen til å veilede brukere gjennom OAuth-prosessen, som begynner med en Azure-påloggingsside og returnerer dem til Airflow når de er autentisert. For eksempel vil en ansatt som logger på selskapets Airflow-dashbord bli omdirigert til Azure, hvor de skriver inn legitimasjonen sin. Ved vellykket pålogging sender Azure brukeren tilbake til Airflow-grensesnittet, og sender et tilgangstoken i bakgrunnen, som gir dem autorisert tilgang basert på deres Azure-rolle.

I tillegg utnytter den tilpassede sikkerhetsklassen i skriptet, `AzureCustomSecurity`, en overstyringsfunksjon, "get_oauth_user_info", som lar Airflow hente brukerspesifikk informasjon direkte fra JWT. Dette er spesielt nyttig ettersom det tilpasser hvilke data Airflow henter fra tokenet, inkludert brukernavn, e-post og grupperoller, som direkte korrelerer med rollene i Azure, for eksempel «Admin» eller «Viewer». For eksempel, hvis en bruker tilhører gruppen «airflow_nonprod_admin» i Azure, blir de tilordnet «Admin»-rollen i Airflow, og gir dem tilgang på administratornivå. Denne tilnærmingen eliminerer behovet for ytterligere rolleoppsett i Airflow, noe som gjør det til en skalerbar løsning for organisasjoner.

Til slutt initierer JavaScript-grensesnittskriptet OAuth-flyten ved å omdirigere brukere til den spesifiserte autorisasjons-URLen med de riktige søkeparametrene, inkludert klient-ID og omfang. Dette sikrer at bare brukere med spesifikke tillatelser (som å lese profiler og e-poster) kan fortsette med OAuth-flyten. Hvis autorisasjonen mislykkes, varsler skriptet brukeren med en vennlig feilmelding, noe som sikrer en jevn brukeropplevelse selv når problemer oppstår. Sammen skaper disse backend- og frontendkomponentene et sammenhengende og sikkert oppsett som både effektiviserer brukertilgang og styrker applikasjonen mot uautoriserte forsøk – et avgjørende tiltak for å beskytte sensitive organisasjonsdata. 🔒

# Import required modules and configure OAuth settings
import os
from flask import Flask, redirect, url_for, session
from flask_oauthlib.client import OAuth
# Define environment variables
tenant_id = os.getenv("AAD_TENANT_ID")
client_id = os.getenv("AAD_CLIENT_ID")
client_secret = os.getenv("AAD_CLIENT_SECRET")
app = Flask(__name__)
app.secret_key = 'supersecretkey'
oauth = OAuth(app)
# Define OAuth configuration with Flask-OAuthlib
azure = oauth.remote_app('azure',
    consumer_key=client_id,
    consumer_secret=client_secret,
    request_token_params={'scope': 'openid email profile'},
    base_url=f"https://login.microsoftonline.com/{tenant_id}",
    access_token_url=f"https://login.microsoftonline.com/{tenant_id}/oauth2/v2.0/token",
    authorize_url=f"https://login.microsoftonline.com/{tenant_id}/oauth2/v2.0/authorize"
)
@app.route('/login')
def login():
    return azure.authorize(callback=url_for('authorized', _external=True))
# OAuth authorization callback route
@app.route('/oauth-authorized/azure')
def authorized():
    response = azure.authorized_response()
    if response is None or response.get('access_token') is None:
        return 'Access Denied'
    # Handle successful authorization response
    session['azure_token'] = (response['access_token'], '')
    return redirect(url_for('home'))
@azure.tokengetter
def get_azure_oauth_token():
    return session.get('azure_token')
# Run the Flask app
if __name__ == '__main__':
    app.run()

import os
from airflow.www.fab_security.manager import AUTH_OAUTH
# Required Airflow and custom modules for handling Azure OAuth
from airflow.auth.managers.fab.security_manager.override import FabAirflowSecurityManagerOverride
from airflow.utils.log.logging_mixin import LoggingMixin
class AzureAuthConfig:
    AAD_TENANT_ID = os.getenv('AAD_TENANT_ID')
    AAD_CLIENT_ID = os.getenv('AAD_CLIENT_ID')
    AAD_CLIENT_SECRET = os.getenv('AAD_CLIENT_SECRET')
AUTH_TYPE = AUTH_OAUTH
OAUTH_PROVIDERS = [{
    'name': 'azure',
    'remote_app': {
        'client_id': AzureAuthConfig.AAD_CLIENT_ID,
        'client_secret': AzureAuthConfig.AAD_CLIENT_SECRET,
        'authorize_url': f"https://login.microsoftonline.com/{AzureAuthConfig.AAD_TENANT_ID}/oauth2/v2.0/authorize",
        'access_token_url': f"https://login.microsoftonline.com/{AzureAuthConfig.AAD_TENANT_ID}/oauth2/v2.0/token",
        'jwks_uri': 'https://login.microsoftonline.com/common/discovery/v2.0/keys',
        'redirect_uri': 'https://airflow.xyz.com/oauth-authorized/azure'
    }},
# Ensure authentication maps to the correct role group in Azure
AUTH_ROLES_MAPPING = {
    "airflow_nonprod_admin": ["Admin"],
    "airflow_nonprod_op": ["Op"],
    "airflow_nonprod_viewer": ["Viewer"],
}

// JavaScript function to handle authorization redirect
const authorizeUser = () => {
  const oauthUrl = 'https://login.microsoftonline.com/your-tenant-id/oauth2/v2.0/authorize';
  const params = {
    client_id: 'your-client-id',
    redirect_uri: 'https://airflow.xyz.com/oauth-authorized/azure',
    response_type: 'token',
    scope: 'openid email profile'
  };
  const queryString = new URLSearchParams(params).toString();
  window.location.href = \`\${oauthUrl}?\${queryString}\`;
};
// Handle OAuth errors in the frontend
const handleOAuthError = (error) => {
  if (error === 'access_denied') {
    alert('Access Denied. Please contact your admin.');
  } else {
    alert('An unexpected error occurred.');
  }
};
// Bind function to login button
document.getElementById('login-btn').addEventListener('click', authorizeUser);

Utforsker rollekartlegging og tillatelser for Azure Entra ID i Airflow

Ved konfigurering til bruk i en miljø, er det avgjørende å etablere klare rollekartlegginger for effektiv tilgangskontroll. Rolletilordning sikrer at brukere som logger på Airflow gjennom Azure Entra ID, blir tildelt tillatelser basert på Azure-rollene deres, noe som gir en sikker og håndterbar måte å kontrollere tilgangsnivåer på. For eksempel å tildele roller i Azure til grupper som eller airflow_nonprod_op hjelper til med å kartlegge hver rolle til spesifikke Airflow-tilgangsnivåer uten å duplisere tillatelser. Dette effektiviserer sikkerhetsadministrasjonen ved å la en administrator håndtere tilgangskonfigurasjoner i Azure direkte.

I dette oppsettet vil parameter brukes til å koble Azure-roller til Airflow-roller, og sikrer at brukerne arver passende tillatelser når de logger på. Hvis en bruker tilhører gruppe, vil de automatisk bli tildelt en "Viewer"-rolle i Airflow, og begrenser handlingene deres til å se arbeidsflyter og logger uten redigeringsrettigheter. Denne tilnærmingen er spesielt nyttig for organisasjoner med flere team og avdelinger, siden den muliggjør mer detaljert kontroll over brukertilgang uten å kreve kontinuerlige oppdateringer av individuelle tillatelser i Airflow.

Til slutt, ved å bruke Azure Entra IDs appregistreringsfunksjon, kan administratorer konfigurere SAML- og OAuth-innstillinger som stemmer overens med Airflows rollekrav. For eksempel, definering av enhets-ID og svar-URL-er sikrer at de riktige OAuth-tokenene utstedes ved brukerautentisering. Denne metoden forbedrer ikke bare sikkerheten, men optimaliserer også teamarbeidsflyten, og sørger for at kun autoriserte brukere aktivt endrer oppgaver i Airflow. Slike strategier er effektive i storskala distribusjoner der integrasjon av brukerroller med appsikkerhetspolicyer er avgjørende for å forhindre uautorisert tilgang. 🔐

1. Hva er hensikten med parameter i luftmengde?
2. De parameter kobler Azure-roller til Airflow-roller, og aktiverer automatiserte rolletilordninger basert på gruppemedlemskap i Azure. Dette forenkler tilgangskontrollen ved å tildele passende tillatelser til brukere som logger på via Azure Entra ID.
3. Hvordan fungerer fungerer i OAuth-oppsettet?
4. De definerer URIen der Azures offentlige nøkler kan hentes for JWT-tokenverifisering. Dette trinnet er avgjørende for å validere tokens autentisitet, og forhindre uautorisert tilgang.
5. Hvorfor settes i OAuth-leverandører viktig?
6. De forteller Azure hvor brukerne skal sendes etter vellykket autentisering. Dette er ofte satt til Airflow-endepunktet som håndterer OAuth-svar, noe som tillater jevn integrasjon mellom Azure og Airflow.
7. Kan flere roller tildeles en enkelt Azure Entra ID-gruppe?
8. Ja, flere roller kan tilordnes til en enkelt Azure-gruppe, noe som gir fleksibilitet ved tildeling av tillatelser. For eksempel kan både "Administrator" og "Seer"-roller knyttes til en gruppe for overlappende tillatelser.
9. Hva er den beste måten å feilsøke "Ugyldig JSON Web Key Set"-feil?
10. Sørg for at er riktig konfigurert og tilgjengelig. Feil oppstår ofte hvis endepunktet ikke er tilgjengelig eller hvis Azure Entra ID-nøkler er feil bufret i Airflow.
11. Hvordan fungerer omfang øke sikkerheten?
12. De omfanget begrenser dataene Airflow kan få tilgang til fra en brukerprofil, og håndhever begrenset tilgang til sensitiv informasjon, som er nøkkelen for samsvar i bedriftsinnstillinger.
13. Aktiverer forbedre sikkerheten?
14. Ja, gir Cross-Site Request Forgery-beskyttelse for Airflow, og forhindrer uautoriserte forespørsler. Dette flagget anbefales sterkt i produksjonsmiljøer for ekstra sikkerhet.
15. Hvordan kan jeg håndtere en avvist påloggingsforespørsel?
16. Gjennomgå brukerroller i Azure for å bekrefte at de er riktig tildelt. Bekreft i tillegg og gruppetilordning er korrekte, da disse innstillingene påvirker autentiseringssuksessen.
17. Kan jeg bruke en annen OAuth-leverandør enn Azure?
18. Ja, Airflow støtter andre OAuth-leverandører som Google eller Okta ved å justere de leverandørspesifikke parameterne i . Hver leverandør kan ha unike URL-er og konfigurasjonskrav.

Å integrere Azure Entra ID med Airflow kan strømlinjeforme autentisering på tvers av organisasjoner. Ved å nøye konfigurere OAuth-parametere som og tilgang til token-URLer, etablerer du sikre tilkoblinger som minimerer risikoen for uautorisert tilgang. Dette sikkerhetsnivået er avgjørende for enhver datadrevet organisasjon.

Rolletilordninger i Azure gir mulighet for en skalerbar, rollebasert tilgangsstrategi i Airflow. Med disse tilordningene blir det mer effektivt å administrere brukere og tildele tillatelser, spesielt i større team. En klar forståelse av disse konfigurasjonene kan gjøre autorisasjonsoppsettet ditt mer motstandsdyktig mot fremtidige sikkerhetsbehov. 🔒