Riešenie problémov s autorizáciou v Airflow pomocou Azure Entra ID Integration

Prekonanie výziev OAuth pomocou Azure Entra ID a Airflow

Konfigurácia autentifikácie pre podnikové aplikácie môže byť často zložitý proces, najmä pri práci s pokročilými platformami, ako sú a . 🎛️ V dnešných cloudových prostrediach takéto integrácie ponúkajú bezpečnú, centralizovanú správu používateľov, ale môžu priniesť časť technických prekážok, najmä s autorizáciou na základe OAuth.

Predstavte si, že ste všetko precízne nastavili – od klientov OAuth až po roly v Azure – a počiatočná autentifikácia funguje bez problémov. Avšak práve vtedy, keď si myslíte, že ste pripravení začať žiť, an sa objaví, čo zastaví váš postup. Môže to byť frustrujúca skúsenosť, ale je to výzva, ktorú možno vyriešiť hlbším pochopením požiadaviek JSON Web Key Set (JWKS) spoločnosti Azure.

Tento článok sa zaoberá skutočným scenárom, keď je nastavenie dokončené, ale Airflow odmieta používateľov vo fáze autorizácie. Ponoríme sa do možných príčin chybového hlásenia „Neplatná sada webových kľúčov JSON“ a prejdeme si tipy na riešenie problémov, aby sme v produkčnom prostredí.

Vyriešením týchto bežných problémov budete pripravení optimalizovať nastavenie zabezpečenia pre bezproblémový a autorizovaný prístup. Poďme sa ponoriť a premeniť tieto chyby na poznatky! 🔑

Príkaz	Príklad použitia
azure.authorize(callback=url_for('authorized', _external=True))	Tento príkaz spustí proces autorizácie OAuth a presmeruje používateľov na prihlasovaciu stránku Azure. Parameter spätného volania určuje funkciu na spracovanie autorizačnej odpovede po autentifikácii užívateľa.
jwks_uri	Identifikátor URI JSON Web Key Set (JWKS) je určený na získanie verejných kľúčov, ktoré používa Azure na overenie pravosti tokenov JWT. Toto nastavenie je dôležité na zabezpečenie bezpečného overenia tokenu.
get_oauth_user_info	Táto metóda je prepísaná, aby sa analyzovali a extrahovali informácie o používateľovi z tokenu JWT prijatého počas overovania. Prispôsobuje spôsob, akým sa po autorizácii spracúvajú údaje o používateľovi, pričom údaje tokenu mapuje na vlastnosti používateľa Airflow.
authorize_url	Tento príkaz definuje koncový bod adresy URL na autorizáciu používateľa pomocou Azure. Tu sa začína tok OAuth, ktorý používateľov nasmeruje na prihlasovacie rozhranie, aby umožnil prístup aplikácii.
access_token_url	Určuje koncový bod Azure, ktorý sa používa na výmenu autorizačného kódu za prístupový token, ktorý udeľuje prístup k profilu používateľa a ďalšie povolenia definované v rozsahu.
session.get('azure_token')	Načíta token Azure OAuth z úložiska relácie, čím umožní prístup k zabezpečeným koncovým bodom poskytnutím prístupového tokenu v žiadostiach API. Tento príkaz zaisťuje, že token je uložený a bezpečne spravovaný v úložisku relácie.
client_kwargs	Obsahuje ďalšie konfiguračné parametre klienta pre protokol OAuth. Klient_kwargs sa tu používa na definovanie rozsahov, ako je openid, e-mail a profil, aby sa ovládal typ údajov, ku ktorým môže aplikácia pristupovať v mene používateľa.
super().get_oauth_user_info	Používa funkciu super() Pythonu na rozšírenie predvolenej metódy používateľských informácií OAuth o vlastnú analýzu. Tento prístup nám umožňuje spracovávať chyby a ladiť protokoly pri zachovaní zdedenej funkčnosti.
request_token_params	Definuje dodatočné parametre pre úvodnú požiadavku OAuth. V tomto nastavení určuje rozsah prístupu požadovaného od používateľa, čo pomáha pri získavaní iba požadovaných údajov používateľa počas autentifikácie.
window.location.href	Tento príkaz, ktorý sa používa v klientskom skripte JavaScript, dynamicky presmeruje prehliadač na autorizačnú adresu URL OAuth. Vytvorí adresu URL s parametrami dopytu špecifickými pre používateľa na spustenie toku prihlásenia.

Vylepšenie zabezpečenia OAuth v prúdení vzduchu pomocou vlastných skriptov

V tomto riešení riešime, ako sa integrovať s pre autentifikáciu a autorizáciu založenú na protokole OAuth. Táto integrácia poskytuje bezpečný a centralizovaný spôsob správy prístupu používateľov, ideálny pre organizácie s komplexnými bezpečnostnými požiadavkami. Počiatočný skript funguje tak, že v backende Airflow nastaví potrebnú konfiguráciu OAuth a definuje dôležité parametre, ako napr. (URI sady webových kľúčov JSON), aby sa umožnilo bezpečné overenie pravosti tokenu. Účelom „jwks_uri“ je získať verejné kľúče z Azure, čo zaisťuje, že JWT (JSON Web Tokeny) prijaté z Azure sú legitímne a nerušené. Ide o zásadný krok, pretože tokeny bez riadneho overenia môžu viesť k neoprávnenému prístupu.

Skript tiež využíva parametre „authorize_url“ a „access_token_url“, ktoré definujú koncové body URL v Azure na spustenie toku OAuth a výmenu autorizačných kódov za prístupové tokeny. Tieto adresy URL sú kľúčom k prevedeniu používateľov procesom OAuth, počnúc prihlasovacou stránkou Azure a ich vrátením do Airflow po overení. Napríklad zamestnanec, ktorý sa prihlási na firemný panel Airflow, bude presmerovaný do Azure, kde zadá svoje poverenia. Po úspešnom prihlásení Azure pošle používateľa späť do rozhrania Airflow, pričom mu na pozadí odovzdá prístupový token, ktorý mu umožní autorizovaný prístup na základe jeho role v Azure.

Vlastná trieda zabezpečenia v skripte „AzureCustomSecurity“ navyše využíva funkciu prepísania „get_oauth_user_info“, ktorá umožňuje Airflow získavať informácie špecifické pre používateľa priamo z JWT. To je obzvlášť užitočné, pretože prispôsobuje, aké údaje Airflow získava z tokenu, vrátane používateľského mena, e-mailu a skupinových rolí, ktoré priamo korelujú s rolami v Azure, ako napríklad „Správca“ alebo „Zobrazovač“. Napríklad, ak používateľ patrí do skupiny „airflow_nonprod_admin“ v Azure, je namapovaný na rolu „správca“ v Airflow, čo mu dáva prístup na úrovni správcu. Tento prístup eliminuje potrebu dodatočného nastavenia rolí v rámci Airflow, čo z neho robí škálovateľné riešenie pre organizácie.

Nakoniec klientsky skript JavaScript iniciuje tok OAuth presmerovaním používateľov na zadanú autorizačnú adresu URL s príslušnými parametrami dopytu vrátane ID klienta a rozsahu. To zaisťuje, že iba používatelia so špecifickými povoleniami (napríklad čítanie profilov a e-mailov) môžu pokračovať v toku OAuth. Ak autorizácia zlyhá, skript upozorní používateľa priateľským chybovým hlásením, čím zaistí bezproblémovú používateľskú skúsenosť, aj keď sa vyskytnú problémy. Tieto komponenty backendu a frontendu spolu vytvárajú súdržné a bezpečné nastavenie, ktoré zefektívňuje prístup používateľov a chráni aplikáciu pred neoprávnenými pokusmi – čo je kľúčové opatrenie na ochranu citlivých organizačných údajov. 🔒

# Import required modules and configure OAuth settings
import os
from flask import Flask, redirect, url_for, session
from flask_oauthlib.client import OAuth
# Define environment variables
tenant_id = os.getenv("AAD_TENANT_ID")
client_id = os.getenv("AAD_CLIENT_ID")
client_secret = os.getenv("AAD_CLIENT_SECRET")
app = Flask(__name__)
app.secret_key = 'supersecretkey'
oauth = OAuth(app)
# Define OAuth configuration with Flask-OAuthlib
azure = oauth.remote_app('azure',
    consumer_key=client_id,
    consumer_secret=client_secret,
    request_token_params={'scope': 'openid email profile'},
    base_url=f"https://login.microsoftonline.com/{tenant_id}",
    access_token_url=f"https://login.microsoftonline.com/{tenant_id}/oauth2/v2.0/token",
    authorize_url=f"https://login.microsoftonline.com/{tenant_id}/oauth2/v2.0/authorize"
)
@app.route('/login')
def login():
    return azure.authorize(callback=url_for('authorized', _external=True))
# OAuth authorization callback route
@app.route('/oauth-authorized/azure')
def authorized():
    response = azure.authorized_response()
    if response is None or response.get('access_token') is None:
        return 'Access Denied'
    # Handle successful authorization response
    session['azure_token'] = (response['access_token'], '')
    return redirect(url_for('home'))
@azure.tokengetter
def get_azure_oauth_token():
    return session.get('azure_token')
# Run the Flask app
if __name__ == '__main__':
    app.run()

import os
from airflow.www.fab_security.manager import AUTH_OAUTH
# Required Airflow and custom modules for handling Azure OAuth
from airflow.auth.managers.fab.security_manager.override import FabAirflowSecurityManagerOverride
from airflow.utils.log.logging_mixin import LoggingMixin
class AzureAuthConfig:
    AAD_TENANT_ID = os.getenv('AAD_TENANT_ID')
    AAD_CLIENT_ID = os.getenv('AAD_CLIENT_ID')
    AAD_CLIENT_SECRET = os.getenv('AAD_CLIENT_SECRET')
AUTH_TYPE = AUTH_OAUTH
OAUTH_PROVIDERS = [{
    'name': 'azure',
    'remote_app': {
        'client_id': AzureAuthConfig.AAD_CLIENT_ID,
        'client_secret': AzureAuthConfig.AAD_CLIENT_SECRET,
        'authorize_url': f"https://login.microsoftonline.com/{AzureAuthConfig.AAD_TENANT_ID}/oauth2/v2.0/authorize",
        'access_token_url': f"https://login.microsoftonline.com/{AzureAuthConfig.AAD_TENANT_ID}/oauth2/v2.0/token",
        'jwks_uri': 'https://login.microsoftonline.com/common/discovery/v2.0/keys',
        'redirect_uri': 'https://airflow.xyz.com/oauth-authorized/azure'
    }},
# Ensure authentication maps to the correct role group in Azure
AUTH_ROLES_MAPPING = {
    "airflow_nonprod_admin": ["Admin"],
    "airflow_nonprod_op": ["Op"],
    "airflow_nonprod_viewer": ["Viewer"],
}

// JavaScript function to handle authorization redirect
const authorizeUser = () => {
  const oauthUrl = 'https://login.microsoftonline.com/your-tenant-id/oauth2/v2.0/authorize';
  const params = {
    client_id: 'your-client-id',
    redirect_uri: 'https://airflow.xyz.com/oauth-authorized/azure',
    response_type: 'token',
    scope: 'openid email profile'
  };
  const queryString = new URLSearchParams(params).toString();
  window.location.href = \`\${oauthUrl}?\${queryString}\`;
};
// Handle OAuth errors in the frontend
const handleOAuthError = (error) => {
  if (error === 'access_denied') {
    alert('Access Denied. Please contact your admin.');
  } else {
    alert('An unexpected error occurred.');
  }
};
// Bind function to login button
document.getElementById('login-btn').addEventListener('click', authorizeUser);

Preskúmanie mapovania rolí a povolení pre Azure Entra ID v Airflow

Pri konfigurácii na použitie v an Pre efektívnu kontrolu prístupu je nevyhnutné vytvoriť jasné mapovanie rolí. Mapovanie rolí zaisťuje, že používateľom, ktorí sa prihlasujú do Airflow cez Azure Entra ID, sú priradené povolenia na základe ich rolí v Azure, čo poskytuje bezpečný a spravovateľný spôsob kontroly úrovní prístupu. Napríklad prideľovanie rolí v Azure skupinám ako alebo airflow_nonprod_op pomáha mapovať každú rolu na konkrétne úrovne prístupu Airflow bez duplikovania povolení. To zjednodušuje správu zabezpečenia tým, že umožňuje správcovi priamo spracovávať konfigurácie prístupu v Azure.

V tomto nastavení je Parameter sa používa na prepojenie rolí Azure s rolami Airflow, čím sa zabezpečí, že používatelia zdedia pri prihlasovaní príslušné povolenia. Ak používateľ patrí do skupine, bude im automaticky priradená rola „Zobrazovateľ“ v Airflow, čím sa ich akcie obmedzia na prezeranie pracovných postupov a protokolov bez práv na úpravu. Tento prístup je užitočný najmä pre organizácie s viacerými tímami a oddeleniami, pretože umožňuje podrobnejšiu kontrolu nad prístupom používateľov bez toho, aby bolo potrebné neustále aktualizovať jednotlivé povolenia v rámci Airflow.

Nakoniec pomocou funkcie registrácie aplikácií Azure Entra ID môžu správcovia nakonfigurovať nastavenia SAML a OAuth, ktoré sú v súlade s požiadavkami roly Airflow. Napríklad definovanie ID entity a adresy URL odpovede zaisťuje, že pri overení používateľa sa vydajú správne tokeny OAuth. Táto metóda nielen zvyšuje bezpečnosť, ale tiež optimalizuje tímové pracovné toky, pričom zaisťuje, že úlohy v rámci Airflow aktívne upravujú iba oprávnení používatelia. Takéto stratégie sú účinné vo veľkých nasadeniach, kde je integrácia používateľských rolí s bezpečnostnými politikami aplikácií nevyhnutná na zabránenie neoprávnenému prístupu. 🔐

1. Aký je účel parameter v Airflow?
2. The Parameter spája roly Azure s rolami Airflow, čím umožňuje automatické priraďovanie rolí na základe členstva v skupine v Azure. To zjednodušuje riadenie prístupu priradením vhodných povolení používateľom prihlasujúcim sa cez Azure Entra ID.
3. Ako sa pracovať v nastavení OAuth?
4. The definuje URI, kde možno získať verejné kľúče Azure na overenie tokenov JWT. Tento krok je rozhodujúci pre overenie pravosti tokenov, čím sa zabráni neoprávnenému prístupu.
5. Prečo sa nastavuje v OAuth poskytovateľov dôležité?
6. The informuje Azure, kam má poslať používateľov po úspešnej autentifikácii. Toto je často nastavené na koncový bod Airflow spracovávajúci odpovede OAuth, čo umožňuje hladkú integráciu medzi Azure a Airflow.
7. Je možné priradiť viacero rolí k jednej skupine Azure Entra ID?
8. Áno, do jednej skupiny Azure je možné namapovať viacero rolí, čo umožňuje flexibilitu pri prideľovaní povolení. Napríklad roly „správca“ aj „divák“ môžu byť spojené so skupinou pre prekrývajúce sa povolenia.
9. Aký je najlepší spôsob riešenia chýb „Neplatná sada webových kľúčov JSON“?
10. Zabezpečte je správne nakonfigurovaný a prístupný. Chyby sa často vyskytujú, ak je koncový bod nedostupný alebo ak sú kľúče Azure Entra ID nesprávne uložené vo vyrovnávacej pamäti v Airflow.
11. Ako sa rozsah zvýšiť bezpečnosť?
12. The rozsah obmedzuje údaje, ku ktorým môže Airflow pristupovať z používateľského profilu, čím sa vynucuje obmedzený prístup k citlivým informáciám, čo je kľúčové pre dodržiavanie pravidiel v podnikových nastaveniach.
13. Umožňuje zlepšiť bezpečnosť?
14. áno, poskytuje ochranu proti falšovaniu požiadaviek medzi stránkami pre Airflow, čím zabraňuje neoprávneným požiadavkám. Tento príznak sa dôrazne odporúča v produkčnom prostredí pre zvýšenie bezpečnosti.
15. Ako môžem spracovať žiadosť o odmietnutie prihlásenia?
16. Skontrolujte roly používateľov v Azure, aby ste sa uistili, že sú správne priradené. Okrem toho overte a skupinové mapovanie sú správne, pretože tieto nastavenia ovplyvňujú úspech autentifikácie.
17. Môžem použiť iného poskytovateľa OAuth ako Azure?
18. Áno, Airflow podporuje iných poskytovateľov OAuth ako Google alebo Okta úpravou parametrov špecifických pre daného poskytovateľa . Každý poskytovateľ môže mať jedinečné adresy URL a požiadavky na konfiguráciu.

Integrácia Azure Entra ID s Airflow môže zefektívniť autentifikáciu naprieč organizáciami. Starostlivou konfiguráciou parametrov OAuth, ako je napr a prístupové adresy URL tokenov, vytvárate zabezpečené pripojenia, ktoré minimalizujú riziko neoprávneného prístupu. Táto úroveň zabezpečenia je nevyhnutná pre každú organizáciu založenú na údajoch.

Mapovania rolí v Azure umožňujú škálovateľnú prístupovú stratégiu založenú na rolách v Airflow. S týmito mapovaniami sa správa používateľov a prideľovanie povolení stáva efektívnejšou, najmä vo väčších tímoch. Jasné pochopenie týchto konfigurácií môže spôsobiť, že vaše nastavenie autorizácie bude odolnejšie voči budúcim bezpečnostným potrebám. 🔒