Correzione dell'errore di scraping Web del selenio "Impossibile leggere le proprietà di Null (lettura di"shadowRoot")

Comprensione e correzione degli errori JavaScript comuni in Selenium

Quando si raschia il web con Selenio WebDriver, riscontrare errori relativi a JavaScript non è raro, soprattutto quando si ha a che fare con elementi web dinamici come DOM ombra. Un errore frequente che gli sviluppatori devono affrontare è il file JavascriptException: impossibile leggere le proprietà di null (lettura 'shadowRoot'), che si verifica spesso quando si interagisce con elementi complessi della pagina.

Questo errore si verifica in genere quando Selenium non è in grado di accedere o interagire con gli elementi all'interno di a DOM ombra, un tipo unico di struttura DOM incapsulata utilizzata da molti siti Web moderni per una migliore modularità. In Python, usare Selenium per controllare il browser può essere complicato con tali elementi.

Nel contesto del web scraping da piattaforme come Shopee, i popup o i banner spesso utilizzano shadow DOM, che potrebbero essere difficili da chiudere a livello di codice. Questo problema può ostacolare il flusso regolare delle attività automatizzate e interrompere la raccolta dei dati.

Questa guida ti guiderà attraverso una soluzione chiara per affrontare il problema "Impossibile leggere le proprietà di Null" errore e fornire un approccio pratico per chiudere i popup incorporati nei DOM shadow in Shopee utilizzando Selenio pitone.

Come gestire Shadow DOM e popup in Selenium Web Scraping

Gli script forniti sopra mirano a risolvere un problema comune riscontrato nel web scraping Selenio WebDriver quando si interagisce con gli elementi shadow DOM. Uno shadow DOM è una parte di una pagina web che opera separatamente dal DOM principale, spesso utilizzata in componenti web complessi. Nel contesto di siti di scraping come Shopee, i popup appaiono spesso all'interno dei DOM shadow, il che può portare a errori se si accede con i tradizionali metodi Selenium. Il primo script è progettato per chiudere il popup utilizzando l'esecuzione di JavaScript esegui_script(), un potente strumento che consente a Selenium di eseguire JavaScript non elaborato nel contesto del browser.

La sfida principale è che gli elementi all'interno di un DOM ombra non sono accessibili con comandi Selenium comuni come find_element_by_xpath(). Utilizziamo invece JavaScript per attraversare lo shadow DOM utilizzando il file shadowRoot proprietà. Lo script prende di mira il pulsante di chiusura del popup Shopee accedendo prima al suo elemento host shadow e quindi interrogando la sua struttura interna. Utilizzando driver.execute_script(), lo script è in grado di manipolare e chiudere elementi all'interno di questo DOM isolato. Questa soluzione funziona bene se combinata con attese esplicite per gestire gli elementi dinamici della pagina caricati in modo asincrono.

Il secondo script introduce WebDriverAspetta, uno strumento essenziale per gestire la tempistica degli elementi dinamici della pagina. Poiché i popup di Shopee vengono caricati in modo asincrono, l'interazione diretta con questi elementi può causare errori. Per evitare questo, WebDriverAspetta() garantisce che gli elementi con cui desideriamo interagire siano completamente caricati e pronti. Questo script attende la presenza sia dell'elemento DOM principale che degli elementi DOM ombra. Il metodo EC.presence_of_element_located() assicura che il selenio interagisca con gli elementi solo dopo che sono visibili e presenti, il che è fondamentale per evitare errori di riferimento nullo.

In entrambi gli script, gestiamo le situazioni di errore con a provare-tranne blocca per garantire che il programma non si blocchi a causa di errori imprevisti, come il mancato rilevamento di elementi. La gestione degli errori è particolarmente importante quando si esegue lo scraping di siti Web che aggiornano frequentemente la propria struttura o modificano il comportamento dei popup. Inoltre, questi script seguono le migliori pratiche terminando la sessione del browser utilizzando driver.esci() dopo l'esecuzione per evitare perdite di memoria o problemi di prestazioni.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

Gestione di contenuti dinamici con Selenium WebDriver

Un altro aspetto chiave da considerare quando si lavora con Selenium WebDriver per il web scraping è come gestirlo contenuto dinamico che si aggiorna o cambia continuamente dopo il caricamento della pagina. Molti siti Web moderni, come Shopee, utilizzano JavaScript per caricare e aggiornare i contenuti in modo dinamico. Ciò significa che gli elementi sulla pagina potrebbero non essere immediatamente disponibili dopo il caricamento della pagina. In questi casi, il comportamento predefinito di Selenium di attendere l’evento di caricamento della pagina potrebbe non essere sufficiente. Utilizzando attese esplicite like WebDriverAspetta può risolvere questo problema aspettando che elementi specifici appaiano o diventino selezionabili.

Per raschiare siti con popup, banner o componenti dell'interfaccia utente complessi su cui si basano DOM ombra, è fondamentale sapere come interagire con loro. Questi componenti nascondono elementi all'interno di una struttura DOM isolata a cui non è possibile accedere con metodi tradizionali come XPath o selettori CSS. Utilizzando il esegui_script() Il comando aiuta a colmare questa lacuna consentendoti di eseguire JavaScript direttamente all'interno del browser, dandoti accesso allo shadow DOM e consentendo interazioni con elementi come pulsanti di chiusura o campi modulo all'interno di quelle parti nascoste della pagina.

Inoltre, la gestione degli errori diventa cruciale in questi casi. I siti web possono spesso cambiare la loro struttura, causando la rottura dei raschiatori. Uso corretto di provare-tranne I blocchi in Python ti consentono di rilevare errori come JavascriptException e gestirli con grazia, assicurandoti che il raschietto non si schianti inaspettatamente. Incorporare la registrazione per acquisire i dettagli dell'errore può aiutare a identificare la causa principale e risolverla in futuro.