S'estan solucionant l'error de raspat web de selenium "No es poden llegir les propietats de Null (lectura'shadowRoot")

Comprensió i correcció d'errors habituals de JavaScript a Selenium

Quan es raspa web amb Selenium WebDriver, trobar errors relacionats amb JavaScript no és estrany, especialment quan es tracta d'elements web dinàmics com ara DOM a l'ombra. Un error freqüent al qual s'enfronten els desenvolupadors és el JavascriptException: no es poden llegir les propietats de null (llegint 'shadowRoot'), que sovint es produeix quan s'interacciona amb elements complexos de la pàgina.

Aquest error es produeix normalment quan Selenium no pot accedir o interactuar amb els elements dins d'un ombra DOM, un tipus únic d'estructura DOM encapsulada utilitzat per molts llocs web moderns per a una millor modularitat. A Python, utilitzar Selenium per controlar el navegador pot ser complicat amb aquests elements.

En el context del raspat web de plataformes com Shopee, les finestres emergents o els bàners sovint utilitzen DOM a l'ombra, que pot ser difícil de tancar programàticament. Aquest problema pot dificultar el bon flux de tasques automatitzades i interrompre la recollida de dades.

Aquesta guia us guiarà per una solució clara per abordar el problema "No es poden llegir les propietats de Null" error i proporcioneu un enfocament pràctic per tancar les finestres emergents incrustades dins dels DOM d'ombra a Shopee Python Selenium.

Com gestionar Shadow DOM i les finestres emergents a Selenium Web Scraping

Els scripts proporcionats anteriorment tenen com a objectiu abordar un problema comú que es troba amb el raspat web Selenium WebDriver quan interactueu amb elements DOM d'ombra. Un DOM ombra és una part d'una pàgina web que funciona per separat del DOM principal, que s'utilitza sovint en components web complexos. En el context del raspat de llocs com Shopee, sovint apareixen finestres emergents dins dels DOM d'ombra, cosa que pot provocar errors si s'accedeix amb els mètodes tradicionals de Selenium. El primer script està dissenyat per tancar la finestra emergent mitjançant l'execució de JavaScript execute_script(), una eina potent que permet a Selenium executar JavaScript en brut dins del context del navegador.

El repte clau és que els elements dins d'un DOM ombra no són accessibles amb ordres comunes de Selenium com find_element_by_xpath(). En comptes d'això, utilitzem JavaScript per travessar el DOM a l'ombra mitjançant el shadowRoot propietat. L'script s'adreça al botó de tancament de la finestra emergent de Shopee accedint primer al seu element d'amfitrió ombra i després consultant la seva estructura interna. Mitjançant l'ús driver.execute_script(), l'script és capaç de manipular i tancar elements dins d'aquest DOM aïllat. Aquesta solució funciona bé quan es combina amb esperes explícites per gestionar els elements dinàmics de la pàgina que es carreguen de manera asíncrona.

El segon guió presenta WebDriverWait, una eina essencial per gestionar el temps dels elements dinàmics de la pàgina. Com que les finestres emergents de Shopee es carreguen de manera asíncrona, la interacció directa amb aquests elements pot provocar errors. Per evitar-ho, WebDriverWait() assegura que els elements amb els quals volem interactuar estiguin completament carregats i preparats. Aquest script espera la presència tant de l'element DOM principal com dels elements DOM ombra. El mètode EC.presence_of_element_located() assegura que Selenium interactua amb els elements només després que siguin visibles i presents, cosa que és crucial per evitar errors de referència nul·la.

En ambdós scripts, gestionem situacions d'error amb a prova-excepte bloquejar per assegurar-se que el programa no es bloqueja a causa d'errors inesperats, com ara que no es troben elements. El maneig d'errors és especialment important quan s'esborren llocs web que actualitzen sovint la seva estructura o canvien el comportament de les finestres emergents. A més, aquests scripts segueixen les millors pràctiques en finalitzar la sessió del navegador utilitzant driver.quit() després de l'execució per evitar fuites de memòria o problemes de rendiment.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

Gestió de contingut dinàmic amb Selenium WebDriver

Un altre aspecte clau a tenir en compte quan es treballa amb Selenium WebDriver per al raspat web és com gestionar-lo contingut dinàmic que s'actualitza o canvia contínuament després de la càrrega de la pàgina. Molts llocs web moderns, com Shopee, utilitzen JavaScript per carregar i actualitzar contingut de manera dinàmica. Això vol dir que és possible que els elements de la pàgina no estiguin disponibles immediatament després de la càrrega de la pàgina. En aquests casos, el comportament predeterminat de Selenium d'esperar l'esdeveniment de càrrega de la pàgina pot no ser suficient. Utilitzant esperes explícites com WebDriverWait pot resoldre aquest problema esperant que apareguin elements específics o es puguin fer clic.

Per esborrar llocs amb finestres emergents, bàners o components complexos d'interfície d'usuari que depenen DOM a l'ombra, és fonamental saber com interactuar amb ells. Aquests components amaguen elements dins d'una estructura DOM aïllada a la qual no es pot accedir mitjançant mètodes tradicionals com els selectors XPath o CSS. Utilitzant el execute_script() L'ordre ajuda a superar aquesta bretxa permetent-vos executar JavaScript directament al navegador, donant-vos accés al DOM ombra i permetent interaccions amb elements com ara botons de tancament o camps de formulari dins d'aquestes parts ocultes de la pàgina.

A més, la gestió d'errors esdevé crucial en aquests casos. Els llocs web sovint poden canviar la seva estructura, donant lloc a raspadors trencats. Ús adequat de prova-excepte blocs a Python us permet detectar errors com ara JavascriptException i manegeu-los amb gràcia, assegurant-vos que el rascador no s'estavella de manera inesperada. La incorporació del registre per capturar els detalls de l'error pot ajudar a identificar la causa arrel i resoldre'l en futurs rascades.