Remedierea erorii de scraping Web Selenium „Nu se pot citi proprietățile nul (Reading”shadowRoot”)

Înțelegerea și remedierea erorilor JavaScript comune în Selenium

Când web scraping cu Selenium WebDriver, întâlnirea erorilor legate de JavaScript nu este neobișnuită, mai ales atunci când aveți de-a face cu elemente web dinamice precum DOM-uri în umbră. O eroare frecventă cu care se confruntă dezvoltatorii este JavascriptException: Nu se pot citi proprietățile lui null (se citește „shadowRoot”), care apare adesea atunci când interacționați cu elemente complexe ale paginii.

Această eroare apare de obicei atunci când Selenium nu poate accesa sau interacționa cu elementele din interiorul unui umbra DOM, un tip unic de structură DOM încapsulată utilizat de multe site-uri web moderne pentru o mai bună modularitate. În Python, utilizarea Selenium pentru a controla browserul poate fi dificilă cu astfel de elemente.

În contextul web scraping de pe platforme precum Shopee, ferestrele pop-up sau bannere folosesc adesea DOM-uri umbră, care pot fi dificil de închis programatic. Această problemă poate împiedica fluxul bun al sarcinilor automate și poate perturba colectarea datelor.

Acest ghid vă va ghida printr-o soluție clară pentru a aborda problema „Nu se pot citi proprietățile lui Null” eroare și oferă o abordare practică pentru a închide ferestrele pop-up încorporate în DOM-uri umbră în Shopee folosind Python Selenium.

Cum să gestionați Shadow DOM și ferestrele pop-up în Selenium Web Scraping

Scripturile furnizate mai sus urmăresc să abordeze o problemă comună întâlnită în web scraping Selenium WebDriver atunci când interacționați cu elementele umbră DOM. Un DOM umbră este o parte a unei pagini web care funcționează separat de DOM-ul principal, adesea folosit în componente web complexe. În contextul site-urilor de scraping precum Shopee, ferestre pop-up apar frecvent în interiorul DOM-urilor umbră, ceea ce poate duce la erori dacă este accesat cu metodele tradiționale Selenium. Primul script este conceput pentru a închide fereastra pop-up folosind execuția JavaScript execute_script(), un instrument puternic care permite Selenium să ruleze JavaScript brut în contextul browserului.

Provocarea cheie este că elementele din interiorul unui DOM umbră nu sunt accesibile cu comenzile comune ale Selenium, cum ar fi find_element_by_xpath(). În schimb, folosim JavaScript pentru a trece în DOM-ul umbră folosind shadowRoot proprietate. Scriptul vizează butonul de închidere al pop-up-ului Shopee, accesând mai întâi elementul gazdă umbră, apoi interogând structura sa internă. Prin utilizarea driver.execute_script(), scriptul este capabil să manipuleze și să închidă elemente din interiorul acestui DOM izolat. Această soluție funcționează bine atunci când este combinată cu așteptări explicite pentru a gestiona elementele dinamice ale paginii care se încarcă asincron.

Al doilea scenariu introduce WebDriverWait, un instrument esențial pentru gestionarea timpului elementelor dinamice ale paginii. Deoarece ferestrele pop-up Shopee se încarcă asincron, interacțiunea directă cu aceste elemente poate provoca erori. Pentru a evita acest lucru, WebDriverWait() se asigură că elementele cu care dorim să interacționăm sunt complet încărcate și gata. Acest script așteaptă prezența atât a elementului DOM principal, cât și a elementelor DOM umbră. Metoda EC.presence_of_element_located() asigură că seleniul interacționează cu elementele numai după ce acestea sunt vizibile și prezente, ceea ce este crucial pentru evitarea erorilor de referință nulă.

În ambele scripturi, gestionăm situațiile de eroare cu a încercați-cu excepția blocați pentru a vă asigura că programul nu se blochează din cauza unor erori neașteptate, cum ar fi negăsirea elementelor. Gestionarea erorilor este deosebit de importantă atunci când se elimină site-uri web care își actualizează frecvent structura sau schimbă comportamentul pop-up-urilor. În plus, aceste scripturi urmează cele mai bune practici prin încheierea sesiunii de browser folosind driver.quit() după execuție pentru a evita scurgerile de memorie sau problemele de performanță.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

Gestionarea conținutului dinamic cu Selenium WebDriver

Un alt aspect cheie de luat în considerare atunci când lucrați cu Selenium WebDriver pentru web scraping este modul de manipulare continut dinamic care se actualizează sau se modifică continuu după încărcarea paginii. Multe site-uri web moderne, cum ar fi Shopee, folosesc JavaScript pentru a încărca și actualiza conținutul în mod dinamic. Aceasta înseamnă că elementele de pe pagină ar putea să nu fie disponibile imediat după încărcarea paginii. În astfel de cazuri, comportamentul implicit al Selenium de așteptare a evenimentului de încărcare a paginii poate să nu fie suficient. Folosind așteptări explicite, cum ar fi WebDriverWait poate rezolva această problemă așteptând ca anumite elemente să apară sau să devină clicabile.

Pentru scraping site-uri cu ferestre pop-up, bannere sau componente complexe de UI pe care se bazează DOM-uri în umbră, este esențial să știi cum să interacționezi cu ei. Aceste componente ascund elemente dintr-o structură DOM izolată care nu poate fi accesată prin metode tradiționale precum XPath sau selectoare CSS. Folosind execute_script() comanda ajută la eliminarea acestei decalaje, permițându-vă să rulați JavaScript direct în browser, oferindu-vă acces la DOM-ul umbră și permițând interacțiuni cu elemente precum butoanele de închidere sau câmpurile de formular din acele părți ascunse ale paginii.

În plus, tratarea erorilor devine crucială în astfel de cazuri. Site-urile web își pot schimba adesea structura, ducând la răzuitoare sparte. Utilizarea corectă a încercați-cu excepția blocurile din Python vă permite să detectați erori precum JavascriptException și manipulați-le cu grație, asigurându-vă că racleta nu se prăbușește în mod neașteptat. Încorporarea înregistrării pentru a capta detaliile erorii poate ajuta la identificarea cauzei rădăcină și la rezolvarea acesteia în viitoarele zgârieturi.