Oprava chyby „Nedá sa prečítať vlastnosti Null (Reading'shadowRoot')“ Selenium Web Scraping Error

Pochopenie a oprava bežných chýb JavaScriptu v Seleniu

Pri škrabaní webu s Selenium WebDriver, stretávanie sa s chybami súvisiacimi s JavaScriptom nie je nezvyčajné, najmä pri práci s dynamickými webovými prvkami, napr tieňové DOM. Jednou z častých chýb, ktorým vývojári čelia, je JavascriptException: Nemožno prečítať vlastnosti null (číta sa 'shadowRoot'), ktorý sa často vyskytuje pri interakcii so zložitými prvkami stránky.

Táto chyba sa zvyčajne vyskytuje, keď Selenium nemôže pristupovať alebo interagovať s prvkami vo vnútri a tieňový DOM, jedinečný typ zapuzdrenej štruktúry DOM používaný mnohými modernými webovými stránkami pre lepšiu modularitu. V Pythone môže byť používanie Selenium na ovládanie prehliadača s takýmito prvkami zložité.

V kontexte zoškrabovania webu z platforiem, ako je Shopee, vyskakovacie okná alebo bannery často využívajú tieňové DOM, ktorých zatvorenie môže byť náročné. Tento problém môže brániť hladkému priebehu automatizovaných úloh a narúšať zber údajov.

Táto príručka vás prevedie jasným riešením „Nedá sa prečítať vlastnosti Null“ chyba a poskytujú praktický prístup k zatváraniu kontextových okien vložených do tieňových DOM v Shopee pomocou Python Selenium.

Ako zvládnuť tieňový DOM a vyskakovacie okná pri škrabaní webu Selenium

Vyššie poskytnuté skripty sa zameriavajú na riešenie bežného problému, ktorý sa vyskytuje pri zoškrabovaní webu Selenium WebDriver pri interakcii s tieňovými prvkami DOM. Tieňový DOM je časť webovej stránky, ktorá funguje oddelene od hlavného DOM, často používaná v zložitých webových komponentoch. V súvislosti so scrapingovými stránkami, ako je Shopee, sa vyskakovacie okná často objavujú v tieňových DOM, čo môže viesť k chybám, ak sa k nim dostanete pomocou tradičných metód Selenium. Prvý skript je navrhnutý tak, aby zatvoril kontextové okno pomocou vykonania JavaScriptu spustiť_skript(), výkonný nástroj, ktorý umožňuje Selenium spúšťať nespracovaný JavaScript v kontexte prehliadača.

Kľúčovou výzvou je, že prvky v tieňovom DOM nie sú prístupné pomocou bežných príkazov Selenium, ako je find_element_by_xpath(). Namiesto toho používame JavaScript na prechod do tieňového DOM pomocou shadowRoot majetku. Skript sa zameriava na tlačidlo zatvorenia kontextového okna Shopee tak, že najprv pristúpi k jeho tieňovému hostiteľskému prvku a potom sa pýta na jeho vnútornú štruktúru. Využitím driver.execute_script(), skript je schopný manipulovať a zatvárať prvky vo vnútri tohto izolovaného DOM. Toto riešenie funguje dobre v kombinácii s explicitným čakaním na spracovanie dynamických prvkov stránky, ktoré sa načítavajú asynchrónne.

Druhý skript uvádza WebDriverPočkajte, nevyhnutný nástroj na správu načasovania prvkov dynamickej stránky. Keďže kontextové okná Shopee sa načítavajú asynchrónne, priama interakcia s týmito prvkami môže spôsobiť chyby. Aby ste tomu zabránili, WebDriverWait() zaisťuje, že prvky, s ktorými chceme interagovať, sú plne naložené a pripravené. Tento skript čaká na prítomnosť hlavného prvku DOM aj tieňových prvkov DOM. Metóda EC.presence_of_element_located() zaisťuje, že Selenium interaguje s prvkami iba vtedy, keď sú viditeľné a prítomné, čo je rozhodujúce pre zabránenie chybám nulovej referencie.

V oboch skriptoch riešime chybové situácie pomocou a pokus-okrem zablokovať, aby sa zabezpečilo, že program nezlyhá kvôli neočakávaným chybám, ako napríklad, že sa nenašli prvky. Spracovanie chýb je obzvlášť dôležité pri zoškrabávaní webových stránok, ktoré často aktualizujú svoju štruktúru alebo menia správanie vyskakovacích okien. Tieto skripty navyše dodržiavajú osvedčené postupy tým, že ukončia reláciu prehliadača pomocou driver.quit() po spustení, aby ste predišli úniku pamäte alebo problémom s výkonom.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

Spracovanie dynamického obsahu pomocou Selenium WebDriver

Ďalším kľúčovým aspektom, ktorý treba zvážiť pri práci so Selenium WebDriver na zoškrabovanie webu, je spôsob zaobchádzania dynamický obsah ktoré sa neustále aktualizujú alebo menia po načítaní stránky. Mnoho moderných webových stránok, ako napríklad Shopee, používa JavaScript na dynamické načítanie a aktualizáciu obsahu. To znamená, že prvky na stránke nemusia byť dostupné ihneď po načítaní stránky. V takýchto prípadoch nemusí byť predvolené správanie Selenium čakanie na udalosť načítania stránky dostatočné. Používanie explicitných čakaní ako WebDriverPočkajte môže tento problém vyriešiť čakaním na zobrazenie konkrétnych prvkov alebo na kliknutie.

Na zoškrabovanie stránok s kontextovými oknami, bannermi alebo zložitými komponentmi používateľského rozhrania, ktoré sa spoliehajú na tieňové DOM, je dôležité vedieť, ako s nimi komunikovať. Tieto komponenty skrývajú prvky v rámci izolovanej štruktúry DOM, ku ktorým nie je možné pristupovať tradičnými metódami, ako sú selektory XPath alebo CSS. Pomocou spustiť_script() Tento príkaz pomáha preklenúť túto medzeru tým, že vám umožňuje spúšťať JavaScript priamo v prehliadači, poskytuje vám prístup k tieňovému DOM a umožňuje interakcie s prvkami, ako sú tlačidlá na zatvorenie alebo polia formulárov v týchto skrytých častiach stránky.

Okrem toho sa v takýchto prípadoch stáva rozhodujúce riešenie chýb. Webové stránky môžu často meniť svoju štruktúru, čo vedie k rozbitým škrabkám. Správne používanie pokus-okrem blokov v Pythone umožňuje zachytiť chyby ako napr JavascriptException a zaobchádzajte s nimi elegantne, aby sa škrabka neočakávane nezrútila. Začlenenie protokolovania na zachytenie podrobností o chybe môže pomôcť identifikovať hlavnú príčinu a vyriešiť ju v budúcich škrabancoch.