Odpravljanje napake Selenium Web Scraping »Ne morem prebrati lastnosti vrednosti Null (Reading'shadowRoot')«

Razumevanje in odpravljanje pogostih napak JavaScript v Seleniumu

Pri spletnem strganju z Selenium WebDriver, naleteti na napake, povezane z JavaScriptom, ni neobičajno, zlasti pri delu z dinamičnimi spletnimi elementi, kot je senčnih DOM-ov. Ena pogosta napaka, s katero se srečujejo razvijalci, je JavascriptException: ni mogoče prebrati lastnosti null (branje 'shadowRoot'), ki se pogosto pojavi pri interakciji s kompleksnimi elementi strani.

Ta napaka se običajno pojavi, ko Selenium ne more dostopati ali komunicirati z elementi znotraj a senca DOM, edinstvena vrsta inkapsulirane strukture DOM, ki jo uporabljajo številna sodobna spletna mesta za boljšo modularnost. V Pythonu je uporaba Seleniuma za nadzor brskalnika lahko težavna s takimi elementi.

V kontekstu spletnega strganja s platform, kot je Shopee, pojavna okna ali pasice pogosto uporabljajo senčne DOM-e, ki jih je morda težko programsko zapreti. Ta težava lahko ovira nemoten potek avtomatiziranih opravil in moti zbiranje podatkov.

Ta vodnik vas bo vodil skozi jasno rešitev za obravnavo 'Ne morem prebrati lastnosti vrednosti Null' napako in nudijo praktičen pristop za zapiranje pojavnih oken, vdelanih v senčne DOM-e v Shopeeju z uporabo Python Selenium.

Kako ravnati s senčnim DOM in pojavnimi okni v Selenium Web Scraping

Namen zgoraj navedenih skriptov je obravnavati pogosto težavo, ki se pojavi pri spletnem strganju s Selenium WebDriver pri interakciji s senčnimi elementi DOM. Senčni DOM je del spletne strani, ki deluje ločeno od glavnega DOM-a in se pogosto uporablja v kompleksnih spletnih komponentah. V kontekstu strganja spletnih mest, kot je Shopee, se pojavna okna pogosto pojavljajo znotraj senčnih DOM, kar lahko povzroči napake, če do njih dostopate s tradicionalnimi metodami Selenium. Prvi skript je zasnovan tako, da zapre pojavno okno z uporabo JavaScripta izvrši_skript(), zmogljivo orodje, ki Seleniumu omogoča izvajanje surovega JavaScripta v kontekstu brskalnika.

Ključni izziv je, da elementi v senčnem DOM-u niso dostopni z običajnimi ukazi Selenium, kot je find_element_by_xpath(). Namesto tega uporabljamo JavaScript za prehod v senčni DOM z uporabo shadowRoot premoženje. Skript cilja na gumb za zapiranje pojavnega okna Shopee tako, da najprej dostopa do elementa senčnega gostitelja in nato poizveduje po njegovi notranji strukturi. Z uporabo driver.execute_script(), lahko skript manipulira in zapira elemente znotraj tega izoliranega DOM. Ta rešitev deluje dobro v kombinaciji z eksplicitnimi čakanji za obravnavanje dinamičnih elementov strani, ki se nalagajo asinhrono.

Drugi scenarij uvaja WebDriverWait, bistveno orodje za upravljanje časovnega razporeda elementov dinamične strani. Ker se pojavna okna Shopee nalagajo asinhrono, lahko neposredna interakcija s temi elementi povzroči napake. Da bi se temu izognili, WebDriverWait() zagotavlja, da so elementi, s katerimi želimo komunicirati, popolnoma naloženi in pripravljeni. Ta skript čaka na prisotnost glavnega elementa DOM in senčnih elementov DOM. Metoda EC.presence_of_element_located() zagotavlja, da Selenium komunicira z elementi šele potem, ko so vidni in prisotni, kar je ključnega pomena za izogibanje napakam ničelne reference.

V obeh skriptih obravnavamo napake z a poskusi-razen blokirajte, da zagotovite, da se program ne zruši zaradi nepričakovanih napak, na primer elementov, ki niso bili najdeni. Odpravljanje napak je še posebej pomembno pri strganju spletnih mest, ki pogosto posodabljajo svojo strukturo ali spreminjajo vedenje pojavnih oken. Poleg tega ti skripti sledijo najboljšim praksam tako, da prekinejo sejo brskalnika z uporabo driver.quit() po izvedbi, da se izognete uhajanju pomnilnika ali težavam z zmogljivostjo.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

Upravljanje dinamične vsebine s Selenium WebDriver

Drugi ključni vidik, ki ga je treba upoštevati pri delu s Selenium WebDriver za spletno strganje, je, kako ravnati dinamično vsebino ki se nenehno posodablja ali spreminja po nalaganju strani. Veliko sodobnih spletnih mest, kot je Shopee, uporablja JavaScript za dinamično nalaganje in posodabljanje vsebine. To pomeni, da elementi na strani morda ne bodo na voljo takoj, ko se stran naloži. V takih primerih privzeto vedenje Seleniuma, ki čaka na dogodek nalaganja strani, morda ne bo zadostovalo. Uporaba izrecnih čakanj, kot je WebDriverWait lahko reši to težavo tako, da počaka, da se določeni elementi prikažejo ali jih je mogoče klikniti.

Za strganje spletnih mest s pojavnimi okni, pasicami ali zapletenimi komponentami uporabniškega vmesnika, ki se zanašajo na senčnih DOM-ov, je bistveno vedeti, kako komunicirati z njimi. Te komponente skrijejo elemente znotraj izolirane strukture DOM, do katere ni mogoče dostopati s tradicionalnimi metodami, kot sta XPath ali izbirniki CSS. Uporaba izvrši_skript() ukaz pomaga premostiti to vrzel, saj vam omogoča zagon JavaScripta neposredno v brskalniku, kar vam omogoča dostop do senčnega DOM in omogoča interakcije z elementi, kot so gumbi za zapiranje ali polja obrazca znotraj teh skritih delov strani.

Poleg tega postane obravnavanje napak v takih primerih ključnega pomena. Spletna mesta lahko pogosto spremenijo svojo strukturo, kar vodi do pokvarjenih strgal. Pravilna uporaba poskusi - razen blokov v Pythonu omogoča lovljenje napak, kot je npr JavascriptException in z njimi ravnajte elegantno, s čimer zagotovite, da se strgalo ne bo nepričakovano zrušilo. Vključitev beleženja za zajemanje podrobnosti napake lahko pomaga prepoznati glavni vzrok in ga odpraviti v prihodnjih strganjih.