Oprava chyby 'Cannot Read Properties of Null (Reading'shadowRoot')' Selenium Web Scraping Error

Pochopení a oprava běžných chyb JavaScriptu v selenu

Při škrábání webu s Selenium WebDriver, setkání s chybami souvisejícími s JavaScriptem není neobvyklé, zejména při práci s dynamickými webovými prvky, jako je stínové DOM. Jedna častá chyba, které vývojáři čelí, je JavascriptException: Nelze číst vlastnosti null (čtení 'shadowRoot'), který se často vyskytuje při interakci se složitými prvky stránky.

K této chybě obvykle dochází, když selen nemůže získat přístup nebo interagovat s prvky uvnitř a stínový DOM, jedinečný typ zapouzdřené struktury DOM používaný mnoha moderními weby pro lepší modularitu. V Pythonu může být používání Selenium k ovládání prohlížeče s takovými prvky složité.

V kontextu web scraping z platforem, jako je Shopee, vyskakovací okna nebo bannery často využívají stínové DOM, které může být náročné programově zavřít. Tento problém může bránit hladkému průběhu automatizovaných úkolů a narušit sběr dat.

Tento průvodce vás provede jasným řešením 'Nelze číst vlastnosti Null' chyba a poskytují praktický přístup k uzavření vyskakovacích oken vložených do stínových DOM v Shopee pomocí Python Selenium.

Jak zacházet se stínovým DOM a vyskakovacími okny v Selenium Web Scraping

Výše uvedené skripty mají za cíl vyřešit běžný problém, se kterým se setkáte při odstraňování webových stránek Selenium WebDriver při interakci se stínovými prvky DOM. Stínový DOM je část webové stránky, která funguje odděleně od hlavního DOM, často se používá ve složitých webových komponentách. V souvislosti se scrapingovými weby, jako je Shopee, se uvnitř stínových DOM často objevují vyskakovací okna, což může vést k chybám, pokud k nim přistupujete tradičními metodami Selenium. První skript je navržen tak, aby zavíral vyskakovací okno pomocí spuštění JavaScriptu spustit_script(), výkonný nástroj, který umožňuje Selenium spouštět nezpracovaný JavaScript v kontextu prohlížeče.

Klíčovým problémem je, že prvky uvnitř stínového DOM nejsou přístupné běžnými příkazy Selenium, jako je find_element_by_xpath(). Místo toho používáme JavaScript k přechodu do stínového DOM pomocí shadowRoot vlastnictví. Skript se zaměřuje na tlačítko Zavřít vyskakovacího okna Shopee nejprve přístupem k jeho stínovému hostitelskému prvku a poté dotazem na jeho vnitřní strukturu. Využitím driver.execute_script(), skript je schopen manipulovat a zavírat prvky uvnitř tohoto izolovaného DOM. Toto řešení funguje dobře v kombinaci s explicitním čekáním na zpracování dynamických prvků stránky, které se načítají asynchronně.

Druhý skript uvádí WebDriverPočkejte, základní nástroj pro správu načasování prvků dynamické stránky. Protože se vyskakovací okna Shopee načítají asynchronně, přímá interakce s těmito prvky může způsobit chyby. Chcete-li se tomu vyhnout, WebDriverWait() zajišťuje, že prvky, se kterými chceme interagovat, jsou plně nabité a připravené. Tento skript čeká na přítomnost hlavního prvku DOM i stínových prvků DOM. Metoda EC.presence_of_element_located() zajišťuje, že Selenium interaguje s prvky pouze poté, co jsou viditelné a přítomné, což je zásadní pro zamezení chybám nulové reference.

V obou skriptech řešíme chybové situace pomocí a zkuste-kromě blokovat, abyste zajistili, že program nespadne kvůli neočekávaným chybám, jako jsou nenalezené prvky. Zpracování chyb je zvláště důležité při odstraňování webových stránek, které často aktualizují svou strukturu nebo mění chování vyskakovacích oken. Tyto skripty navíc dodržují doporučené postupy ukončením relace prohlížeče pomocí driver.quit() po spuštění, abyste se vyhnuli únikům paměti nebo problémům s výkonem.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

Zpracování dynamického obsahu pomocí Selenium WebDriver

Dalším klíčovým aspektem, který je třeba vzít v úvahu při práci s Selenium WebDriver pro web scraping, je způsob, jak zacházet dynamický obsah který se po načtení stránky průběžně aktualizuje nebo mění. Mnoho moderních webových stránek, jako je Shopee, používá JavaScript k dynamickému načítání a aktualizaci obsahu. To znamená, že prvky na stránce nemusí být dostupné ihned po načtení stránky. V takových případech nemusí být výchozí chování Selenium při čekání na událost načtení stránky dostatečné. Použití explicitního čekání jako WebDriverPočkejte může tento problém vyřešit čekáním, až se objeví konkrétní prvky nebo na ně bude možné kliknout.

Pro odstraňování stránek s vyskakovacími okny, bannery nebo složitými komponentami uživatelského rozhraní, které se spoléhají na stínové DOM, je důležité vědět, jak s nimi komunikovat. Tyto komponenty skrývají prvky v izolované struktuře DOM, ke kterým nelze přistupovat tradičními metodami, jako jsou selektory XPath nebo CSS. Pomocí vykonat_script() Tento příkaz pomáhá překlenout tuto mezeru tím, že vám umožňuje spouštět JavaScript přímo v prohlížeči, poskytuje vám přístup ke stínovému DOM a umožňuje interakce s prvky, jako jsou tlačítka pro zavírání nebo pole formuláře v těchto skrytých částech stránky.

Kromě toho se v takových případech stává řešení chyb zásadní. Webové stránky mohou často měnit svou strukturu, což vede k rozbitým škrabkám. Správné použití zkuste-kromě bloky v Pythonu umožňuje zachytit chyby jako např JavascriptException a zacházejte s nimi elegantně, abyste zajistili, že škrabka neočekávaně nespadne. Začlenění protokolování k zachycení podrobností o chybě může pomoci identifikovat hlavní příčinu a vyřešit ji v budoucích škrábancích.