Rješavanje pogreške 'Ne mogu pročitati svojstva Null (čitanje'shadowRoot')' Selenium Web skraping pogreške

Razumijevanje i popravljanje uobičajenih JavaScript pogrešaka u Seleniumu

Prilikom struganja weba s Selenium Web Driver, nailaženje na pogreške povezane s JavaScriptom nije neuobičajeno, posebno kada se radi o dinamičkim web elementima kao što su DOM-ovi u sjeni. Jedna česta pogreška s kojom se programeri suočavaju je JavascriptException: Nije moguće pročitati svojstva null (čitanje 'shadowRoot'), što se često događa prilikom interakcije sa složenim elementima stranice.

Ova se pogreška obično javlja kada Selenium ne može pristupiti ili komunicirati s elementima unutar a sjena DOM, jedinstvena vrsta enkapsulirane DOM strukture koju koriste mnoge moderne web stranice za bolju modularnost. U Pythonu korištenje Seleniuma za kontrolu preglednika može biti nezgodno s takvim elementima.

U kontekstu web skrapinga s platformi kao što je Shopee, skočni prozori ili banneri često koriste DOM u sjeni, čije programsko zatvaranje može biti teško. Ovaj problem može ometati nesmetan tijek automatiziranih zadataka i poremetiti prikupljanje podataka.

Ovaj će vas vodič provesti kroz jasno rješenje za rješavanje problema 'Ne mogu pročitati svojstva Null' pogreške i pružiti praktičan pristup zatvaranju skočnih prozora ugrađenih unutar DOM-ova u sjeni u Shopeeu pomoću Python Selenium.

Kako rukovati Shadow DOM-om i skočnim prozorima u Selenium Web Scrapingu

Gore navedene skripte usmjerene su na rješavanje uobičajenog problema s kojim se susreću pri struganju weba Selenium Web Driver prilikom interakcije s DOM elementima u sjeni. DOM u sjeni je dio web stranice koji radi odvojeno od glavnog DOM-a, često se koristi u složenim web komponentama. U kontekstu scraping stranica kao što je Shopee, skočni prozori često se pojavljuju unutar shadow DOM-ova, što može dovesti do pogrešaka ako im se pristupi tradicionalnim Selenium metodama. Prva skripta dizajnirana je za zatvaranje skočnog prozora pomoću izvršavanja JavaScripta izvrši_skriptu(), moćan alat koji Seleniumu omogućuje pokretanje sirovog JavaScripta unutar konteksta preglednika.

Ključni izazov je to što elementi unutar DOM-a u sjeni nisu dostupni uobičajenim Selenium naredbama poput pronađi_element_po_xpath(). Umjesto toga, koristimo JavaScript za prelazak u DOM u sjeni koristeći shadowRoot vlasništvo. Skripta cilja gumb za zatvaranje skočnog prozora Shopee tako da prvo pristupa elementu hosta u sjeni, a zatim ispituje njegovu unutarnju strukturu. Korištenjem driver.execute_script(), skripta može manipulirati i zatvarati elemente unutar ovog izoliranog DOM-a. Ovo rješenje dobro funkcionira u kombinaciji s eksplicitnim čekanjima za rukovanje dinamičkim elementima stranice koji se učitavaju asinkrono.

Druga skripta predstavlja WebDriverWait, ključni alat za upravljanje vremenskim rasporedom dinamičkih elemenata stranice. Budući da se Shopeejevi skočni prozori učitavaju asinkrono, izravna interakcija s tim elementima može uzrokovati pogreške. Da biste to izbjegli, WebDriverWait() osigurava da su elementi s kojima želimo komunicirati potpuno učitani i spremni. Ova skripta čeka na prisutnost i glavnog DOM elementa i DOM elemenata u sjeni. Metoda EC.presence_of_element_located() osigurava da Selenium komunicira s elementima tek nakon što su vidljivi i prisutni, što je ključno za izbjegavanje grešaka nulte reference.

U obje skripte rješavamo situacije pogreške s a pokušaj-osim blok kako biste osigurali da se program ne sruši zbog neočekivanih pogrešaka, kao što su elementi koji nisu pronađeni. Rješavanje pogrešaka posebno je važno prilikom struganja web stranica koje često ažuriraju svoju strukturu ili mijenjaju ponašanje skočnih prozora. Osim toga, ove skripte slijede najbolju praksu prekidanjem sesije preglednika pomoću driver.quit() nakon izvođenja kako biste izbjegli curenje memorije ili probleme s izvedbom.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

Rukovanje dinamičkim sadržajem pomoću Selenium WebDriver

Još jedan ključni aspekt koji treba uzeti u obzir pri radu sa Selenium WebDriver-om za struganje weba je način rukovanja dinamički sadržaj koji se neprestano ažurira ili mijenja nakon učitavanja stranice. Mnoge moderne web stranice, poput Shopee, koriste JavaScript za dinamičko učitavanje i ažuriranje sadržaja. To znači da elementi na stranici možda neće biti odmah dostupni nakon učitavanja stranice. U takvim slučajevima Seleniumovo zadano ponašanje čekanja događaja učitavanja stranice možda neće biti dovoljno. Upotreba eksplicitnih čekanja poput WebDriverWait može riješiti ovaj problem čekanjem da se određeni elementi pojave ili postanu kliknuti.

Za struganje web stranica sa skočnim prozorima, bannerima ili složenim komponentama korisničkog sučelja koje se oslanjaju na DOM-ovi u sjeni, bitno je znati kako komunicirati s njima. Ove komponente skrivaju elemente unutar izolirane DOM strukture kojoj se ne može pristupiti tradicionalnim metodama kao što su XPath ili CSS selektori. Korištenje izvrši_skriptu() naredba pomaže premostiti ovaj jaz dopuštajući vam pokretanje JavaScripta izravno unutar preglednika, dajući vam pristup DOM-u u sjeni i dopuštajući interakciju s elementima poput gumba za zatvaranje ili polja obrasca unutar tih skrivenih dijelova stranice.

Osim toga, rukovanje pogreškama postaje ključno u takvim slučajevima. Web stranice često mogu promijeniti svoju strukturu, što dovodi do slomljenih strugala. Ispravno korištenje pokušaj-osim blokovi u Pythonu omogućuju vam da uhvatite pogreške kao što su JavascriptException i rukujte njima graciozno, osiguravajući da se strugač neočekivano ne sruši. Uključivanje zapisnika za bilježenje pojedinosti o pogrešci može pomoći u prepoznavanju temeljnog uzroka i njegovom rješavanju u budućim brisanjem.