Selenium Web Craping Error -virheen korjaaminen "Ei voi lukea nollan ominaisuuksia (Reading'shadowRoot")

Seleenin yleisten JavaScript-virheiden ymmärtäminen ja korjaaminen

Kun verkko kaavinta kanssa Seleeni WebDriver, JavaScriptiin liittyvien virheiden kohtaaminen ei ole harvinaista, varsinkin kun käsitellään dynaamisia verkkoelementtejä, kuten varjo-DOM:t. Yksi kehittäjien kohtaama usein virhe on JavascriptException: Ei voi lukea nollan ominaisuuksia (lukee "shadowRoot"), jota esiintyy usein, kun ollaan vuorovaikutuksessa monimutkaisten sivuelementtien kanssa.

Tämä virhe ilmenee tyypillisesti, kun seleeni ei pääse käsiksi tai vuorovaikutuksessa a:n elementtien kanssa varjo DOM, ainutlaatuinen kapseloitu DOM-rakenne, jota monet nykyaikaiset verkkosivustot käyttävät parempaa modulaarisuutta varten. Pythonissa Seleniumin käyttäminen selaimen ohjaamiseen voi olla hankalaa tällaisten elementtien kanssa.

Shopee-kaltaisten alustojen verkkokaappauksen yhteydessä ponnahdusikkunat tai bannerit käyttävät usein varjo-DOM:ita, joita voi olla haastavaa sulkea ohjelmallisesti. Tämä ongelma voi haitata automatisoitujen tehtävien sujuvaa kulkua ja häiritä tiedonkeruuta.

Tämä opas opastaa sinut läpi selkeän ratkaisun ongelman ratkaisemiseksi "Nollan ominaisuuksia ei voi lukea" virhe ja tarjota käytännöllinen tapa sulkea ponnahdusikkunat, jotka on upotettu Shopeen varjo-DOM:eihin Python Selenium.

Shadow DOM:n ja ponnahdusikkunoiden käsitteleminen Selenium Web Scrapingissa

Yllä annetut skriptit pyrkivät ratkaisemaan yleisen ongelman, joka esiintyy verkkoraapimisessa Seleeni WebDriver kun olet vuorovaikutuksessa varjo-DOM-elementtien kanssa. Varjo-DOM on osa web-sivua, joka toimii erillään pää-DOM:sta ja jota käytetään usein monimutkaisissa verkkokomponenteissa. Shopee-kaltaisten kaapivien sivustojen yhteydessä ponnahdusikkunat näkyvät usein varjo-DOM:ien sisällä, mikä voi johtaa virheisiin, jos niitä käytetään perinteisillä Selenium-menetelmillä. Ensimmäinen komentosarja on suunniteltu sulkemaan ponnahdusikkuna JavaScript-suorituksella suorita_script(), tehokas työkalu, jonka avulla Selenium voi suorittaa raaka-JavaScriptin selainkontekstissa.

Keskeinen haaste on, että varjo-DOM:n elementit eivät ole käytettävissä yleisillä Selenium-komennoilla, kuten find_element_by_xpath(). Sen sijaan käytämme JavaScriptiä kulkeaksemme varjo-DOM:iin käyttämällä shadowRoot omaisuutta. Skripti kohdistaa Shopee-ponnahdusikkunan sulkemispainikkeen avaamalla ensin sen varjoisäntäelementin ja tekemällä sitten kyselyn sen sisäisestä rakenteesta. Hyödyntämällä driver.execute_script(), komentosarja pystyy käsittelemään ja sulkemaan elementtejä tämän erillisen DOM:n sisällä. Tämä ratkaisu toimii hyvin yhdistettynä eksplisiittisiin odotuksiin dynaamisten sivuelementtien käsittelemiseksi, jotka latautuvat asynkronisesti.

Toinen käsikirjoitus esittelee WebDriverOdota, olennainen työkalu dynaamisten sivuelementtien ajoituksen hallintaan. Koska Shopeen ponnahdusikkunat latautuvat asynkronisesti, suora vuorovaikutus näiden elementtien kanssa voi aiheuttaa virheitä. Tämän välttämiseksi WebDriverWait() varmistaa, että elementit, joiden kanssa haluamme olla vuorovaikutuksessa, ovat täysin ladattuja ja valmiita. Tämä komentosarja odottaa sekä pää-DOM-elementin että varjo-DOM-elementtien läsnäoloa. Menetelmä EC.presence_of_element_located() varmistaa, että seleeni on vuorovaikutuksessa elementtien kanssa vasta sen jälkeen, kun ne ovat näkyvissä ja läsnä, mikä on ratkaisevan tärkeää nollaviittausvirheiden välttämiseksi.

Molemmissa skripteissä käsittelemme virhetilanteita komennolla a kokeile - paitsi esto varmistaaksesi, että ohjelma ei kaatu odottamattomien virheiden vuoksi, kuten elementtejä ei löydy. Virheiden käsittely on erityisen tärkeää kaavittaessa verkkosivustoja, jotka päivittävät usein rakennettaan tai muuttavat ponnahdusikkunoiden toimintaa. Lisäksi nämä komentosarjat noudattavat parhaita käytäntöjä lopettamalla selainistunnon käyttämällä driver.quit() suorituksen jälkeen muistivuotojen tai suorituskykyongelmien välttämiseksi.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

Dynaamisen sisällön käsittely Selenium WebDriverin avulla

Toinen keskeinen näkökohta, joka on otettava huomioon työskennellessäsi Selenium WebDriverin kanssa web-kaappaukseen, on käsittely dynaaminen sisältö joka päivittyy tai muuttuu jatkuvasti sivun latauksen jälkeen. Monet nykyaikaiset verkkosivustot, kuten Shopee, käyttävät JavaScriptiä sisällön lataamiseen ja päivittämiseen dynaamisesti. Tämä tarkoittaa, että sivulla olevat elementit eivät välttämättä ole käytettävissä heti sivun latautumisen jälkeen. Tällaisissa tapauksissa Seleenin oletuskäyttäytyminen, joka odottaa sivun lataustapahtumaa, ei ehkä riitä. Eksplisiittisten odotusten käyttö WebDriverOdota voi ratkaista tämän ongelman odottamalla tiettyjen elementtien ilmestymistä tai napsautettavuutta.

Ponnahdusikkunoita, bannereita tai monimutkaisia ​​käyttöliittymäkomponentteja sisältävien sivustojen kaappaamiseen varjo-DOM:t, on tärkeää osata olla vuorovaikutuksessa heidän kanssaan. Nämä komponentit piilottavat elementtejä eristettyyn DOM-rakenteeseen, joita ei voida käyttää perinteisillä menetelmillä, kuten XPath- tai CSS-valitsimilla. Käyttämällä suorita_script() komento auttaa kuromaan umpeen tätä aukkoa sallimalla JavaScriptin suorittamisen suoraan selaimessa, jolloin saat pääsyn varjo-DOM:iin ja mahdollistaa vuorovaikutuksen elementtien, kuten sulkemispainikkeiden tai lomakekenttien kanssa sivun piilotetuissa osissa.

Lisäksi virheiden käsittelystä tulee tällaisissa tapauksissa ratkaisevan tärkeää. Verkkosivustot voivat usein muuttaa rakennettaan, mikä johtaa rikkinäisiin kaapimiin. Oikea käyttö kokeile - paitsi Pythonin lohkojen avulla voit havaita virheet, kuten JavascriptException ja käsittele niitä tyylikkäästi varmistaen, ettei kaavin kaadu odottamatta. Kirjaamisen sisällyttäminen virhetietojen tallentamiseen voi auttaa tunnistamaan perimmäisen syyn ja ratkaisemaan sen tulevissa kaapeissa.