Исправљање грешке „Не могу да прочитам својства нуле (читање „схадовРоот“)“

Разумевање и исправљање уобичајених ЈаваСцрипт грешака у Селену

Када веб стругање са Селениум ВебДривер, наилази на грешке у вези са ЈаваСцриптом није неуобичајено, посебно када се ради о динамичким веб елементима као што су схадов ДОМс. Једна честа грешка са којом се програмери суочавају је ЈавасцриптЕкцептион: Не могу прочитати својства нулл (читање 'схадовРоот'), што се често јавља приликом интеракције са сложеним елементима странице.

Ова грешка се обично јавља када Селен није у могућности да приступи елементима унутар а схадов ДОМ, јединствени тип инкапсулиране ДОМ структуре коју користе многе модерне веб странице ради боље модуларности. У Питхон-у, коришћење Селена за контролу прегледача може бити незгодно са таквим елементима.

У контексту веб-стругања са платформи као што је Схопее, искачући прозори или банери често користе ДОМ-ове у сенци, које може бити изазовно за затварање програмски. Овај проблем може ометати несметан ток аутоматизованих задатака и пореметити прикупљање података.

Овај водич ће вас провести кроз јасно решење за решавање проблема „Не могу да прочитам својства Нулл“ грешку и обезбедити практичан приступ затварању искачућег прозора уграђеног у ДОМ у сенци у Схопее-у користећи Питхон Селениум.

Како руковати ДОМ-ом у сенци и искачућим прозорима у Селениум Веб Сцрапинг-у

Горе наведене скрипте имају за циљ да се позабаве уобичајеним проблемом са којим се сусрећу приликом веб-стругања Селениум ВебДривер при интеракцији са ДОМ елементима у сенци. ДОМ у сенци је део веб странице који функционише одвојено од главног ДОМ-а, који се често користи у сложеним веб компонентама. У контексту скрапинг сајтова као што је Схопее, искачући прозори се често појављују унутар ДОМ-ова у сенци, што може довести до грешака ако им се приступа традиционалним методама Селена. Прва скрипта је дизајнирана да затвори искачући прозор помоћу извршавања ЈаваСцрипт-а екецуте_сцрипт(), моћан алат који омогућава Селену да покреће сирови ЈаваСцрипт у контексту претраживача.

Кључни изазов је што елементи унутар ДОМ-а у сенци нису доступни уобичајеним командама Селена као што је финд_елемент_би_кпатх(). Уместо тога, користимо ЈаваСцрипт да пређемо у ДОМ у сенци користећи схадовРоот имовине. Скрипта циља дугме за затварање Схопее искачућег прозора тако што прво приступа његовом елементу хоста у сенци, а затим испитује његову унутрашњу структуру. Коришћењем дривер.екецуте_сцрипт(), скрипта је у стању да манипулише и затвара елементе унутар овог изолованог ДОМ-а. Ово решење добро функционише када се комбинује са експлицитним чекањима за руковање динамичким елементима странице који се учитавају асинхроно.

Други сценарио уводи ВебДриверВаит, суштински алат за управљање временом динамичких елемената странице. Пошто се Схопее-ови искачући прозори учитавају асинхроно, директна интеракција са овим елементима може изазвати грешке. Да би се ово избегло, ВебДриверВаит() осигурава да су елементи са којима желимо да комуницирамо потпуно учитани и спремни. Ова скрипта чека присуство и главног ДОМ елемента и ДОМ елемената у сенци. Метода ЕЦ.пресенце_оф_елемент_лоцатед() осигурава да селен ступа у интеракцију са елементима тек након што су видљиви и присутни, што је кључно за избегавање грешака нулте референце.

У обе скрипте решавамо ситуације грешке помоћу а покушај-осим блокирати како би се осигурало да се програм не сруши због неочекиваних грешака, као што су елементи који нису пронађени. Руковање грешкама је посебно важно када се врши гребање веб локација које често ажурирају своју структуру или мењају понашање искачућих прозора. Поред тога, ове скрипте прате најбоље праксе тако што прекидају сесију прегледача помоћу дривер.куит() након извршења да би се избегло цурење меморије или проблеми са перформансама.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

Руковање динамичким садржајем са Селениум ВебДривер-ом

Још један кључни аспект који треба узети у обзир када радите са Селениум ВебДривер-ом за веб сцрапинг је како се поступа динамички садржај који се непрекидно ажурира или мења након учитавања странице. Многе модерне веб странице, као што је Схопее, користе ЈаваСцрипт за динамичко учитавање и ажурирање садржаја. То значи да елементи на страници можда неће бити доступни одмах након што се страница учита. У таквим случајевима, подразумевано понашање Селена да чека догађај учитавања странице можда неће бити довољно. Коришћење експлицитних чекања као ВебДриверВаит може да реши овај проблем тако што ће чекати да се одређени елементи појаве или постану на који се може кликнути.

За гребање сајтова са искачућим прозорима, банерима или сложеним компонентама корисничког интерфејса на које се ослањају схадов ДОМс, неопходно је знати како да комуницирате са њима. Ове компоненте скривају елементе унутар изоловане ДОМ структуре којој се не може приступити традиционалним методама као што су КСПатх или ЦСС селектори. Коришћењем екецуте_сцрипт() команда помаже да се премости овај јаз тако што вам омогућава да покренете ЈаваСцрипт директно у прегледачу, дајући вам приступ ДОМ-у у сенци и омогућавајући интеракцију са елементима као што су дугмад за затварање или поља обрасца унутар тих скривених делова странице.

Поред тога, руковање грешкама постаје кључно у таквим случајевима. Веб локације често могу да промене своју структуру, што доводи до покварених стругача. Правилна употреба од покушај-осим блокова у Питхон-у вам омогућава да ухватите грешке као што су ЈавасцриптЕкцептион и грациозно рукујте њима, осигуравајући да се стругач не сруши неочекивано. Укључивање евиденције за снимање детаља о грешци може помоћи да се идентификује основни узрок и да се реши у будућим записима.