Виправлення помилки Selenium Web Scraping «Неможливо прочитати властивості Null (Reading'shadowRoot»)

Розуміння та виправлення типових помилок JavaScript у Selenium

При веб-скребку з Веб-драйвер Selenium, помилки, пов’язані з JavaScript, не є рідкістю, особливо під час роботи з динамічними веб-елементами, такими як тіньові DOM. Однією з поширених помилок, з якою стикаються розробники, є JavascriptException: неможливо прочитати властивості null (читання 'shadowRoot'), що часто виникає при взаємодії зі складними елементами сторінки.

Ця помилка зазвичай виникає, коли Selenium не може отримати доступ або взаємодіяти з елементами всередині a тінь DOM, унікальний тип інкапсульованої структури DOM, який використовується багатьма сучасними веб-сайтами для кращої модульності. У Python використання Selenium для керування браузером може бути складним із такими елементами.

У контексті веб-скопіювання з таких платформ, як Shopee, спливаючі вікна або банери часто використовують тіньові DOM, які може бути важко закрити програмним шляхом. Ця проблема може перешкоджати плавному виконанню автоматизованих завдань і порушити збір даних.

Цей посібник проведе вас через чітке рішення для вирішення проблеми "Неможливо прочитати властивості Null" помилка та надає практичний підхід до закриття спливаючих вікон, вбудованих у тіньові DOM у Shopee за допомогою Python Selenium.

Як обробляти Shadow DOM і спливаючі вікна в Selenium Web Scraping

Наведені вище сценарії спрямовані на вирішення поширеної проблеми, яка виникає під час веб-збирання Веб-драйвер Selenium при взаємодії з тіньовими елементами DOM. Тіньовий DOM — це частина веб-сторінки, яка працює окремо від основного DOM і часто використовується в складних веб-компонентах. У контексті копіювання сайтів, таких як Shopee, спливаючі вікна часто з’являються всередині тіньових DOM, що може призвести до помилок, якщо отримати доступ до них традиційними методами Selenium. Перший сценарій призначений для закриття спливаючого вікна за допомогою виконання JavaScript execute_script(), потужний інструмент, який дозволяє Selenium запускати необроблений JavaScript у контексті браузера.

Основна проблема полягає в тому, що елементи всередині тіньової DOM недоступні за допомогою звичайних команд Selenium, як-от find_element_by_xpath(). Натомість ми використовуємо JavaScript для переходу до тіньової DOM за допомогою shadowRoot власність. Сценарій націлюється на кнопку закриття спливаючого вікна Shopee, спочатку звертаючись до його тіньового хост-елементу, а потім запитуючи його внутрішню структуру. Використовуючи driver.execute_script(), сценарій може маніпулювати та закривати елементи всередині цього ізольованого DOM. Це рішення добре працює в поєднанні з явним очікуванням для обробки динамічних елементів сторінки, які завантажуються асинхронно.

Другий сценарій представляє WebDriverWait, важливий інструмент для керування часом динамічних елементів сторінки. Оскільки спливаючі вікна Shopee завантажуються асинхронно, безпосередня взаємодія з цими елементами може спричинити помилки. Щоб уникнути цього, WebDriverWait() гарантує, що елементи, з якими ми хочемо взаємодіяти, повністю завантажені та готові. Цей сценарій очікує на присутність як основного елемента DOM, так і тіньових елементів DOM. Метод EC.presence_of_element_located() гарантує, що Selenium взаємодіє з елементами лише після того, як вони видимі та присутні, що має вирішальне значення для уникнення помилок нульового посилання.

В обох сценаріях ми обробляємо помилкові ситуації за допомогою a спробувати-окрім блок, щоб гарантувати, що програма не аварійно завершує роботу через несподівані помилки, такі як не знайдені елементи. Обробка помилок особливо важлива під час сканування веб-сайтів, які часто оновлюють свою структуру або змінюють поведінку спливаючих вікон. Крім того, ці сценарії відповідають найкращим практикам, завершуючи сеанс браузера за допомогою driver.quit() після виконання, щоб уникнути витоку пам’яті або проблем із продуктивністю.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

Обробка динамічного вмісту за допомогою Selenium WebDriver

Ще один ключовий аспект, який слід враховувати під час роботи з Selenium WebDriver для веб-збирання, — це те, як працювати динамічний контент який постійно оновлюється або змінюється після завантаження сторінки. Багато сучасних веб-сайтів, як-от Shopee, використовують JavaScript для динамічного завантаження й оновлення вмісту. Це означає, що елементи на сторінці можуть бути недоступні відразу після завантаження сторінки. У таких випадках стандартної поведінки Selenium очікування події завантаження сторінки може бути недостатньо. Використання явних очікувань, наприклад WebDriverWait можна вирішити цю проблему, дочекавшись, поки певні елементи з’являться або стануть доступними для натискання.

Для сканування сайтів зі спливаючими вікнами, банерами або складними компонентами інтерфейсу користувача, які залежать від тіньові DOM, дуже важливо знати, як з ними взаємодіяти. Ці компоненти приховують елементи в ізольованій структурі DOM, до якої неможливо отримати доступ за допомогою традиційних методів, таких як селектори XPath або CSS. Використовуючи execute_script() Команда допомагає подолати цю прогалину, дозволяючи вам запускати JavaScript безпосередньо в браузері, надаючи вам доступ до тіньової DOM і дозволяючи взаємодіяти з такими елементами, як кнопки закриття або поля форми в цих прихованих частинах сторінки.

Крім того, обробка помилок стає вирішальною в таких випадках. Веб-сайти часто можуть змінювати свою структуру, що призводить до поломки скребків. Правильне використання спробувати-окрім Блоки в Python дозволяють виловлювати такі помилки, як JavascriptException і витончено поводьтеся з ними, гарантуючи, що скребок несподівано не вийде з ладу. Включення журналу для запису деталей помилки може допомогти визначити основну причину та усунути її під час майбутніх помилок.