'Null 속성을 읽을 수 없음('shadowRoot' 읽기)' Selenium 웹 스크래핑 오류 수정

Python에서 Selenium을 사용하여 Shadow DOM 처리 및 팝업 닫기

Python을 Selenium WebDriver와 함께 사용하여 Shadow DOM 요소와 상호 작용하고 팝업을 동적으로 처리합니다.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

Shadow DOM 상호작용을 위해 WebDriverWait 사용

Selenium에서 명시적 대기를 사용하여 Shadow DOM 내의 요소가 상호 작용할 준비가 되었는지 확인합니다.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

Selenium의 Shadow DOM 및 팝업 처리에 대해 자주 묻는 질문

1. Shadow DOM은 무엇이며, 왜 액세스하기 어려운가요?
2. 그만큼 shadow DOM 웹 개발자가 요소를 캡슐화하고 기본 문서의 스타일이나 스크립트의 영향을 받지 않도록 방지하는 데 사용하는 격리된 DOM 트리입니다. 전통적인 Selenium 메소드는 Shadow DOM 요소와의 직접적인 상호작용을 지원하지 않기 때문에 접근하기 어렵습니다.
3. 어떻게 execute_script() Shadow DOM과 상호작용하는 데 도움이 되나요?
4. execute_script() 브라우저 세션 내에서 JavaScript를 직접 실행하여 일반 Selenium 명령으로는 도달할 수 없는 Shadow DOM 요소에 액세스할 수 있습니다.
5. 왜? WebDriverWait 동적 콘텐츠를 스크랩하는 데 중요합니까?
6. WebDriverWait 스크립트는 요소와 상호작용하기 전에 클릭 가능하거나 존재하는 요소와 같은 특정 조건을 기다립니다. 이는 비동기적으로 로드되는 동적 콘텐츠를 처리하는 데 중요합니다.
7. 마주쳤을 때 어떻게 해야 할까요? JavascriptException?
8. JavascriptException JavaScript 코드 실행에 문제가 있을 때 발생합니다. 다음을 사용하여 오류 처리 구현 try-except 블록은 전체 스크립트를 충돌시키지 않고 이러한 오류를 포착하고 관리하는 데 도움이 됩니다.
9. Shadow DOM을 사용하는 동적 팝업을 어떻게 닫을 수 있나요?
10. Shadow DOM에 캡슐화된 동적 팝업을 닫으려면 먼저 다음을 사용하여 Shadow 루트에 액세스해야 합니다. execute_script() 그런 다음 Shadow DOM 내부에서 팝업 닫기 버튼을 찾습니다.

Selenium에서 Shadow DOM 처리에 대한 최종 생각

웹 스크래핑에 Selenium을 사용할 때 Shadow DOM 요소와 상호 작용하는 것이 어려울 수 있습니다. 그러나 JavaScript 실행과 명시적 대기를 활용하면 표준 메소드로는 접근하기 어려운 요소를 효과적으로 관리할 수 있습니다.

오류를 적절하게 처리하고 대기를 통합함으로써 스크래핑 스크립트가 강력하고 안정적인지 확인할 수 있습니다. 이러한 기술은 Shadow DOM에 포함된 동적 콘텐츠 및 팝업으로 작업할 때 흔히 발생하는 함정을 피하고 보다 원활한 스크래핑 환경을 보장하는 데 도움이 됩니다.