「Null のプロパティを読み取れません ('shadowRoot' を読み取っています)」Selenium Web スクレイピング エラーを修正する

Python の Selenium を使用してシャドウ DOM を処理し、ポップアップを閉じる

Python と Selenium WebDriver を使用して、Shadow DOM 要素と対話し、ポップアップを動的に処理します。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

Shadow DOM インタラクションに WebDriverWait を使用する

Selenium で明示的な待機を使用して、Shadow DOM 内の要素が対話の準備ができていることを確認します。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

Selenium でのシャドウ DOM とポップアップの処理に関するよくある質問

1. Shadow DOM とは何ですか? なぜアクセスが難しいのでしょうか?
2. の shadow DOM は、Web 開発者が要素をカプセル化し、メイン ドキュメント内のスタイルやスクリプトによる影響を防ぐために使用する分離された DOM ツリーです。従来の Selenium メソッドは Shadow DOM 要素との直接対話をサポートしていないため、アクセスするのが困難です。
3. どのようにして execute_script() Shadow DOM との対話を支援しますか?
4. execute_script() ブラウザ セッション内で JavaScript を直接実行できるため、通常の Selenium コマンドを使用してアクセスできないシャドウ DOM 要素にアクセスできるようになります。
5. なぜですか WebDriverWait 動的コンテンツをスクレイピングするのに重要ですか?
6. WebDriverWait スクリプトが要素と対話する前に、要素がクリック可能であるか存在しているかなどの特定の条件を待機するようにします。これは、非同期で読み込まれる動的コンテンツを処理するために重要です。
7. 遭遇したらどうすればいいですか JavascriptException?
8. JavascriptException JavaScript コードの実行に問題がある場合に発生します。を使用してエラー処理を実装する try-except ブロックは、スクリプト全体をクラッシュさせることなく、これらのエラーを検出して管理するのに役立ちます。
9. Shadow DOM を使用する動的ポップアップを閉じるにはどうすればよいですか?
10. シャドウ DOM にカプセル化された動的ポップアップを閉じるには、まず次のコマンドを使用してシャドウ ルートにアクセスする必要があります。 execute_script() 次に、Shadow DOM 内でポップアップを閉じるボタンを見つけます。

Selenium での Shadow DOM の処理に関する最終的な考え

Web スクレイピングに Selenium を使用する場合、Shadow DOM 要素との対話は困難になる場合があります。ただし、JavaScript の実行と明示的な待機を利用することで、標準のメソッドではアクセスが難しい要素を効果的に管理できます。

エラーを適切に処理し、待機を組み込むことで、スクレイピング スクリプトが堅牢で信頼性の高いものであることを保証できます。これらのテクニックは、シャドウ DOM に埋め込まれた動的コンテンツやポップアップを操作するときによくある落とし穴を回避し、よりスムーズなスクレイピング エクスペリエンスを保証するのに役立ちます。