Behebung des Selenium Web Scraping-Fehlers „Eigenschaften von Null können nicht gelesen werden (Reading ‚shadowRoot‘)“.

Häufige JavaScript-Fehler in Selenium verstehen und beheben

Beim Web-Scraping mit Selenium WebDriver, ist das Auftreten von JavaScript-bezogenen Fehlern keine Seltenheit, insbesondere beim Umgang mit dynamischen Webelementen wie Schatten-DOMs. Ein häufiger Fehler, mit dem Entwickler konfrontiert sind, ist der JavascriptException: Eigenschaften von Null können nicht gelesen werden (liest „shadowRoot“)., was häufig bei der Interaktion mit komplexen Seitenelementen auftritt.

Dieser Fehler tritt normalerweise auf, wenn Selenium nicht auf Elemente in a zugreifen oder mit ihnen interagieren kann Schatten-DOM, eine einzigartige Art gekapselter DOM-Struktur, die von vielen modernen Websites für eine bessere Modularität verwendet wird. In Python kann die Verwendung von Selenium zur Steuerung des Browsers bei solchen Elementen schwierig sein.

Im Zusammenhang mit Web Scraping von Plattformen wie Shopee nutzen Popups oder Banner häufig Schatten-DOMs, deren programmatisches Schließen möglicherweise schwierig ist. Dieses Problem kann den reibungslosen Ablauf automatisierter Aufgaben behindern und die Datenerfassung stören.

Dieser Leitfaden führt Sie durch eine klare Lösung, um das Problem zu beheben „Eigenschaften von Null können nicht gelesen werden“ Fehler und bieten einen praktischen Ansatz zum Schließen von Popups, die in Schatten-DOMs in Shopee eingebettet sind Python Selenium.

Umgang mit Shadow DOM und Popups beim Selenium Web Scraping

Die oben bereitgestellten Skripte zielen darauf ab, ein häufiges Problem zu beheben, das beim Web-Scraping mit auftritt Selenium WebDriver bei der Interaktion mit Schatten-DOM-Elementen. Ein Schatten-DOM ist ein Teil einer Webseite, der getrennt vom Haupt-DOM betrieben wird und häufig in komplexen Webkomponenten verwendet wird. Im Zusammenhang mit Scraping-Sites wie Shopee erscheinen Popups häufig in Schatten-DOMs, was beim Zugriff mit herkömmlichen Selenium-Methoden zu Fehlern führen kann. Das erste Skript soll das Popup mithilfe der JavaScript-Ausführung schließen execute_script(), ein leistungsstarkes Tool, das es Selenium ermöglicht, rohes JavaScript im Browserkontext auszuführen.

Die größte Herausforderung besteht darin, dass auf Elemente in einem Schatten-DOM nicht mit gängigen Selenium-Befehlen wie z. B. zugegriffen werden kann find_element_by_xpath(). Stattdessen verwenden wir JavaScript, um mithilfe von in das Schatten-DOM zu gelangen SchattenRoot Eigentum. Das Skript zielt auf die Schaltfläche „Schließen“ des Shopee-Popups ab, indem es zunächst auf dessen Shadow-Host-Element zugreift und dann dessen interne Struktur abfragt. Durch die Nutzung Driver.execute_script()ist das Skript in der Lage, Elemente innerhalb dieses isolierten DOM zu manipulieren und zu schließen. Diese Lösung funktioniert gut, wenn sie mit expliziten Wartezeiten kombiniert wird, um dynamische Seitenelemente zu verarbeiten, die asynchron geladen werden.

Das zweite Skript führt ein WebDriverWait, ein wesentliches Tool zur Verwaltung des Timings dynamischer Seitenelemente. Da die Popups von Shopee asynchron geladen werden, kann die direkte Interaktion mit diesen Elementen zu Fehlern führen. Um dies zu vermeiden, WebDriverWait() stellt sicher, dass die Elemente, mit denen wir interagieren möchten, vollständig geladen und bereit sind. Dieses Skript wartet auf das Vorhandensein sowohl des Haupt-DOM-Elements als auch der Schatten-DOM-Elemente. Die Methode EC.presence_of_element_located() stellt sicher, dass Selenium erst dann mit Elementen interagiert, wenn diese sichtbar und vorhanden sind, was für die Vermeidung von Nullreferenzfehlern von entscheidender Bedeutung ist.

In beiden Skripten behandeln wir Fehlersituationen mit a Versuchen Sie es – außer blockieren, um sicherzustellen, dass das Programm nicht aufgrund unerwarteter Fehler, z. B. nicht gefundener Elemente, abstürzt. Die Fehlerbehandlung ist besonders wichtig beim Scraping von Websites, deren Struktur häufig aktualisiert wird oder deren Popup-Verhalten sich häufig ändert. Darüber hinaus befolgen diese Skripts Best Practices, indem sie die Browsersitzung mit beenden Driver.quit() nach der Ausführung, um Speicherverluste oder Leistungsprobleme zu vermeiden.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

Umgang mit dynamischen Inhalten mit Selenium WebDriver

Ein weiterer wichtiger Aspekt, der bei der Arbeit mit Selenium WebDriver für Web Scraping berücksichtigt werden muss, ist die Handhabung dynamischer Inhalt die nach dem Laden der Seite kontinuierlich aktualisiert oder geändert wird. Viele moderne Websites wie Shopee verwenden JavaScript, um Inhalte dynamisch zu laden und zu aktualisieren. Dies bedeutet, dass Elemente auf der Seite möglicherweise nicht sofort verfügbar sind, nachdem die Seite geladen wurde. In solchen Fällen reicht das Standardverhalten von Selenium, auf das Seitenladeereignis zu warten, möglicherweise nicht aus. Verwendung expliziter Wartezeiten wie WebDriverWait Sie können dieses Problem lösen, indem Sie darauf warten, dass bestimmte Elemente angezeigt werden oder anklickbar werden.

Zum Scrapen von Websites mit Popups, Bannern oder komplexen UI-Komponenten, die darauf angewiesen sind Schatten-DOMs, ist es wichtig zu wissen, wie man mit ihnen interagiert. Diese Komponenten verbergen Elemente innerhalb einer isolierten DOM-Struktur, auf die mit herkömmlichen Methoden wie XPath oder CSS-Selektoren nicht zugegriffen werden kann. Mit der execute_script() Der Befehl hilft, diese Lücke zu schließen, indem er Ihnen die Ausführung von JavaScript direkt im Browser ermöglicht, Ihnen Zugriff auf das Schatten-DOM ermöglicht und Interaktionen mit Elementen wie Schließen-Schaltflächen oder Formularfeldern in diesen verborgenen Teilen der Seite ermöglicht.

Darüber hinaus ist in solchen Fällen die Fehlerbehandlung von entscheidender Bedeutung. Websites können oft ihre Struktur ändern, was zu defekten Scrapern führt. Richtige Verwendung von Versuchen Sie es – außer Mit Blöcken in Python können Sie Fehler abfangen, z JavascriptException Gehen Sie vorsichtig damit um und stellen Sie sicher, dass der Schaber nicht unerwartet abstürzt. Die Einbeziehung der Protokollierung zur Erfassung der Fehlerdetails kann dabei helfen, die Grundursache zu identifizieren und sie bei zukünftigen Fehlern zu beheben.