Membetulkan 'Tidak Dapat Membaca Sifat Null (Reading'shadowRoot')' Ralat Mengikis Web Selenium

Memahami dan Membetulkan Ralat JavaScript Biasa dalam Selenium

Apabila web mengikis dengan Selenium WebDriver, menghadapi ralat berkaitan JavaScript bukanlah sesuatu yang luar biasa, terutamanya apabila berurusan dengan elemen web dinamik seperti DOM bayangan. Satu ralat yang kerap dihadapi oleh pembangun ialah JavascriptException: Tidak dapat membaca sifat null (membaca 'shadowRoot'), yang sering berlaku apabila berinteraksi dengan elemen halaman yang kompleks.

Ralat ini biasanya timbul apabila Selenium tidak dapat mengakses atau berinteraksi dengan elemen di dalam a bayangan DOM, jenis struktur DOM terkapsul unik yang digunakan oleh banyak tapak web moden untuk modulariti yang lebih baik. Dalam Python, menggunakan Selenium untuk mengawal penyemak imbas boleh menjadi rumit dengan elemen sedemikian.

Dalam konteks mengikis web daripada platform seperti Shopee, pop timbul atau sepanduk sering menggunakan DOM bayangan, yang mungkin mencabar untuk ditutup secara pemrograman. Masalah ini boleh menghalang kelancaran tugas automatik dan mengganggu pengumpulan data.

Panduan ini akan membimbing anda melalui penyelesaian yang jelas untuk menangani 'Tidak Dapat Membaca Sifat Null' ralat dan menyediakan pendekatan praktikal untuk menutup pop timbul yang tertanam dalam DOM bayangan dalam Shopee menggunakan Python Selenium.

Cara Mengendalikan Shadow DOM dan Popup dalam Selenium Web Scraping

Skrip yang disediakan di atas bertujuan untuk menangani isu biasa yang dihadapi dalam mengikis web dengan Selenium WebDriver apabila berinteraksi dengan elemen DOM bayangan. DOM bayangan ialah sebahagian daripada halaman web yang beroperasi secara berasingan daripada DOM utama, sering digunakan dalam komponen web yang kompleks. Dalam konteks tapak mengikis seperti Shopee, tetingkap timbul kerap muncul di dalam DOM bayangan, yang boleh membawa kepada ralat jika diakses dengan kaedah Selenium tradisional. Skrip pertama direka untuk menutup pop timbul menggunakan pelaksanaan JavaScript melalui execute_script(), alat berkuasa yang membolehkan Selenium menjalankan JavaScript mentah dalam konteks penyemak imbas.

Cabaran utama ialah elemen di dalam DOM bayangan tidak boleh diakses dengan arahan Selenium biasa seperti find_element_by_xpath(). Sebaliknya, kami menggunakan JavaScript untuk melintasi DOM bayangan menggunakan shadowRoot harta benda. Skrip menyasarkan butang tutup pop timbul Shopee dengan mengakses elemen hos bayangannya dahulu, dan kemudian menanyakan struktur dalamannya. Dengan memanfaatkan driver.execute_script(), skrip dapat memanipulasi dan menutup elemen dalam DOM terpencil ini. Penyelesaian ini berfungsi dengan baik apabila digabungkan dengan penantian eksplisit untuk mengendalikan elemen halaman dinamik yang dimuatkan secara tidak segerak.

Skrip kedua memperkenalkan WebDriverTunggu, alat penting untuk mengurus masa elemen halaman dinamik. Memandangkan pop timbul Shopee dimuatkan secara tidak segerak, berinteraksi secara langsung dengan elemen ini boleh menyebabkan ralat. Untuk mengelakkan ini, WebDriverWait() memastikan elemen yang ingin kita berinteraksi dimuatkan sepenuhnya dan sedia. Skrip ini menunggu kehadiran kedua-dua elemen DOM utama dan elemen DOM bayangan. Kaedahnya EC.kehadiran_elemen_terletak() memastikan bahawa Selenium berinteraksi dengan unsur hanya selepas ia kelihatan dan hadir, yang penting untuk mengelakkan ralat rujukan nol.

Dalam kedua-dua skrip, kami mengendalikan situasi ralat dengan a cuba-kecuali blok untuk memastikan atur cara tidak ranap kerana ralat yang tidak dijangka, seperti elemen tidak ditemui. Pengendalian ralat amat penting apabila mengikis tapak web yang kerap mengemas kini strukturnya atau mengubah tingkah laku pop timbul. Selain itu, skrip ini mengikut amalan terbaik dengan menamatkan sesi penyemak imbas menggunakan driver.quit() selepas pelaksanaan untuk mengelakkan kebocoran memori atau masalah prestasi.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

Mengendalikan Kandungan Dinamik dengan Selenium WebDriver

Satu lagi aspek penting yang perlu dipertimbangkan semasa bekerja dengan Selenium WebDriver untuk mengikis web ialah cara mengendalikan kandungan dinamik yang sentiasa mengemas kini atau berubah selepas halaman dimuatkan. Banyak tapak web moden, seperti Shopee, menggunakan JavaScript untuk memuatkan dan mengemas kini kandungan secara dinamik. Ini bermakna elemen pada halaman mungkin tidak tersedia dengan serta-merta selepas halaman dimuatkan. Dalam kes sedemikian, tingkah laku lalai Selenium menunggu acara pemuatan halaman mungkin tidak mencukupi. Menggunakan penantian eksplisit seperti WebDriverTunggu boleh menyelesaikan isu ini dengan menunggu elemen tertentu muncul atau boleh diklik.

Untuk mengikis tapak dengan pop timbul, sepanduk atau komponen UI kompleks yang bergantung kepada DOM bayangan, adalah penting untuk mengetahui cara berinteraksi dengan mereka. Komponen ini menyembunyikan elemen dalam struktur DOM terpencil yang tidak boleh diakses oleh kaedah tradisional seperti pemilih XPath atau CSS. Menggunakan execute_script() arahan membantu merapatkan jurang ini dengan membenarkan anda menjalankan JavaScript secara langsung dalam penyemak imbas, memberikan anda akses kepada DOM bayangan dan membenarkan interaksi dengan elemen seperti butang tutup atau medan borang dalam bahagian tersembunyi halaman tersebut.

Selain itu, pengendalian ralat menjadi penting dalam kes sedemikian. Laman web selalunya boleh mengubah strukturnya, yang membawa kepada pengikis rosak. Penggunaan yang betul cuba-kecuali blok dalam Python membolehkan anda menangkap ralat seperti JavascriptException dan kendalikannya dengan anggun, memastikan pengikis tidak terhempas secara tidak dijangka. Menggabungkan pengelogan untuk menangkap butiran ralat boleh membantu mengenal pasti punca dan menyelesaikannya dalam goresan masa hadapan.