'Null Özellikleri Okunamıyor (Reading'shadowRoot')' Selenyum Web Kazıma Hatası Düzeltme

Selenium'da Yaygın JavaScript Hatalarını Anlamak ve Düzeltmek

Web kazıma yaparken Selenyum Web Sürücüsüözellikle de aşağıdaki gibi dinamik web öğeleriyle uğraşırken, JavaScript ile ilgili hatalarla karşılaşmak alışılmadık bir durum değildir. gölge DOM'lar. Geliştiricilerin sık sık karşılaştığı hatalardan biri JavascriptException: null'un özellikleri okunamıyor ('shadowRoot' okunuyor)genellikle karmaşık sayfa öğeleriyle etkileşimde bulunulduğunda ortaya çıkar.

Bu hata genellikle Selenyum'un bir içindeki öğelere erişemediğinde veya bunlarla etkileşime giremediğinde ortaya çıkar. gölge DOM, daha iyi modülerlik için birçok modern web sitesi tarafından kullanılan benzersiz bir kapsüllenmiş DOM yapısı türüdür. Python'da tarayıcıyı kontrol etmek için Selenium'u kullanmak bu tür öğeler nedeniyle yanıltıcı olabilir.

Shopee gibi platformlardan web kazıma bağlamında, açılır pencereler veya afişler genellikle gölge DOM'ları kullanır ve bunların programlı olarak kapatılması zor olabilir. Bu sorun, otomatik görevlerin düzgün akışını engelleyebilir ve veri toplamayı kesintiye uğratabilir.

Bu kılavuz, bu soruna yönelik net bir çözüm konusunda size yol gösterecektir. 'Null Özellikleri Okunamıyor' kullanarak Shopee'deki gölge DOM'ların içine yerleştirilmiş açılır pencereleri kapatmak için pratik bir yaklaşım sağlayın. Python Selenyum.

Selenium Web Scraping'de Gölge DOM ve Açılır Pencereler Nasıl Kullanılır

Yukarıda verilen komut dosyaları, web kazıma sırasında karşılaşılan yaygın bir sorunu gidermeyi amaçlamaktadır. Selenyum Web Sürücüsü gölge DOM öğeleriyle etkileşimde bulunurken. Gölge DOM, genellikle karmaşık web bileşenlerinde kullanılan, ana DOM'dan ayrı olarak çalışan bir web sayfasının parçasıdır. Shopee gibi sitelerin kazınması bağlamında, gölge DOM'ların içinde sıklıkla açılır pencereler belirir ve bu, geleneksel Selenium yöntemleriyle erişildiğinde hatalara yol açabilir. İlk komut dosyası, JavaScript yürütmesini kullanarak açılır pencereyi kapatmak için tasarlanmıştır. yürütme_script()Selenium'un tarayıcı bağlamında ham JavaScript çalıştırmasına olanak tanıyan güçlü bir araç.

Temel zorluk, gölge DOM içindeki öğelere aşağıdaki gibi yaygın Selenyum komutlarıyla erişilememesidir. find_element_by_xpath(). Bunun yerine, gölge DOM'a geçiş yapmak için JavaScript'i kullanırız. gölgeKök mülk. Komut dosyası, önce gölge ana bilgisayar öğesine erişerek ve ardından iç yapısını sorgulayarak Shopee açılır penceresinin kapat düğmesini hedefler. Kullanarak sürücü.execute_script(), komut dosyası bu yalıtılmış DOM içindeki öğeleri işleyebilir ve kapatabilir. Bu çözüm, eşzamansız olarak yüklenen dinamik sayfa öğelerini işlemek için açık beklemelerle birleştirildiğinde iyi çalışır.

İkinci senaryo tanıtılıyor Web SürücüsüBekle, dinamik sayfa öğelerinin zamanlamasını yönetmek için önemli bir araçtır. Shopee'nin pop-up'ları eşzamansız olarak yüklendiğinden, bu öğelerle doğrudan etkileşimde bulunmak hatalara neden olabilir. Bunu önlemek için, Web SürücüsüWait() etkileşime geçmek istediğimiz öğelerin tam yüklü ve hazır olmasını sağlar. Bu komut dosyası hem ana DOM öğesinin hem de gölge DOM öğelerinin varlığını bekler. Yöntem EC.presence_of_element_located() Selenyum'un öğelerle yalnızca görünür ve mevcut olduktan sonra etkileşime girmesini sağlar; bu, boş referans hatalarını önlemek için çok önemlidir.

Her iki komut dosyasında da hata durumlarını bir deneme-hariç Öğelerin bulunamaması gibi beklenmeyen hatalar nedeniyle programın çökmemesini sağlamak için bloğu kullanın. Yapılarını sık sık güncelleyen veya açılır pencere davranışını değiştiren web sitelerini kazırken hata yönetimi özellikle önemlidir. Ayrıca bu komut dosyaları, tarayıcı oturumunu kullanarak sonlandırarak en iyi uygulamaları takip eder. sürücü.quit() Bellek sızıntılarını veya performans sorunlarını önlemek için yürütme sonrasında.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

Selenium WebDriver ile Dinamik İçeriği Yönetme

Web kazıma için Selenium WebDriver ile çalışırken göz önünde bulundurulması gereken bir diğer önemli husus, nasıl ele alınacağıdır. dinamik içerik sayfa yüklendikten sonra sürekli olarak güncellenen veya değişen. Shopee gibi birçok modern web sitesi, içeriği dinamik olarak yüklemek ve güncellemek için JavaScript kullanır. Bu, sayfa yüklendikten hemen sonra sayfadaki öğelerin kullanılamayabileceği anlamına gelir. Bu gibi durumlarda Selenium'un varsayılan davranışı olan sayfa yükleme olayını beklemek yeterli olmayabilir. Gibi açık beklemelerin kullanılması Web SürücüsüBekle belirli öğelerin görünmesini veya tıklanabilir hale gelmesini bekleyerek bu sorunu çözebilirsiniz.

Pop-up'lar, afişler veya karmaşık kullanıcı arayüzü bileşenleri içeren siteleri kazımak için gölge DOM'laronlarla nasıl etkileşim kuracağınızı bilmek önemlidir. Bu bileşenler, XPath veya CSS seçicileri gibi geleneksel yöntemlerle erişilemeyen, yalıtılmış bir DOM yapısı içindeki öğeleri gizler. kullanarak yürütme_script() komutu, JavaScript'i doğrudan tarayıcıda çalıştırmanıza izin vererek, gölge DOM'a erişmenizi sağlayarak ve sayfanın bu gizli bölümlerindeki kapatma düğmeleri veya form alanları gibi öğelerle etkileşime izin vererek bu boşluğu doldurmaya yardımcı olur.

Ayrıca bu gibi durumlarda hata yönetimi çok önemli hale gelir. Web siteleri sıklıkla yapılarını değiştirerek kazıyıcıların kırılmasına neden olabilir. Doğru kullanım deneme-hariç Python'daki bloklar aşağıdaki gibi hataları yakalamanıza olanak tanır: Javascript İstisnası ve kazıyıcının beklenmedik bir şekilde çarpmamasını sağlayarak bunları zarif bir şekilde kullanın. Hata ayrıntılarını yakalamak için günlüğe kaydetmenin dahil edilmesi, temel nedeni belirlemenize ve gelecekteki sorunlarda bunu çözmenize yardımcı olabilir.