إصلاح "لا يمكن قراءة خصائص Null (قراءة"shadowRoot")" خطأ في تجريف الويب بالسيلينيوم

فهم وإصلاح أخطاء جافا سكريبت الشائعة في السيلينيوم

عند تجريف الويب باستخدام برنامج تشغيل الويب السيلينيوم، فإن مواجهة الأخطاء المتعلقة بجافا سكريبت أمر شائع، خاصة عند التعامل مع عناصر الويب الديناميكية مثل DOM الظل. أحد الأخطاء المتكررة التي يواجهها المطورون هو JavascriptException: لا يمكن قراءة خصائص فارغة (قراءة "shadowRoot")والذي يحدث غالبًا عند التفاعل مع عناصر الصفحة المعقدة.

ينشأ هذا الخطأ عادةً عندما يتعذر على السيلينيوم الوصول إلى العناصر الموجودة داخل الملف أو التفاعل معها ظل دوم، وهو نوع فريد من بنية DOM المغلفة التي تستخدمها العديد من مواقع الويب الحديثة للحصول على نمطية أفضل. في لغة Python، قد يكون استخدام السيلينيوم للتحكم في المتصفح أمرًا صعبًا مع مثل هذه العناصر.

في سياق استخراج الويب من منصات مثل Shopee، غالبًا ما تستخدم النوافذ المنبثقة أو اللافتات عناصر DOM الظلية، والتي قد يكون من الصعب إغلاقها برمجيًا. يمكن أن تعيق هذه المشكلة التدفق السلس للمهام الآلية وتعطل عملية جمع البيانات.

سيرشدك هذا الدليل إلى حل واضح لمعالجة المشكلة "لا يمكن قراءة خصائص Null" الخطأ وتوفير نهج عملي لإغلاق النوافذ المنبثقة المضمنة في DOMs الظل في Shopee باستخدام بايثون السيلينيوم.

كيفية التعامل مع Shadow DOM والنوافذ المنبثقة في تجريف ويب السيلينيوم

تهدف البرامج النصية المقدمة أعلاه إلى معالجة مشكلة شائعة تتم مواجهتها عند تجريف الويب برنامج تشغيل الويب السيلينيوم عند التفاعل مع عناصر Shadow DOM. يعد Shadow DOM جزءًا من صفحة الويب التي تعمل بشكل منفصل عن DOM الرئيسي، وغالبًا ما يستخدم في مكونات الويب المعقدة. في سياق مواقع استخراج البيانات مثل Shopee، تظهر النوافذ المنبثقة بشكل متكرر داخل DOMs الظلية، مما قد يؤدي إلى حدوث أخطاء إذا تم الوصول إليها باستخدام طرق السيلينيوم التقليدية. تم تصميم البرنامج النصي الأول لإغلاق النافذة المنبثقة باستخدام تنفيذ JavaScript من خلال Execute_script()، أداة قوية تسمح للسيلينيوم بتشغيل جافا سكريبت الخام داخل سياق المتصفح.

التحدي الرئيسي هو أن العناصر الموجودة داخل DOM الظل لا يمكن الوصول إليها باستخدام أوامر السيلينيوم الشائعة مثل find_element_by_xpath(). بدلاً من ذلك، نستخدم JavaScript للانتقال إلى DOM الظل باستخدام ملف com.shadowRoot ملكية. يستهدف البرنامج النصي زر الإغلاق الخاص بنافذة Shopee المنبثقة عن طريق الوصول أولاً إلى عنصر مضيف الظل الخاص بها، ثم الاستعلام عن بنيتها الداخلية. من خلال الاستفادة driver.execute_script()، فإن البرنامج النصي قادر على التعامل مع العناصر وإغلاقها داخل DOM المعزول. يعمل هذا الحل بشكل جيد عند دمجه مع فترات انتظار صريحة للتعامل مع عناصر الصفحة الديناميكية التي يتم تحميلها بشكل غير متزامن.

يقدم السيناريو الثاني WebDriverWait، أداة أساسية لإدارة توقيت عناصر الصفحة الديناميكية. نظرًا لأن النوافذ المنبثقة الخاصة بـ Shopee يتم تحميلها بشكل غير متزامن، فقد يؤدي التفاعل المباشر مع هذه العناصر إلى حدوث أخطاء. لتجنب هذا، WebDriverWait() يضمن أن العناصر التي نرغب في التفاعل معها محملة بالكامل وجاهزة. ينتظر هذا البرنامج النصي وجود كل من عنصر DOM الرئيسي وعناصر DOM الظلية. الطريقة EC.presence_of_element_located() يضمن أن السيلينيوم يتفاعل مع العناصر فقط بعد أن تكون مرئية وحاضرة، وهو أمر بالغ الأهمية لتجنب الأخطاء المرجعية الفارغة.

في كلا البرنامجين، نتعامل مع حالات الخطأ باستخدام ملف محاولة باستثناء block لضمان عدم تعطل البرنامج بسبب أخطاء غير متوقعة، مثل عدم العثور على العناصر. تعد معالجة الأخطاء أمرًا مهمًا بشكل خاص عند حذف مواقع الويب التي تقوم بتحديث بنيتها بشكل متكرر أو تغيير سلوك النوافذ المنبثقة. بالإضافة إلى ذلك، تتبع هذه البرامج النصية أفضل الممارسات من خلال إنهاء جلسة المتصفح باستخدام driver.quit() بعد التنفيذ لتجنب تسرب الذاكرة أو مشاكل الأداء.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

التعامل مع المحتوى الديناميكي باستخدام Selenium WebDriver

هناك جانب رئيسي آخر يجب مراعاته عند العمل مع Selenium WebDriver لتجريد الويب وهو كيفية التعامل معه المحتوى الديناميكي يتم تحديثه أو تغييره بشكل مستمر بعد تحميل الصفحة. تستخدم العديد من مواقع الويب الحديثة، مثل Shopee، JavaScript لتحميل المحتوى وتحديثه ديناميكيًا. وهذا يعني أن العناصر الموجودة على الصفحة قد لا تكون متاحة على الفور بعد تحميل الصفحة. في مثل هذه الحالات، قد لا يكون سلوك السيلينيوم الافتراضي المتمثل في انتظار حدث تحميل الصفحة كافيًا. باستخدام ينتظر صريح مثل WebDriverWait يمكن حل هذه المشكلة عن طريق انتظار ظهور عناصر محددة أو أن تصبح قابلة للنقر عليها.

لاستخراج المواقع التي تحتوي على نوافذ منبثقة أو لافتات أو مكونات واجهة مستخدم معقدة تعتمد عليها DOM الظل، فمن الضروري معرفة كيفية التفاعل معهم. تخفي هذه المكونات عناصر داخل بنية DOM معزولة لا يمكن الوصول إليها بالطرق التقليدية مثل محددات XPath أو CSS. باستخدام Execute_script() يساعد الأمر على سد هذه الفجوة من خلال السماح لك بتشغيل JavaScript مباشرة داخل المتصفح، مما يتيح لك الوصول إلى Shadow DOM والسماح بالتفاعل مع عناصر مثل أزرار الإغلاق أو حقول النموذج داخل تلك الأجزاء المخفية من الصفحة.

بالإضافة إلى ذلك، تصبح معالجة الأخطاء أمرًا بالغ الأهمية في مثل هذه الحالات. يمكن لمواقع الويب في كثير من الأحيان تغيير بنيتها، مما يؤدي إلى تعطل كاشطات البيانات. الاستخدام السليم ل محاولة باستثناء تتيح لك الكتل في Python اكتشاف أخطاء مثل JavascriptException والتعامل معها بأمان، مما يضمن عدم تعطل المكشطة بشكل غير متوقع. يمكن أن يساعد دمج التسجيل لالتقاط تفاصيل الخطأ في تحديد السبب الجذري وحله في عمليات الخدوش المستقبلية.