تعلم استخدام Python و Beautiful Soup لتقطيع الويب على مواقع الويب الديناميكية

التغلب على تحديات تجريف الويب على مواقع التجارة الإلكترونية

يمكن أن يكون تجريف الويب أمرًا مثيرًا ومرهقًا، خاصة عندما تكون جديدًا في هذه العملية. ما زلت أتذكر محاولتي الأولى لاستخراج موقع ويب ديناميكي، فقد شعرت وكأنني أحاول قراءة كتاب من خلال زجاج بلوري. مع منصات مثل Beautiful Soup، الاحتمالات لا حصر لها، ولكن التحديات مثل التنقل في هياكل HTML المعقدة يمكن أن تختبر صبرك. 🧑‍💻

في هذا السيناريو، أنت تعمل على استخراج البيانات من موقع التجارة الإلكترونية، لكن عناصر HTML تبدو بعيدة المنال. تستخدم العديد من مواقع الويب، مثل الموقع الذي تتعامل معه، بنيات متداخلة أو محتوى ديناميكي يجعل تحديد موقع عناصر معينة أمرًا صعبًا. قد يبدو هذا الأمر محبطًا، خاصة عندما تكون في بداية استخدام أدوات مثل Python وBeautiful Soup.

لكن لا تقلق؛ واجهت كل مكشطة الويب الناجحة ذات مرة نفس العقبة. إن تعلم تحليل بنية HTML، وتحديد الأنماط، وتحسين المحددات الخاصة بك هو طقوس العبور في عالم الكشط. مع المثابرة وبعض التقنيات المجربة والحقيقية، ستتقن قريبًا فن التنقل حتى في HTML الأكثر تعقيدًا.

في هذه المقالة، سنستكشف الاستراتيجيات العملية للتنقل عبر HTML بكفاءة واستخراج العناصر الدقيقة التي تحتاجها. بدءًا من فهم العلامات وحتى العمل باستخدام أدوات المطورين، ستعمل هذه الرؤى على إعدادك لتحقيق النجاح. دعونا نتعمق! 🌟

كسر حلول تجريف الويب

النص الأول يستفيد حساء جميل، مكتبة Python شائعة لتحليل HTML، لاستخراج البيانات من موقع التجارة الإلكترونية المقدم. إنه يعمل عن طريق جلب HTML الخام باستخدام ملف طلبات Library ثم تحليلها باستخدام Beautiful Soup's html.parser. بمجرد تحليل HTML، يحدد البرنامج النصي عناصر محددة باستخدام العلامات وأسماء الفئات، مثل حاوية المنتج، والذي من المفترض أن يغلف تفاصيل المنتج. يعد هذا الأسلوب فعالاً بالنسبة لـ HTML الثابت ولكنه قد يواجه صعوبة إذا كان موقع الويب يستخدم محتوى ديناميكيًا يتم تقديمه بواسطة JavaScript. أتذكر أنني واجهت مشكلات مماثلة على موقع ويب ديناميكي للوصفات، حيث بدا كل شيء صحيحًا، ولكن لم تظهر أي بيانات! 🧑‍💻

وفي السيناريو الثاني السيلينيوم يدخل حيز التنفيذ. تعتبر هذه الأداة مفيدة بشكل خاص للمواقع التي تحتوي على محتوى تم تحميله عبر JavaScript. من خلال إطلاق جلسة متصفح حقيقية، يحاكي السيلينيوم المستخدم الذي يتفاعل مع الموقع. وهذا يسمح لها بالانتظار حتى يتم تحميل جميع العناصر ثم استخراج البيانات المطلوبة. على سبيل المثال، فإنه يحدد تفاصيل المنتج باستخدام محددات المواقع المستندة إلى الفئة مثل بواسطة.CLASS_NAME. على الرغم من أن السيلينيوم يوفر إمكانات قوية، إلا أنه يتطلب إدارة دقيقة للموارد - مثل تذكر إنهاء جلسة المتصفح - أو قد يستهلك ذاكرة زائدة، كما تعلمت خلال جلسة تصحيح الأخطاء في وقت متأخر من الليل عندما تجمد جهاز الكمبيوتر المحمول الخاص بي! 🖥️

الميزة الرئيسية الأخرى لهذه البرامج النصية هي تصميمها المعياري، مما يجعلها سهلة التكيف مع حالات الاستخدام المختلفة. البرنامج النصي لاختبار الوحدة باستخدام لغة بايثون com.unittest يضمن إطار العمل أن كل وظيفة في منطق الكشط تعمل بشكل صحيح. يتم التحقق من العثور على حاويات المنتجات واستخراج العناوين والأسعار. وهذا مهم بشكل خاص للحفاظ على الموثوقية عند حذف التغييرات، حيث تقوم مواقع الويب غالبًا بتحديث بنيتها. ذات مرة، بينما كنت أقوم بتجميع موقع مدونة، أدركت أهمية مثل هذه الاختبارات - فما نجح في أسبوع واحد فشل في الأسبوع التالي، ووفرت لي الاختبارات ساعات من استكشاف الأخطاء وإصلاحها.

تم إنشاء هذه البرامج النصية أيضًا مع وضع التحسين وإمكانية إعادة الاستخدام في الاعتبار. ومن خلال عزل الوظائف القابلة لإعادة الاستخدام مثل جلب HTML وتحليل العناصر، يمكنهم التعامل مع الصفحات أو الفئات الأخرى على نفس الموقع مع تعديلات طفيفة. تضمن هذه النمطية أن يظل توسيع مشروع التجريف قابلاً للإدارة. بشكل عام، فإن الجمع بين Beautiful Soup وSelenium يجهزك للتعامل مع عملية تجريف المحتوى الثابت والديناميكي بشكل فعال. مع الصبر والممارسة، يتحول تجريف الويب من مهمة محبطة إلى أداة مجزية لجمع البيانات. 🌟

from bs4 import BeautifulSoup
import requests

# URL of the target page
url = "https://www.noon.com/uae-en/sports-and-outdoors/exercise-and-fitness/yoga-16328/"

# Make a GET request to fetch the raw HTML content
response = requests.get(url)
soup = BeautifulSoup(response.content, "html.parser")

# Find all product boxes
product_boxes = soup.find_all("div", class_="productContainer")

for product in product_boxes:
    # Extract the title
    title = product.find("div", class_="name").text if product.find("div", class_="name") else "No title"
    # Extract the price
    price = product.find("div", class_="price").text if product.find("div", class_="price") else "No price"
    print(f"Product: {title}, Price: {price}")

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

# Set up Selenium WebDriver
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))
url = "https://www.noon.com/uae-en/sports-and-outdoors/exercise-and-fitness/yoga-16328/"
driver.get(url)

# Wait for the products to load
products = driver.find_elements(By.CLASS_NAME, "productContainer")

for product in products:
    try:
        title = product.find_element(By.CLASS_NAME, "name").text
        price = product.find_element(By.CLASS_NAME, "price").text
        print(f"Product: {title}, Price: {price}")
    except:
        print("Error extracting product details")

driver.quit()

import unittest
from bs4 import BeautifulSoup
import requests

class TestWebScraper(unittest.TestCase):
    def setUp(self):
        url = "https://www.noon.com/uae-en/sports-and-outdoors/exercise-and-fitness/yoga-16328/"
        response = requests.get(url)
        self.soup = BeautifulSoup(response.content, "html.parser")

    def test_product_extraction(self):
        product_boxes = self.soup.find_all("div", class_="productContainer")
        self.assertGreater(len(product_boxes), 0, "No products found")

    def test_title_extraction(self):
        first_product = self.soup.find("div", class_="productContainer")
        title = first_product.find("div", class_="name").text if first_product.find("div", class_="name") else None
        self.assertIsNotNone(title, "Title not extracted")

if __name__ == "__main__":
    unittest.main()

استكشاف التقنيات المتقدمة في تجريف الويب

عند التعامل مع مواقع الويب المعقدة لتجميع الويب، فإن أحد الجوانب المهمة التي يجب مراعاتها هو التعامل مع المحتوى الديناميكي. تعتمد العديد من مواقع الويب الحديثة على JavaScript لتحميل العناصر بعد تسليم HTML الأولي. وهذا يعني أدوات مثل حساء جميل، الذي يقوم بتحليل HTML الثابت فقط، قد يفشل في التقاط كافة البيانات الضرورية. في مثل هذه الحالات، يتم دمج أداة أتمتة المتصفح مثل السيلينيوم يصبح ضروريا. يمكن أن يتفاعل السيلينيوم مع موقع الويب تمامًا مثل المستخدم الحقيقي، في انتظار تحميل العناصر واستخراج البيانات وفقًا لذلك. يعد هذا مفيدًا بشكل خاص عند استخراج المواقع التي تعرض العناصر الأساسية بشكل غير متزامن. 🌐

هناك اعتبار حاسم آخر وهو بنية موقع الويب وواجهة برمجة التطبيقات (API) الأساسية الخاصة به. تعرض بعض مواقع الويب نقطة نهاية API منظمة تُستخدم لتحميل المحتوى ديناميكيًا. من خلال فحص نشاط الشبكة من خلال أدوات المطورين، قد تكتشف بيانات JSON التي يسهل استخراجها من HTML. على سبيل المثال، بدلاً من تحليل علامات متداخلة متعددة للحصول على تفاصيل المنتج، يمكنك جلب كائنات JSON مباشرةً التي تحتوي على بيانات منظمة ونظيفة. هذه الطريقة أسرع وأكثر موثوقية وتقلل من طلبات الخادم غير الضرورية. استخدام المكتبات مثل طلبات أو httpx يعد تفاعل واجهة برمجة التطبيقات (API) طريقة ممتازة لتحسين الأداء.

وأخيرًا، لا يمكن التغاضي عن ممارسات الكشط الأخلاقية والامتثال لشروط خدمة الموقع. يعد احترام ملف robots.txt، وتجنب التحميل الزائد على الخادم من خلال التقييد، واستخدام الرؤوس لتقليد مستخدم حقيقي من أفضل الممارسات الأساسية. إضافة تأخيرات بين الطلبات أو استخدام المكتبات مثل وقت أو غير متزامن، يضمن التشغيل السلس. عندما بدأت في تجريف الويب لأول مرة، تجاهلت هذه الإرشادات، مما أدى إلى حظر عنوان IP الخاص بي - وهو درس لن أنساه! ضع في اعتبارك دائمًا هذه العوامل لضمان جمع البيانات بكفاءة ومسؤولية. 🌟