كيفية استخدام Python 3.x لتنزيل عنوان URL من صفحات الويب التي تدعم JavaScript

التغلب على التحديات في تنزيل المحتوى من الصفحات المعتمدة على JavaScript

عند استخدام Python لأتمتة التنزيلات من صفحات الويب، قد تواجه مواقف تتطلب فيها صفحة الويب تمكين JavaScript للعمل بشكل سليم. قد يكون هذا محبطًا، كما تحب المكتبات طلبات ليست مصممة للتعامل مع تنفيذ JavaScript. أحد الأمثلة على ذلك هو JFrog Artifactory، الذي يتطلب JavaScript لعرض المحتوى أو السماح بالتنزيلات.

في تجريف الويب التقليدي، يمكنك استخدام طلبات أو urllib لجلب محتوى صفحة الويب. ومع ذلك، بالنسبة للصفحات التي تعتمد بشكل كبير على JavaScript، فإن هذه المكتبات تعجز عن التعامل مع عرض المحتوى الديناميكي. وبالتالي، سوف تحتاج إلى أدوات أكثر تقدما للتغلب على هذا القيد.

لحسن الحظ، تقدم بايثون بدائل للتعامل مع الصفحات التي تدعم جافا سكريبت. أدوات مثل السيلينيوم أو محرك Pyppeter تمكين محاكاة المتصفح بالكامل، مما يسمح لك بالتفاعل مع هذه الصفحات وتنزيل المحتوى منها. يمكن لهذه المكتبات محاكاة بيئة متصفح حقيقية حيث يتم دعم JavaScript بشكل كامل.

سوف تستكشف هذه المقالة كيفية التبديل من الاستخدام طلبات إلى مكتبات أكثر قدرة على الوصول إلى المحتوى وتنزيله من صفحات الويب التي تدعم JavaScript، مما يضمن تشغيل مهام التشغيل الآلي الخاصة بك بسلاسة.

استخدام Python للتنزيل من الصفحات التي تدعم JavaScript

في تجريف ويب بايثون التقليدي، تحب المكتبات طلبات تُستخدم غالبًا لتنزيل المحتوى مباشرةً من صفحات الويب. ومع ذلك، عند التعامل مع المواقع التي تستخدم JavaScript بكثرة، مثل JFrog Artifactory، فإن هذه المكتبات تفشل. السبب الرئيسي هو أن صفحة الويب تتطلب JavaScript لتحميل المحتوى ديناميكيًا طلبات لا يمكن التعامل معها. للتغلب على هذا، قدمنا ​​حلولا مثل السيلينيوم, محرك Pyppeter، و طلبات-HTMLوالتي تسمح بتنفيذ جافا سكريبت. تحاكي هذه الأدوات بيئة المتصفح، مما يتيح للبرامج النصية لـ Python الوصول إلى المحتوى وتنزيله من صفحات الويب التي تعتمد على JavaScript.

تتضمن الطريقة الأولى باستخدام السيلينيوم إطلاق نسخة متصفح يمكنها عرض JavaScript. فهو يسمح لنا بالانتظار حتى يتم تحميل الصفحة بالكامل قبل استخراج الكود المصدري للصفحة. وهذا مفيد بشكل خاص عندما يتم إنشاء محتوى الصفحة ديناميكيًا. على سبيل المثال، باستخدام برنامج تشغيل الويب.Chrome() يقوم الأمر بتهيئة المتصفح ثم الوصول إلى عنوان URL المستهدف. باستخدام وقت النوم ()، نحن نضمن توفير الوقت الكافي لتحميل JavaScript. وأخيرًا، يتم حفظ محتوى الصفحة المستخرجة في ملف، مما يوفر لنا صفحة الويب المطلوبة في شكل ثابت.

في النهج الثاني، استخدمنا Pyppeteer، وهو غلاف Python لـ Puppeteer. Pyppeteer هي أداة قوية أخرى مصممة للتعامل مع تنفيذ JavaScript. مثل السيلينيوم، يطلق Pyppeteer متصفحًا بدون رأس ينتقل إلى صفحة الويب، وينتظر تنفيذ JavaScript، ثم يسترد المحتوى. الميزة الرئيسية لاستخدام Pyppeteer هي أنه يوفر المزيد من التحكم في جلسة التصفح، مثل انتظار تحميل عناصر محددة باستخدام أوامر مثل في انتظار page.waitForSelector(). يضمن ذلك عرض محتوى الصفحة المطلوب بالكامل قبل أن يحاول البرنامج النصي تنزيله.

يعمل الحل الثالث على تعزيز مكتبة Requests-HTML، التي تعمل على تبسيط عملية عرض JavaScript دون الحاجة إلى متصفح كامل مثل Selenium أو Pyppeteer. باستخدام Requests-HTML، يمكننا بدء جلسة HTTP باستخدام جلسة.get() لجلب صفحة الويب، ثم قم بتنفيذ JavaScript باستخدام ملف Response.html.render() طريقة. يعد هذا الحل أخف مقارنة بأساليب محاكاة المتصفح الكامل وغالبًا ما يكون أكثر ملاءمة عندما لا تحتاج إلى تحميل متصفح كامل الوظائف. وهو مفيد بشكل خاص لعمليات JavaScript الأبسط، مما يجعله الاختيار الأمثل لحالات استخدام محددة.

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
import time
def download_using_selenium(url, username, apikey):
    # Setup Selenium WebDriver
    options = webdriver.ChromeOptions()
    options.add_argument('--headless')
    driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=options)
    driver.get(url)
    time.sleep(3)  # Wait for JavaScript to load
    
    # Assuming basic authentication via URL for this example
    auth_url = f'{url}?username={username}&password={apikey}'
    driver.get(auth_url)
    
    # Extract content
    page_content = driver.page_source
    
    # Save to file
    with open("download_selenium.html", "w") as file:
        file.write(page_content)
    
    driver.quit()
    print("Download complete using Selenium.")

import asyncio
from pyppeteer import launch
async def download_using_pyppeteer(url, username, apikey):
    # Launch headless browser
    browser = await launch(headless=True)
    page = await browser.newPage()
    
    # Basic auth and URL loading
    auth_url = f'{url}?username={username}&password={apikey}'
    await page.goto(auth_url)
    
    # Wait for the JavaScript to load
    await page.waitForSelector('body')
    
    # Extract page content
    content = await page.content()
    
    # Save to file
    with open("download_pyppeteer.html", "w") as file:
        file.write(content)
    
    await browser.close()
    print("Download complete using Pyppeteer.")
# Run the async function
asyncio.get_event_loop().run_until_complete(download_using_pyppeteer("https://example.com", "user", "key"))

from requests_html import HTMLSession
def download_using_requests_html(url, username, apikey):
    session = HTMLSession()
    
    # Make the request
    auth_url = f'{url}?username={username}&password={apikey}'
    response = session.get(auth_url)
    
    # Render the JavaScript
    response.html.render()
    
    # Save the page content
    with open("download_requests_html.html", "w") as file:
        file.write(response.html.html)
    
    print("Download complete using Requests-HTML.")
download_using_requests_html("https://example.com", "user", "key")

تحسين عملية تجريف ويب Python للصفحات التي تدعم JavaScript

عند استخراج صفحات ويب كثيفة استخدام JavaScript، يتمثل التحدي الشائع في تجاوز قيود المصادقة أو مفاتيح واجهة برمجة التطبيقات (API)، خاصة في تطبيقات مثل JFrog Artifactory. بينما قمنا سابقًا باستكشاف أتمتة المتصفح باستخدام أدوات مثل Selenium وPyppeteer، هناك حلول أخرى تركز بشكل أكبر على التعامل مع استجابات HTTP. على سبيل المثال، يمكن أن يساعد دمج واجهات برمجة التطبيقات (APIs) والاستفادة من الرؤوس في تجاوز مطالبات المصادقة أو استرداد محتوى أكثر تحديدًا، دون تحمل تكاليف محاكاة المتصفح الكاملة.

الجانب الرئيسي الآخر هو كيفية تعامل هذه المكتبات مع النماذج المعقدة، مثل تلك المطلوبة لتسجيل الدخول أو إدخال الرمز المميز لواجهة برمجة التطبيقات. يتضمن الحل النموذجي محاكاة عمليات إرسال النماذج باستخدام مكتبات Python مثل طلبات. وهذا يسمح بالتفاعل السلس مع المصادقة من جانب الخادم دون الحاجة إلى تنفيذ JavaScript، مما يوفر الموارد. بالإضافة إلى ذلك، بالنسبة للصفحات الأكثر أمانًا، فإن إضافة ميزات مثل إدارة الجلسة والمصادقة المستندة إلى الرمز المميز في البرنامج النصي الخاص بك يمكن أن يؤدي إلى تحسين الأداء بشكل كبير.

من المهم أيضًا مناقشة المشكلات المحتملة مثل تحديات اختبار CAPTCHA، والتي يمكن أن تشكل عقبة عند استخراج المهام أو تشغيلها تلقائيًا. للتعامل مع اختبارات CAPTCHA، يختار بعض المطورين خدمات الجهات الخارجية التي تحل اختبار CAPTCHA تلقائيًا. يقوم البعض الآخر بدمج خوارزميات التعلم الآلي، على الرغم من أن هذا قد يكون أكثر تعقيدًا. يساعدك فهم إجراءات الأمان الإضافية هذه على إعداد البرامج النصية الخاصة بك للتعامل مع نطاق أوسع من التحديات، مما يضمن تشغيل برنامج Python النصي بكفاءة عند التفاعل مع الأنظمة الأساسية المستندة إلى JavaScript.