Kaip naudoti Python 3.x norint atsisiųsti URL iš tinklalapių, kuriuose įgalinta JavaScript

Iššūkių įveikimas atsisiunčiant turinį iš „JavaScript“ priklausomų puslapių

Kai naudojate Python automatizuoti atsisiuntimus iš tinklalapių, galite susidurti su situacijomis, kai tinklalapiui reikia įjungti JavaScript, kad jis tinkamai veiktų. Tai gali būti nelinksma, kaip mėgsta bibliotekos prašymus nėra skirti „JavaScript“ vykdymui. Vienas iš tokių pavyzdžių yra „JFrog Artifactory“, kuriai reikalingas „JavaScript“, kad būtų rodomas turinys arba leista atsisiųsti.

Galite naudoti tradicinį žiniatinklio grandymą prašymus arba urllib norėdami gauti tinklalapio turinį. Tačiau puslapiuose, kurie labai priklauso nuo „JavaScript“, šios bibliotekos nėra tinkamos, nes jos negali apdoroti dinaminio turinio atvaizdavimo. Taigi, norint įveikti šį apribojimą, jums reikės pažangesnių įrankių.

Laimei, „Python“ siūlo alternatyvas puslapiams, kuriuose įgalinta „JavaScript“, tvarkyti. Įrankiai kaip Selenas arba Pipeteris įgalinti visą naršyklės emuliaciją, leidžiančią sąveikauti ir atsisiųsti turinį iš tokių puslapių. Šios bibliotekos gali imituoti tikrą naršyklės aplinką, kurioje visiškai palaikoma „JavaScript“.

Šiame straipsnyje bus nagrinėjama, kaip pereiti nuo naudojimo prašymus į daugiau galimybių turinčias bibliotekas, skirtas pasiekti ir atsisiųsti turinį iš tinklalapių, kuriuose įgalinta „JavaScript“, užtikrinant sklandų automatizavimo užduočių vykdymą.

„Python“ naudojimas norint atsisiųsti iš „JavaScript“ įgalintų puslapių

Naudojant tradicinį Python žiniatinklio grandymą, bibliotekos mėgsta prašymus dažnai naudojami norint atsisiųsti turinį tiesiai iš tinklalapių. Tačiau dirbant su „JavaScript“ turinčiomis svetainėmis, tokiomis kaip „JFrog Artifactory“, šios bibliotekos nepatenka. Pagrindinė priežastis yra ta, kad tinklalapiui reikalingas JavaScript, kad būtų galima dinamiškai įkelti turinį prašymus negali susitvarkyti. Norėdami tai įveikti, pristatėme tokius sprendimus kaip Selenas, Pipeteris, ir Užklausos-HTML, kurie leidžia vykdyti JavaScript. Šie įrankiai imituoja naršyklės aplinką, leidžiančią Python scenarijus pasiekti ir atsisiųsti turinį iš su JavaScript pagrįstų tinklalapių.

Pirmasis metodas naudojant Seleną apima naršyklės egzemplioriaus, galinčio pateikti „JavaScript“, paleidimą. Tai leidžia palaukti, kol puslapis bus visiškai įkeltas, prieš išgaunant puslapio šaltinio kodą. Tai ypač naudinga, kai puslapio turinys generuojamas dinamiškai. Pavyzdžiui, naudojant webdriver.Chrome() komanda inicijuoja naršyklę ir pasiekia tikslinį URL. Naudojant time.sleep(), užtikriname, kad būtų suteikta pakankamai laiko JavaScript įkelti. Galiausiai išskleistas puslapio turinys išsaugomas į failą, suteikiant mums reikiamą tinklalapį statine forma.

Antruoju metodu panaudojome Pyppeteer, Python įvyniotuvą, skirtą Puppeteer. „Pyppeteer“ yra dar vienas galingas įrankis, skirtas „JavaScript“ vykdymui. Kaip ir Selenas, „Pyppeteer“ paleidžia naršyklę be galvos, kuri naršo į tinklalapį, laukia, kol bus paleista „JavaScript“, ir tada nuskaito turinį. Pagrindinis „Pyppeteer“ naudojimo pranašumas yra tas, kad jis suteikia daugiau galimybių valdyti naršymo seansą, pvz., laukiama, kol konkretūs elementai bus įkelti naudojant komandas, pvz. laukti puslapio.waitForSelector(). Taip užtikrinama, kad reikalingas puslapio turinys būtų visiškai pateiktas prieš scenarijui bandant jį atsisiųsti.

Trečiasis sprendimas naudoja „Requests-HTML“ biblioteką, kuri supaprastina „JavaScript“ pateikimo procesą, nereikalaujant visavertės naršyklės, pvz., „Selenium“ ar „Pyppeteer“. Naudodami užklausas-HTML galime inicijuoti HTTP seansą naudodami session.get() norėdami gauti tinklalapį, tada paleiskite JavaScript su response.html.render() metodas. Šis sprendimas yra lengvesnis, palyginti su visos naršyklės modeliavimo metodais, ir dažnai yra tinkamesnis, kai nereikia papildomos visos naršyklės išlaidų. Tai ypač naudinga atliekant paprastesnes „JavaScript“ operacijas, todėl tai yra optimalus pasirinkimas konkrečiais naudojimo atvejais.

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
import time
def download_using_selenium(url, username, apikey):
    # Setup Selenium WebDriver
    options = webdriver.ChromeOptions()
    options.add_argument('--headless')
    driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=options)
    driver.get(url)
    time.sleep(3)  # Wait for JavaScript to load
    
    # Assuming basic authentication via URL for this example
    auth_url = f'{url}?username={username}&password={apikey}'
    driver.get(auth_url)
    
    # Extract content
    page_content = driver.page_source
    
    # Save to file
    with open("download_selenium.html", "w") as file:
        file.write(page_content)
    
    driver.quit()
    print("Download complete using Selenium.")

import asyncio
from pyppeteer import launch
async def download_using_pyppeteer(url, username, apikey):
    # Launch headless browser
    browser = await launch(headless=True)
    page = await browser.newPage()
    
    # Basic auth and URL loading
    auth_url = f'{url}?username={username}&password={apikey}'
    await page.goto(auth_url)
    
    # Wait for the JavaScript to load
    await page.waitForSelector('body')
    
    # Extract page content
    content = await page.content()
    
    # Save to file
    with open("download_pyppeteer.html", "w") as file:
        file.write(content)
    
    await browser.close()
    print("Download complete using Pyppeteer.")
# Run the async function
asyncio.get_event_loop().run_until_complete(download_using_pyppeteer("https://example.com", "user", "key"))

from requests_html import HTMLSession
def download_using_requests_html(url, username, apikey):
    session = HTMLSession()
    
    # Make the request
    auth_url = f'{url}?username={username}&password={apikey}'
    response = session.get(auth_url)
    
    # Render the JavaScript
    response.html.render()
    
    # Save the page content
    with open("download_requests_html.html", "w") as file:
        file.write(response.html.html)
    
    print("Download complete using Requests-HTML.")
download_using_requests_html("https://example.com", "user", "key")

„Python Web Scraping“ tobulinimas puslapiams, kuriuose įgalinta „JavaScript“.

Grąžinant tinklalapius, kuriuose yra daug „JavaScript“, dažnas iššūkis yra apeiti autentifikavimo arba API rakto apribojimus, ypač tokiose programose kaip „JFrog Artifactory“. Nors anksčiau tyrinėjome naršyklės automatizavimą naudodami tokius įrankius kaip Selenium ir Pyppeteer, yra ir kitų sprendimų, kuriuose daugiau dėmesio skiriama HTTP atsakymų tvarkymui. Pavyzdžiui, API integravimas ir antraščių panaudojimas gali padėti apeiti autentifikavimo raginimus arba gauti konkretesnį turinį be papildomos visos naršyklės modeliavimo.

Kitas svarbus aspektas yra tai, kaip šios bibliotekos tvarko sudėtingas formas, pvz., reikalingas prisijungimui arba API prieigos rakto įvedimui. Įprastas sprendimas apima formų pateikimo imitavimą naudojant Python bibliotekas, pvz., prašymus. Tai leidžia sklandžiai sąveikauti su serverio autentifikavimu nereikalaujant „JavaScript“ vykdymo ir taupyti išteklius. Be to, norint užtikrinti saugesnius puslapius, scenarijuje įtraukus tokias funkcijas kaip seansų valdymas ir prieigos raktu pagrįstas autentifikavimas, gali žymiai pagerinti našumą.

Taip pat svarbu aptarti galimas problemas, pvz., CAPTCHA iššūkius, kurie gali būti kliūtis nuskaitant ar automatizuojant užduotis. Norėdami susidoroti su CAPTCHA, kai kurie kūrėjai pasirenka trečiųjų šalių paslaugas, kurios automatiškai išsprendžia CAPTCHA. Kiti integruoja mašininio mokymosi algoritmus, nors tai gali būti sudėtingiau. Suprasdami šias papildomas saugos priemones, galite paruošti scenarijus susidoroti su įvairesniais iššūkiais ir užtikrinti, kad jūsų Python scenarijus veiktų efektyviai sąveikaujant su JavaScript pagrįstomis platformomis.