Pythoni ja kauni supi kasutamise õppimine dünaamilistel veebisaitidel veebi kraapimiseks

Veebi kraapimisega seotud väljakutsete ületamine e-kaubanduse saitidel

Veebi kraapimine võib olla nii põnev kui ka heidutav, eriti kui olete selle protsessiga uus. Mäletan siiani oma esimest katset dünaamilist veebisaiti kraapida – tundus, nagu prooviksin lugeda raamatut läbi mattklaasi. Selliste platvormidega nagu Beautiful Soup on võimalused lõputud, kuid sellised väljakutsed nagu keerulistes HTML-struktuurides navigeerimine võivad teie kannatlikkuse proovile panna. 🧑‍💻

Selle stsenaariumi korral töötate e-kaubanduse veebisaidilt andmete hankimise kallal, kuid HTML-i elemendid tunduvad raskesti mõistetavad. Paljud veebisaidid, nagu see, millega tegelete, kasutavad pesastatud struktuure või dünaamilist sisu, mis muudab konkreetsete elementide leidmise keeruliseks. See võib tunduda masendav, eriti kui alles alustate selliste tööriistadega nagu Python ja Beautiful Soup.

Kuid ärge muretsege; iga edukas veebikaabits võitles kunagi sama tõkkega. HTML-i struktuuri analüüsimise, mustrite tuvastamise ja selektorite viimistlemise õppimine on kraapimise maailmas läbiminek. Püsivuse ja mõne läbiproovitud tehnika abil omandate peagi isegi kõige keerulisemas HTML-is navigeerimise kunsti.

Selles artiklis uurime praktilisi strateegiaid HTML-is tõhusaks navigeerimiseks ja täpsete elementide väljavõtmiseks. Alates siltide mõistmisest kuni arendajatööriistadega töötamiseni – need ülevaated aitavad teil edu saavutada. Sukeldume sisse! 🌟

Veebi kraapimislahenduste lagunemine

Esimene skript kasutab Ilus supp, populaarne Pythoni teek HTML-i sõelumiseks, et saada andmeid pakutud e-kaubanduse saidilt. See toimib toore HTML-i toomisel, kasutades taotlusi raamatukogu ja seejärel analüüsides seda rakendusega Beautiful Soup's html.parser. Kui HTML on sõelutud, tuvastab skript konkreetsed elemendid, kasutades silte ja klassinimesid, näiteks tootekonteiner, mis eeldab toote üksikasjade pakkimist. See lähenemine on tõhus staatilise HTML-i puhul, kuid võib tekkida probleeme, kui veebisait kasutab JavaScripti renderdatavat dünaamilist sisu. Mäletan, et võitlesin dünaamilisel retseptide veebisaidil sarnaste probleemidega – kõik tundus õige, kuid andmeid ei ilmunud! 🧑‍💻

Teises skriptis Seleen mängu tuleb. See tööriist on eriti kasulik saitide jaoks, mille sisu on laaditud JavaScripti kaudu. Tõelise brauseri seansi käivitamisega simuleerib Selenium kasutajat, kes suhtleb saidiga. See võimaldab oodata, kuni kõik elemendid laaditakse, ja seejärel vajalikud andmed ekstraheerida. Näiteks otsib see toote üksikasju, kasutades klassipõhiseid lokaatoreid nagu Autor.CLASS_NAME. Kuigi Selenium pakub võimsaid võimalusi, nõuab see hoolikat ressursside haldamist (nt brauseri seansi sulgemise meelespidamine) või võib see kulutada liiga palju mälu, nagu sain teada hilisõhtuse silumiseansi ajal, kui mu sülearvuti hangus! 🖥️

Nende skriptide teine ​​põhiomadus on nende modulaarne disain, mis muudab need hõlpsasti kohandatavaks erinevateks kasutusjuhtudeks. Üksuse testskript Pythoni abil ühiktest raamistik tagab, et iga kraapimisloogika funktsioon toimib õigesti. See kontrollib, kas tootemahutid on leitud ning pealkirjad ja hinnad on eraldatud. See on eriti oluline usaldusväärsuse säilitamiseks muudatuste kraapimisel, kuna veebisaidid värskendavad sageli oma struktuuri. Kunagi blogisaiti kraapides mõistsin selliste testide olulisust – see, mis ühel nädalal töötas, läks teisel nädalal korda ja testid säästsid tunde tõrkeotsingust.

Need skriptid on loodud ka optimeerimist ja korduvkasutatavust silmas pidades. Eraldades korduvkasutatavad funktsioonid, nagu HTML-i toomine ja elementide sõelumine, saavad nad väiksemate muudatustega käsitleda teisi lehti või kategooriaid samal saidil. See modulaarsus tagab, et kraapimisprojekti laiendamine jääb juhitavaks. Üldiselt annab kauni supi ja seleeni kombineerimine teile varustuse nii staatilise kui ka dünaamilise sisu kraapimise tõhusaks lahendamiseks. Kannatlikkuse ja harjutamisega muutub veebikraapimine masendavast ülesandest tasuvaks andmete kogumise tööriistaks. 🌟

from bs4 import BeautifulSoup
import requests

# URL of the target page
url = "https://www.noon.com/uae-en/sports-and-outdoors/exercise-and-fitness/yoga-16328/"

# Make a GET request to fetch the raw HTML content
response = requests.get(url)
soup = BeautifulSoup(response.content, "html.parser")

# Find all product boxes
product_boxes = soup.find_all("div", class_="productContainer")

for product in product_boxes:
    # Extract the title
    title = product.find("div", class_="name").text if product.find("div", class_="name") else "No title"
    # Extract the price
    price = product.find("div", class_="price").text if product.find("div", class_="price") else "No price"
    print(f"Product: {title}, Price: {price}")

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

# Set up Selenium WebDriver
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))
url = "https://www.noon.com/uae-en/sports-and-outdoors/exercise-and-fitness/yoga-16328/"
driver.get(url)

# Wait for the products to load
products = driver.find_elements(By.CLASS_NAME, "productContainer")

for product in products:
    try:
        title = product.find_element(By.CLASS_NAME, "name").text
        price = product.find_element(By.CLASS_NAME, "price").text
        print(f"Product: {title}, Price: {price}")
    except:
        print("Error extracting product details")

driver.quit()

import unittest
from bs4 import BeautifulSoup
import requests

class TestWebScraper(unittest.TestCase):
    def setUp(self):
        url = "https://www.noon.com/uae-en/sports-and-outdoors/exercise-and-fitness/yoga-16328/"
        response = requests.get(url)
        self.soup = BeautifulSoup(response.content, "html.parser")

    def test_product_extraction(self):
        product_boxes = self.soup.find_all("div", class_="productContainer")
        self.assertGreater(len(product_boxes), 0, "No products found")

    def test_title_extraction(self):
        first_product = self.soup.find("div", class_="productContainer")
        title = first_product.find("div", class_="name").text if first_product.find("div", class_="name") else None
        self.assertIsNotNone(title, "Title not extracted")

if __name__ == "__main__":
    unittest.main()

Veebi kraapimise täiustatud tehnikate uurimine

Veebi kraapimiseks keeruliste veebisaitide käsitlemisel tuleb arvestada dünaamilise sisuga. Paljud kaasaegsed veebisaidid kasutavad pärast esialgse HTML-i edastamist elementide laadimiseks JavaScripti. See tähendab selliseid tööriistu nagu Ilus supp, mis sõelub ainult staatilist HTML-i, ei pruugi kõiki vajalikke andmeid koguda. Sellistel juhtudel integreeritakse brauseri automatiseerimistööriist nagu Seleen muutub hädavajalikuks. Seleen saab veebisaidiga suhelda nagu päriskasutaja, oodates elementide laadimist ja ekstraheerides vastavalt andmeid. See on eriti kasulik selliste saitide kraapimisel, mis renderdavad võtmeelemente asünkroonselt. 🌐

Teine oluline kaalutlus on veebisaidi struktuur ja selle aluseks olev API. Mõned veebisaidid avaldavad struktureeritud API lõpp-punkti, mida kasutatakse sisu dünaamiliseks laadimiseks. Võrgutegevust arendajatööriistade kaudu kontrollides võite avastada JSON-andmeid, mida on lihtsam eraldada kui HTML-i. Näiteks saate toote üksikasjade jaoks mitme pesastatud sildi sõelumise asemel tuua otse puhtaid struktureeritud andmeid sisaldavad JSON-objektid. See meetod on kiirem, töökindlam ja vähendab tarbetuid serveripäringuid. Kasutades teeke nagu taotlusi või httpx API interaktsiooni jaoks on suurepärane lähenemisviis jõudluse optimeerimiseks.

Lõpuks ei saa tähelepanuta jätta eetilist kraapimispraktikat ja veebisaidi teenusetingimuste järgimist. Peamised head tavad on faili robots.txt austamine, serveri liigse koormuse vältimine piirangutega ja päiste kasutamine tegeliku kasutaja jäljendamiseks. Viivituste lisamine taotluste vahele või teekide kasutamine nagu aega või asyncio, tagab sujuva töö. Kui ma esimest korda veebi kraapimist alustasin, eirasin ma neid juhiseid, mille tulemusel minu IP blokeeriti – see õppetund, mida ma ei unusta! Tõhusa ja vastutustundliku andmete kogumise tagamiseks arvestage alati nende teguritega. 🌟