Научите да користите Питхон и прелепу супу за Веб Сцрапинг на динамичким веб локацијама

Превазилажење изазова гребања веба на сајтовима за е-трговину

Скрапинг на вебу може бити и узбудљив и застрашујући, посебно када сте нови у процесу. Још увек се сећам свог првог покушаја стругања динамичког веб-сајта — било ми је као да покушавам да читам књигу кроз мат стакло. Са платформама као што је Беаутифул Соуп, могућности су бескрајне, али изазови попут навигације сложеним ХТМЛ структурама могу тестирати ваше стрпљење. 🧑‍💻

У овом сценарију радите на извлачењу података са веб локације за е-трговину, али ХТМЛ елементи изгледају неухватљиви. Многе веб локације, попут оне са којом имате посла, користе угнежђене структуре или динамички садржај који отежава проналажење одређених елемената. Ово може бити фрустрирајуће, посебно када тек почињете са алатима као што су Питхон и Беаутифул Соуп.

Али не брините; сваки успешан веб стругач некада се борио са овом истом препреком. Учење да анализирате ХТМЛ структуру, идентификујете обрасце и прецизирате своје селекторе је обред пролаза у свету стругања. Уз упорност и неколико испробаних техника, ускоро ћете савладати уметност навигације чак и најзамршенијим ХТМЛ-ом.

У овом чланку ћемо истражити практичне стратегије за ефикасну навигацију у ХТМЛ-у и издвајање тачних елемената који су вам потребни. Од разумевања ознака до рада са алаткама за програмере, ови увиди ће вас поставити за успех. Уронимо! 🌟

Цомманд	Пример употребе
find_all	Користи се за преузимање свих инстанци одређене ХТМЛ ознаке или класе у ХТМЛ документу. На пример, соуп.финд_алл("див", цласс_="продуцтЦонтаинер") преузима све контејнере производа на страници.
requests.get	Прави ХТТП ГЕТ захтев за преузимање сировог ХТМЛ садржаја дате УРЛ адресе. Пример: респонсе = рекуестс.гет(урл) преузима ХТМЛ странице за рашчлањивање.
BeautifulSoup	Иницијализује ХТМЛ парсер. Пример: супа = БеаутифулСоуп(респонсе.цонтент, "хтмл.парсер") припрема ХТМЛ садржај за даљу обраду.
find_element	Користи се са Селеном за лоцирање једног елемента на страници. Пример: продуцт.финд_елемент(Би.ЦЛАСС_НАМЕ, "наме") преузима назив производа.
find_elements	Слично као и финд_елемент, али преузима све одговарајуће елементе. Пример: дривер.финд_елементс(Би.ЦЛАСС_НАМЕ, "продуцтЦонтаинер") преузима све контејнере производа за итерацију.
By.CLASS_NAME	Стратегија локатора селена за идентификацију елемената по имену класе. Пример: По.ЦЛАСС_НАМЕ, „цена“ лоцира елементе са наведеном класом.
assertGreater	Користи се у тестовима јединица за проверу да је вредност већа од друге. Пример: селф.ассертГреатер(лен(продуцт_бокес), 0) обезбеђује да се производи пронађу током гребања.
ChromeDriverManager	Аутоматски управља преузимањем и подешавањем Цхроме ВебДривер-а за Селен. Пример: драјвер = вебдривер.Цхроме(сервице=Сервице(ЦхромеДриверМанагер().инсталл())).
text	Преузима текстуални садржај ХТМЛ елемента. Пример: титле = продуцт.финд("див", цласс_="наме").тект издваја видљиви текст за назив производа.
unittest.TestCase	Класа из Питхон-овог модула униттест који се користи за дефинисање тест случајева. Пример: класа ТестВебСцрапер(униттест.ТестЦасе) креира скуп тестова за стругач.

Разбијање решења за гребање веба

Први сценарио користи , популарна Питхон библиотека за рашчлањивање ХТМЛ-а, за издвајање података са обезбеђеног сајта за е-трговину. Ради тако што преузима сирови ХТМЛ користећи библиотеку, а затим га анализирати са Прелепом супом . Када се ХТМЛ рашчлани, скрипта идентификује одређене елементе користећи ознаке и имена класа, као што су продуцтЦонтаинер, за који се претпоставља да омотава детаље о производу. Овај приступ је ефикасан за статички ХТМЛ, али може имати проблема ако веб локација користи динамички садржај који приказује ЈаваСцрипт. Сећам се да сам се борио са сличним проблемима на веб локацији са динамичким рецептима - све је изгледало исправно, али се подаци нису појавили! 🧑‍💻

У другом сценарију, долази у игру. Овај алат је посебно користан за сајтове са садржајем учитаним преко ЈаваСцрипт-а. Покретањем праве сесије претраживача, Селениум симулира интеракцију корисника са сајтом. Ово му омогућава да сачека да се сви елементи учитају, а затим извуче потребне податке. На пример, лоцира детаље о производу користећи локаторе засноване на класама као што су . Иако Селен пружа моћне могућности, захтева пажљиво управљање ресурсима — као што је сећање да напустите сесију прегледача — или би могао да потроши превише меморије, као што сам сазнао током сесије отклањања грешака у касним ноћним сатима када се мој лаптоп замрзнуо! 🖥

Још једна кључна карактеристика ових скрипти је њихов модуларни дизајн, што их чини лаким за прилагођавање различитим случајевима употребе. Скрипта за тестирање јединице користећи Питхон Фрамеворк обезбеђује да свака функција у логици стругања ради исправно. Он потврђује да су контејнери производа пронађени и да су наслови и цене извучени. Ово је посебно важно за одржавање поузданости приликом гребања промена, јер веб локације често ажурирају своју структуру. Једном, док сам читао блог сајт, схватио сам важност таквих тестова — оно што је функционисало једне недеље је покварило следеће, а тестови су ми уштедели сате решавања проблема.

Ове скрипте су такође направљене имајући на уму оптимизацију и поновну употребу. Изолујући функције за вишекратну употребу, као што су преузимање ХТМЛ-а и рашчлањивање елемената, они могу да рукују другим страницама или категоријама на истом сајту уз мања подешавања. Ова модуларност осигурава да проширење пројекта стругања остаје под контролом. Све у свему, комбиновање прелепе супе и селена омогућава вам да се ефикасно ухватите у коштац са статичким и динамичким садржајем. Уз стрпљење и праксу, веб стругање се претвара из фрустрирајућег задатка у алат за награђивање за прикупљање података. 🌟

from bs4 import BeautifulSoup
import requests

# URL of the target page
url = "https://www.noon.com/uae-en/sports-and-outdoors/exercise-and-fitness/yoga-16328/"

# Make a GET request to fetch the raw HTML content
response = requests.get(url)
soup = BeautifulSoup(response.content, "html.parser")

# Find all product boxes
product_boxes = soup.find_all("div", class_="productContainer")

for product in product_boxes:
    # Extract the title
    title = product.find("div", class_="name").text if product.find("div", class_="name") else "No title"
    # Extract the price
    price = product.find("div", class_="price").text if product.find("div", class_="price") else "No price"
    print(f"Product: {title}, Price: {price}")

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

# Set up Selenium WebDriver
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))
url = "https://www.noon.com/uae-en/sports-and-outdoors/exercise-and-fitness/yoga-16328/"
driver.get(url)

# Wait for the products to load
products = driver.find_elements(By.CLASS_NAME, "productContainer")

for product in products:
    try:
        title = product.find_element(By.CLASS_NAME, "name").text
        price = product.find_element(By.CLASS_NAME, "price").text
        print(f"Product: {title}, Price: {price}")
    except:
        print("Error extracting product details")

driver.quit()

import unittest
from bs4 import BeautifulSoup
import requests

class TestWebScraper(unittest.TestCase):
    def setUp(self):
        url = "https://www.noon.com/uae-en/sports-and-outdoors/exercise-and-fitness/yoga-16328/"
        response = requests.get(url)
        self.soup = BeautifulSoup(response.content, "html.parser")

    def test_product_extraction(self):
        product_boxes = self.soup.find_all("div", class_="productContainer")
        self.assertGreater(len(product_boxes), 0, "No products found")

    def test_title_extraction(self):
        first_product = self.soup.find("div", class_="productContainer")
        title = first_product.find("div", class_="name").text if first_product.find("div", class_="name") else None
        self.assertIsNotNone(title, "Title not extracted")

if __name__ == "__main__":
    unittest.main()

Истраживање напредних техника у Веб Сцрапинг-у

Када се бавите сложеним веб локацијама за веб скрапинг, један значајан аспект који треба узети у обзир је руковање динамичким садржајем. Многе модерне веб странице ослањају се на ЈаваСцрипт за учитавање елемената након што се испоручи почетни ХТМЛ. То значи алате као што су , који анализира само статички ХТМЛ, можда неће успети да ухвати све потребне податке. У таквим случајевима, интегрисање алата за аутоматизацију претраживача као што је постаје суштински. Селен може да комуницира са веб локацијом баш као прави корисник, чекајући да се елементи учитају и извлачећи податке у складу са тим. Ово је посебно корисно када скрапате сајтове који асинхроно приказују кључне елементе. 🌐

Још једно кључно разматрање је структура веб локације и њен основни АПИ. Неке веб локације излажу структурирану крајњу тачку АПИ-ја која се користи за динамичко учитавање садржаја. Проверавањем мрежне активности преко алата за програмере, можда ћете открити ЈСОН податке које је лакше издвојити него ХТМЛ. На пример, уместо да анализирате више угнежђених ознака за детаље о производу, можете директно да преузмете ЈСОН објекте који садрже чисте, структуриране податке. Овај метод је бржи, поузданији и смањује непотребне захтеве сервера. Користећи библиотеке попут или јер АПИ интеракција је одличан приступ за оптимизацију перформанси.

Коначно, не могу се занемарити етичке праксе гребања и усклађеност са условима коришћења веб локације. Поштовање датотеке роботс.ткт, избегавање прекомерног оптерећења сервера кроз пригушивање и коришћење заглавља за опонашање правог корисника су основне најбоље праксе. Додавање кашњења између захтева или коришћење библиотека попут или , обезбеђује несметан рад. Када сам први пут почео да вршим стругање веба, игнорисао сам ове смернице, што је резултирало блокирањем моје ИП адресе – лекција коју нећу заборавити! Увек узмите у обзир ове факторе како бисте обезбедили ефикасно и одговорно прикупљање података. 🌟

1. Која је најбоља библиотека за рашчлањивање ХТМЛ-а у Питхон-у?
2. је једна од најпопуларнијих библиотека за рашчлањивање ХТМЛ-а, која нуди методе које се лако користе за лоцирање елемената на статичкој веб страници.
3. Како могу да изгребем садржај који се приказује помоћу ЈаваСцрипт-а?
4. Можете користити алате као што су , који може да симулира интеракције корисника и чека да се елементи динамички учитају у прегледачу.
5. Како да идентификујем исправне ХТМЛ елементе за сцрапинг?
6. Користећи алатке за програмере вашег претраживача, можете прегледати и идентификујте ознаке, ИД-ове или називе класа који одговарају елементима који су вам потребни.
7. Да ли је могуће извући податке без рашчлањивања ХТМЛ-а?
8. Да, ако веб локација има АПИ, можете директно затражити структуриране податке користећи библиотеке као што је или .
9. Како могу да избегнем блокаду током стругања?
10. Користите заглавља попут да опонашају стварне кориснике, додају кашњења између захтева и поштују датотеку роботс.ткт сајта.

Веб стругање је неопходна вештина за ефикасно прикупљање података, али захтева прилагођавање вашег приступа тако да одговара структури веб локације. Комбиновањем за рашчлањивање ХТМЛ-а и алате као што је Селениум за динамичке странице, можете превазићи многе уобичајене препреке у екстракцији података.

Разумевање нијанси циљног сајта, као што су ЈаваСцрипт рендеровање или АПИ крајње тачке, кључно је за успех. Увек се придржавајте етичке праксе као што је пригушивање захтева да бисте избегли блокирање. Уз упорност и праве алате, чак и сложени пројекти стругања могу постати управљиви и исплативи. 🚀