Како се кретати веб страницом заснованом на ЈаваСцрипт-у и прикупљати везе

Разумевање ЈаваСцрипт-багинације и изазова АПИ-ја

Веб локације са пагинацијом заснованом на ЈаваСцрипт-у могу отежати посетиоцима навигацију кроз материјал, посебно ако контроле пагинације не откривају никакве параметре УРЛ-а. Ово онемогућава модификацију или аутоматизацију навигације по страници користећи конвенционалне приступе као што је промена УРЛ упита. Могуће је комуницирати са таквим пејџерима на различите начине.

Један такав проблем се јавља када покушавате да преузмете везе или податке са ових типова веб локација. Ако не можете ручно да се крећете по стотинама страница, бољи приступ је симулација кликова на ЈаваСцрипт пејџеру. Ова технологија аутоматизује процедуру навигације, увелико поједностављујући прикупљање података.

У неким околностима, картица „Мрежа“ у алаткама за програмере претраживача може да приказује крајње тачке АПИ-ја које пружају корисне информације. Међутим, директно ангажовање са овим крајњим тачкама може повремено да изазове проблеме јер оне можда неће дозволити одређене ХТТП методе, као што су ГЕТ захтеви, који се обично користе за преузимање података.

Овај чланак објашњава како да симулирате кликове на ЈаваСцрипт пејџеру веб локације и како да се носите са ограничењима АПИ-ја која ограничавају директан приступ подацима који су вам потребни. Такође ћемо размотрити начине да заобиђемо ограничења на одређене методе АПИ-ја како бисмо осигурали да ефикасно прикупљате све важне информације.

Овладавање ЈаваСцрипт-басед пагинацијом и АПИ навигацијом

Прва представљена скрипта користи чисти ЈаваСцрипт за динамичко истраживање странице са пагинацијом заснованом на ЈаваСцрипт-у. Основна идеја која стоји иза ове методе је да имитира корисника који притиска дугмад пејџера бирањем и активирањем кликова на одговарајуће ХТМЛ елементе. Идентификовањем контејнера за пагинацију помоћу доцумент.куериСелецтор() команде, можемо приступити разним дугмадима странице и аутоматизовати навигацију. Овај приступ је идеалан за случајеве у којима ручна промена УРЛ-а није опција и потребан вам је брз, фронт-енд интерфејс да бисте се укључили са механизмом пагинације.

У другој скрипти користили смо Пуппетеер, пакет Ноде.јс за контролу претраживача без главе. Ова скрипта не само да симулира притиске на дугме пејџера, већ и аутоматизује цео процес путовања преко бројних страница, прикупљајући све везе до огласа са сваком итерацијом. Пуппетеер вам омогућава да скидате динамички учитани садржај директном интеракцијом са ДОМ елементима, слично као што би прави корисник. Једна од главних компоненти овде је паге.евалуате(), што омогућава извршавање ЈаваСцрипт кода унутар контекста странице. Ово је савршено за прикупљање података као што су везе до огласа на страницама са пагинацијом.

Обе скрипте захтевају руковање грешкама како би се осигурало да аутоматизовани процес добро функционише чак и ако недостају одређени делови или се АПИ понаша неочекивано. на пример, цонсоле.еррор() евидентира све грешке на које се наиђе током извршавања, као што је када циљано дугме није пронађено на страници. Поред тога, Пуппетеер'с паге.ваитФорСелецтор() команда обезбеђује да се динамичке компоненте, као што су линкови огласа, у потпуности учитају пре него што скрипта покуша да ступи у интеракцију. Ово га чини изузетно згодним када радите са веб локацијама које се значајно ослањају на ЈаваСцрипт за приказивање садржаја, јер избегава проблеме узроковане недостајућим или непотпуним учитавањима страница.

Готова скрипта користи Акиос, Ноде.јс ХТТП клијент заснован на обећањима, на позадини. Овде покушавамо да преузмемо податке директно са АПИ крајње тачке, што, према ХТТП 405 грешци, не прихвата ГЕТ упити. Да би се ово избегло, скрипта шаље а ПОСТ захтев, који сервер може одобрити. Овај метод је прикладнији за кориснике који желе да извуку податке без потребе за навигацијом у предњем делу, али подразумева разумевање структуре и понашања АПИ сервера. Руковање грешкама гарантује да ће се пријавити сви пропусти АПИ захтева, што олакшава решавање проблема са проналажењем података на страни сервера.

// Select the pagination container
const pagerContainer = document.querySelector('.pagination');

// Function to trigger a click event on a pager button
function clickPageButton(pageNumber) {
  const buttons = pagerContainer.querySelectorAll('button');
  const targetButton = [...buttons].find(btn => btn.textContent === String(pageNumber));
  if (targetButton) {
    targetButton.click();
  } else {
    console.error('Page button not found!');
  }
}

// Example usage: clicking the 2nd page button
clickPageButton(2);

const puppeteer = require('puppeteer');

// Function to scrape all ad links from a paginated website
async function scrapeAds() {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.goto('https://www.supralift.com/uk/itemsearch/results');

  let ads = [];
  let hasNextPage = true;

  while (hasNextPage) {
    // Scrape the ad links from the current page
    const links = await page.evaluate(() => {
      return Array.from(document.querySelectorAll('.ad-link-selector')).map(a => a.href);
    });
    ads.push(...links);

    // Try to click the next page button
    const nextButton = await page.$('.pagination-next');
    if (nextButton) {
      await nextButton.click();
      await page.waitForSelector('.ad-link-selector');
    } else {
      hasNextPage = false;
    }
  }

  await browser.close();
  return ads;
}

// Call the scraping function and log results
scrapeAds().then(ads => console.log(ads));

const axios = require('axios');

// Function to fetch data from the API using POST instead of GET
async function fetchData() {
  try {
    const response = await axios.post('https://www.supralift.com/api/search/item/summary', {
      headers: {
        'Content-Type': 'application/json'
      },
      data: { /* Add necessary POST body if applicable */ }
    });

    console.log(response.data);
  } catch (error) {
    console.error('Error fetching data:', error.response ? error.response.data : error.message);
  }
}

// Invoke the fetchData function
fetchData();

Оптимизирање ЈаваСцрипт пагинације за Веб Сцрапинг и прикупљање података

Када истражујете веб-сајтове са системом пагинације заснованим на ЈаваСцрипт-у, кључно је истражити неколико метода за брзо издвајање података. Једна опција која се понекад занемарује је пресретање мрежних захтева које издаје механизам пагинације. Пажљивим прегледом упита обављених у алаткама за програмере претраживача, посебно на картици „Мрежа“, можете одредити крајње тачке које се користе за преузимање података за сваку страницу. Системи засновани на ЈаваСцрипт-у могу да користе АЈАКС или донети захтева за динамичко учитавање података без промене УРЛ-а, за разлику од традиционалне пагинације која захтева промену параметара УРЛ-а.

Да бисте издвојили везе или податке са таквих веб локација, пресретните захтеве и вратите податке које они враћају. Пуппетеер и други алати вам омогућавају да надгледате мрежни саобраћај и прикупљате корисне податке. Када ова стратегија није изводљива због ограничења на страни сервера, разумевање понашања АПИ-ја постаје критично. Неки АПИ-ји, као нпр Супралифт, може забранити одређене методе као што су ГЕТ и само дозволити ПОСТ упити. Прилагођавање ваших упита тако да се подударају са методом предвиђеном за АПИ је ефикасно решење за ова ограничења.

Коначно, приликом гребања података са страницама, кључно је омогућити одговарајуће паузе између захтева. Многе веб локације користе алгоритме за ограничавање брзине да би спречиле злоупотребу, а слање превише захтева у брзом низу може довести до тога да ваша ИП адреса буде привремено стављена на црну листу. Да бисте избегли откривање и осигурали успешно екстракцију података, укључите насумично кашњење између упита или ограничите број истовремених захтева. Користећи алате попут акиос у Ноде.јс-у и правилно руковање стопама је диван приступ да се то постигне.