Како да генеришете РСС феедове за веб локације засноване на ЈаваСцрипт-у

Прављење РСС фидова за динамичке веб локације које покреће ЈаваСцрипт

РСС фидови су витално средство за потрошаче који желе да буду у току са новим информацијама са својих омиљених веб локација. Док многе статичне веб локације могу лако да уграде РСС фидове, развој једног за сајтове са ЈаваСцрипт-ом доноси различите препреке. Ове веб странице се често ослањају на динамички садржај који се учитава након што је страница направљена, што типичне РСС технологије чини неефикасним.

Уобичајени алати, као што су ПолитеПол или РСС.апп, добро функционишу са статичним сајтовима, али имају проблема са веб локацијама са тешким ЈаваСцрипт-ом. Ово отежава програмерима да обезбеде РСС феед за странице које не приказују сав свој садржај одмах након учитавања.

Да би решили овај проблем, програмери често морају да траже компликованија решења. То укључује креирање скрипти по мери или коришћење техника веб-стругања које узимају у обзир како ЈаваСцрипт динамички производи садржај на страници. Разумевање ових метода је кључно за омогућавање РСС фидова на веб локацијама као што је она приказана у примеру.

Део са саопштењем за јавност Грамеенпхоне-ове веб странице, који динамички учитава податке, одличан је пример ових стратегија. У овом чланку ћемо погледати како да генеришете РСС фид за такве веб локације користећи ЈаваСцрипт и савремене технике веб-стругања.

Разумевање како функционишу ЈаваСцрипт РСС скрипте

Прва скрипта користи модуле Ноде.јс, Цхеерио и РСС да би извукла садржај са веб локације са пуно ЈаваСцрипт-а. Главни проблем овде је што многе модерне веб странице динамички учитавају материјал користећи ЈаваСцрипт, што отежава стандардним методама гребања да зграбе све. Да би преузела сирови ХТМЛ циљне веб локације, скрипта прво шаље ХТТП захтев преко Акиос-а. Након преузимања ХТМЛ-а, Цхеерио се користи за рашчлањивање и манипулацију њиме на начин сличан јКуери-ју. Ово нам омогућава да приступимо и преузмемо одређене делове странице, као што су саопштења за штампу, која су потребна за креирање РСС феед-а.

Када се садржај скрапа, конвертује се у формат компатибилан са РСС феедом. Функција Цхеерио $('.релеасе-итем').еацх() је посебно корисно јер прелази преко сваког саопштења за штампу и издваја кључне детаље као што су наслов и УРЛ. Скрадовани подаци се затим додају у РСС феед користећи феед.итем() метода из РСС библиотеке. Последњи корак у овој скрипти је генерисање целог РСС КСМЛ-а извршавањем феед.кмл(). Овај КСМЛ је оно што претплатници могу да користе да би били информисани о новим саопштењима за штампу. Ова стратегија добро функционише за веб локације када се садржај динамички учитава, али је структура стабилна и предвидљива.

Други приступ користи Пуппетеер, претраживач без главе који је специјализован за интеракцију са веб страницама са тешким ЈаваСцрипт-ом. Пуппетеер омогућава скрипти да имитира праву сесију претраживача, што значи да чека да се ЈаваСцрипт потпуно учита пре него што извуче садржај. Ово је посебно важно за странице као што је Грамеенпхоне област за штампу, где се материјал динамички генерише након првог учитавања ХТМЛ странице. Скрипта у почетку отвара инстанцу прегледача Пуппетеер и навигира до циљне УРЛ адресе користећи паге.гото() методом. Након што се страница у потпуности учита, скрипта је процењује и извлачи релевантан материјал користећи уобичајене методе манипулације ДОМ-ом као што је куериСелецторАлл.

Пуппетеер надмашује основне алате за стругање као што је Цхеерио у руковању компликованијим и динамичнијим веб страницама. Након гребања релевантних података, он пролази кроз сличан процес као и прва скрипта, форматирајући излаз у РСС феед. Овај метод је најпогоднији за веб локације које асинхроно учитавају материјал или користе напредније ЈаваСцрипт оквире, дајући му разноврсну алтернативу за прављење РСС фидова са модерних веб локација. Обе опције, било да користите Цхеерио или Пуппетеер, обезбеђују да се динамички учитани садржај трансформише у одговарајући РСС формат за употребу корисника.

const axios = require('axios');
const cheerio = require('cheerio');
const RSS = require('rss');

async function fetchPressReleases() {
  try {
    const { data } = await axios.get('https://www.grameenphone.com/about/media-center/press-release');
    const $ = cheerio.load(data);
    let releases = [];

    $('.press-release-item').each((i, el) => {
      const title = $(el).find('h3').text();
      const url = $(el).find('a').attr('href');
      releases.push({ title, url });
    });

    return releases;
  } catch (error) {
    console.error('Error fetching press releases:', error);
  }
}

async function generateRSS() {
  const feed = new RSS({ title: 'Press Releases', site_url: 'https://www.grameenphone.com' });
  const releases = await fetchPressReleases();

  releases.forEach(release => {
    feed.item({ title: release.title, url: release.url });
  });

  console.log(feed.xml());
}

generateRSS();

const puppeteer = require('puppeteer');
const RSS = require('rss');

async function fetchDynamicContent() {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.goto('https://www.grameenphone.com/about/media-center/press-release');

  const releases = await page.evaluate(() => {
    return Array.from(document.querySelectorAll('.press-release-item')).map(el => ({
      title: el.querySelector('h3').innerText,
      url: el.querySelector('a').href
    }));
  });

  await browser.close();
  return releases;
}

async function generateRSS() {
  const feed = new RSS({ title: 'Dynamic Press Releases', site_url: 'https://www.grameenphone.com' });
  const releases = await fetchDynamicContent();

  releases.forEach(release => {
    feed.item({ title: release.title, url: release.url });
  });

  console.log(feed.xml());
}

generateRSS();

Креирање динамичких РСС фидова за веб локације које су тешке за ЈаваСцрипт

Снимање динамички приказаног садржаја за РСС фид је понекад занемарена потешкоћа када радите са веб локацијама које подржавају ЈаваСцрипт. За разлику од статичних страница, веб-сајтови засновани на ЈаваСцрипт-у учитавају делове материјала након иницијалног захтева странице, чинећи типичне приступе гребања безвредни. Како веб-сајтови постају интерактивнији са новијим оквирима као што су Реацт, Ангулар и Вуе.јс, програмери желе нова решења за управљање динамичком производњом садржаја.

Да би направили РСС феед за ове сајтове, програмери могу да експериментишу са решењима као што је сурфовање без главе помоћу Пуппетеер-а, који симулира право корисничко искуство. Други начин је да користите АПИ-је које испоручује сама веб локација, ако су доступни. Многе тренутне веб локације излажу ЈСОН или РЕСТфул АПИ-је који враћају податке приказане на предњем крају. Користећи ове АПИ-је, можете одмах приступити структурираним подацима без бриге о томе како страница изгледа. АПИ-ји такође имају предност што су стабилнији од веб скрапинга, који се може покварити када веб локација промени структуру.

Штавише, комбиновање употребе АПИ-ја са рендеровањем на страни сервера (ССР) може бити ефикасан метод генерисања РСС-а. ССР оквири, као што је Нект.јс, могу унапред приказати странице на серверу, омогућавајући вам да снимите потпуно завршен ХТМЛ, укључујући динамички учитане елементе. Овај ХТМЛ се затим може конвертовати у РСС феед. Ова решења нуде програмерима флексибилност и скалабилност када раде са ЈаваСцрипт оквирима који се стално мењају и алгоритмима за динамичко учитавање садржаја.