كيفية إنشاء خلاصات RSS لمواقع الويب المستندة إلى JavaScript

إنشاء خلاصات RSS لمواقع الويب الديناميكية التي تدعم جافا سكريبت

تعد خلاصات RSS أداة حيوية للمستهلكين الذين يرغبون في مواكبة المعلومات الجديدة من مواقع الويب المفضلة لديهم. على الرغم من أن العديد من مواقع الويب الثابتة قد تتضمن خلاصات RSS بسهولة، إلا أن تطوير واحد للمواقع التي تدعم JavaScript يجلب عقبات واضحة. تعتمد مواقع الويب هذه في كثير من الأحيان على المحتوى الديناميكي الذي يتم تحميله بعد إنشاء الصفحة، مما يجعل تقنيات RSS النموذجية غير فعالة.

تعمل الأدوات الشائعة، مثل PolitePol أو RSS.app، بشكل جيد مع المواقع الثابتة ولكنها تعاني مع مواقع الويب التي تستخدم لغة JavaScript بكثرة. وهذا يجعل من الصعب على المطورين توفير موجز RSS للصفحات التي لا تعرض كل محتواها فور تحميلها.

لمعالجة هذه المشكلة، يحتاج المطورون في كثير من الأحيان إلى البحث عن حلول أكثر تعقيدًا. يتضمن ذلك إنشاء نصوص برمجية مخصصة أو استخدام تقنيات استخراج الويب التي تأخذ في الاعتبار كيفية إنتاج JavaScript للمحتوى على الصفحة ديناميكيًا. يعد فهم هذه الأساليب أمرًا بالغ الأهمية لتمكين خلاصات RSS على مواقع الويب مثل تلك الموضحة في المثال.

يعد جزء البيان الصحفي الموجود على موقع الويب الخاص بشركة Grameenphone، والذي يقوم بتحميل البيانات بشكل ديناميكي، مثالاً ممتازًا لهذه الاستراتيجيات. في هذه المقالة، سننظر في كيفية إنشاء موجز RSS لمثل هذه المواقع باستخدام JavaScript وتقنيات استخراج الويب المعاصرة.

فهم كيفية عمل البرامج النصية لخلاصات RSS لجافا سكريبت

يستخدم البرنامج النصي الأول وحدات Node.js وCheerio وRSS لاستخراج المحتوى من موقع ويب مثقل بجافا سكريبت. المشكلة الرئيسية هنا هي أن العديد من مواقع الويب الحديثة تقوم بتحميل المواد ديناميكيًا باستخدام جافا سكريبت، مما يجعل من الصعب على طرق الاستخراج القياسية الحصول على كل شيء. لاسترداد HTML الخام لموقع الويب المستهدف، يرسل البرنامج النصي أولاً طلب HTTP عبر Axios. بعد جلب HTML، يتم استخدام Cheerio لتحليله ومعالجته بطريقة مشابهة لـ jQuery. يتيح لنا ذلك الوصول إلى أقسام محددة من الصفحة واسترجاعها، مثل البيانات الصحفية، المطلوبة لإنشاء موجز ويب لـ RSS.

بمجرد نسخ المحتوى، يتم تحويله إلى تنسيق متوافق مع موجز RSS. وظيفة تشيريو $('.النشرة الصحفية').each() مفيد بشكل خاص لأنه يتم عرضه على كل بيان صحفي ويستخرج التفاصيل المهمة مثل العنوان وعنوان URL. تتم بعد ذلك إضافة البيانات المسروقة إلى موجز RSS باستخدام الملف عنصر التغذية () الطريقة من مكتبة RSS. الخطوة الأخيرة في هذا البرنامج النصي هي إنشاء RSS XML الكامل عن طريق التنفيذ تغذية.xml(). XML هذا هو ما يمكن للمشتركين استخدامه للتعرف على النشرات الصحفية الجديدة. تعمل هذه الإستراتيجية بشكل جيد مع مواقع الويب عندما يتم تحميل المحتوى ديناميكيًا ولكن البنية مستقرة ويمكن التنبؤ بها.

يستخدم الأسلوب الثاني Puppeteer، وهو متصفح بدون رأس متخصص في التفاعل مع صفحات الويب التي تستخدم لغة JavaScript بكثرة. يمكّن Puppeteer البرنامج النصي من محاكاة جلسة متصفح حقيقية، مما يعني أنه ينتظر تحميل JavaScript بالكامل قبل استخراج المحتوى. يعد هذا أمرًا بالغ الأهمية بشكل خاص بالنسبة لصفحات مثل منطقة النشرات الصحفية لـ Grameenphone، حيث يتم إنشاء المادة ديناميكيًا بعد تحميل صفحة HTML الأولى. يفتح البرنامج النصي في البداية مثيل متصفح Puppeteer وينتقل إلى عنوان URL المستهدف باستخدام ملف page.goto() طريقة. بعد تحميل الصفحة بالكامل، يقوم البرنامج النصي بتقييمها وسحب المواد ذات الصلة باستخدام طرق معالجة DOM الشائعة مثل querySelectorAll.

يتفوق محرك الدمى على أدوات الكشط الأساسية مثل Cheerio في التعامل مع صفحات الويب الأكثر تعقيدًا وديناميكية. بعد استخراج البيانات ذات الصلة، يمر عبر عملية مشابهة للبرنامج النصي الأول، حيث يقوم بتنسيق الإخراج في موجز RSS. تعتبر هذه الطريقة مناسبة تمامًا لمواقع الويب التي تقوم بتحميل المواد بشكل غير متزامن أو تستخدم أطر عمل JavaScript أكثر تقدمًا، مما يمنحها بديلاً متعدد الاستخدامات لإنشاء خلاصات RSS من مواقع الويب الحديثة. كلا الخيارين، سواء باستخدام Cheerio أو Puppeteer، يضمنان تحويل المحتوى المحمل ديناميكيًا إلى تنسيق RSS مناسب لاستهلاك المستخدم.

const axios = require('axios');
const cheerio = require('cheerio');
const RSS = require('rss');

async function fetchPressReleases() {
  try {
    const { data } = await axios.get('https://www.grameenphone.com/about/media-center/press-release');
    const $ = cheerio.load(data);
    let releases = [];

    $('.press-release-item').each((i, el) => {
      const title = $(el).find('h3').text();
      const url = $(el).find('a').attr('href');
      releases.push({ title, url });
    });

    return releases;
  } catch (error) {
    console.error('Error fetching press releases:', error);
  }
}

async function generateRSS() {
  const feed = new RSS({ title: 'Press Releases', site_url: 'https://www.grameenphone.com' });
  const releases = await fetchPressReleases();

  releases.forEach(release => {
    feed.item({ title: release.title, url: release.url });
  });

  console.log(feed.xml());
}

generateRSS();

const puppeteer = require('puppeteer');
const RSS = require('rss');

async function fetchDynamicContent() {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.goto('https://www.grameenphone.com/about/media-center/press-release');

  const releases = await page.evaluate(() => {
    return Array.from(document.querySelectorAll('.press-release-item')).map(el => ({
      title: el.querySelector('h3').innerText,
      url: el.querySelector('a').href
    }));
  });

  await browser.close();
  return releases;
}

async function generateRSS() {
  const feed = new RSS({ title: 'Dynamic Press Releases', site_url: 'https://www.grameenphone.com' });
  const releases = await fetchDynamicContent();

  releases.forEach(release => {
    feed.item({ title: release.title, url: release.url });
  });

  console.log(feed.xml());
}

generateRSS();

إنشاء خلاصات RSS ديناميكية لمواقع الويب التي تعتمد على جافا سكريبت

يعد التقاط المحتوى المعروض ديناميكيًا لخلاصة RSS بمثابة صعوبة يتم إهمالها أحيانًا عند العمل مع مواقع الويب التي تدعم JavaScript. على عكس الصفحات الثابتة، تقوم مواقع الويب التي تدعم جافا سكريبت بتحميل أجزاء من المادة بعد طلب الصفحة الأولي، مما يجعل أساليب الكشط النموذجية عديمة القيمة. نظرًا لأن مواقع الويب أصبحت أكثر تفاعلية مع أطر العمل الأحدث مثل React وAngular وVue.js، يريد المطورون حلولًا جديدة للتعامل مع إنتاج المحتوى الديناميكي.

لإنتاج موجز RSS لهذه المواقع، يمكن للمطورين تجربة حلول مثل التصفح بدون رأس باستخدام محرك الدمى، الذي يحاكي تجربة المستخدم الحقيقية. هناك طريقة أخرى وهي استخدام واجهات برمجة التطبيقات التي يوفرها موقع الويب نفسه، إذا كانت متوفرة. تعرض العديد من مواقع الويب الحالية واجهات برمجة تطبيقات JSON أو RESTful التي تعرض البيانات المعروضة على الواجهة الأمامية. باستخدام واجهات برمجة التطبيقات هذه، يمكنك الوصول على الفور إلى البيانات المنظمة دون القلق بشأن كيفية ظهور الصفحة. تتمتع واجهات برمجة التطبيقات (API) أيضًا بميزة كونها أكثر استقرارًا من تجريف الويب، والتي قد تنكسر عندما يغير موقع الويب هيكله.

علاوة على ذلك، يمكن أن يكون الجمع بين استخدام واجهة برمجة التطبيقات (API) والعرض من جانب الخادم (SSR) طريقة فعالة لإنشاء RSS. يمكن لأطر عمل SSR، مثل Next.js، عرض الصفحات مسبقًا على الخادم، مما يسمح لك بالتقاط HTML مكتمل بالكامل، بما في ذلك العناصر المحملة ديناميكيًا. يمكن بعد ذلك تحويل HTML هذا إلى موجز RSS. توفر هذه الحلول للمطورين المرونة وقابلية التوسع عند العمل مع أطر عمل JavaScript المتغيرة باستمرار وخوارزميات تحميل المحتوى الديناميكي.