TikTok スクレイピング用の Puppeteer での Chromium 実行可能パス エラーを解決する

TikTokスクレイピング用のPuppeteerにおけるChromium実行可能パスの問題を修正する

Node.js と Puppeteer を使用して Chromium のパスの問題を解決する

// Solution 1: Checking and Setting the Correct Executable Path Manually
const puppeteer = require('puppeteer-core');
const chromium = require('chrome-aws-lambda');
export async function POST(request) {
  const { siteUrl } = await request.json();
  const browser = await puppeteer.launch({
    args: [...chromium.args],
    executablePath: process.env.CHROME_EXECUTABLE_PATH || await chromium.executablePath(),
    headless: true, // Run in headless mode
  });
  const page = await browser.newPage();
  await page.goto(siteUrl, { waitUntil: 'networkidle0' });
  const pageTitle = await page.title();
  const screenshot = await page.screenshot({ encoding: 'base64' });
  await browser.close();
  return { pageTitle, screenshot };
}

代替方法: Chromium をローカルにインストールしてパス制御を改善する

Puppeteer を使用して Chromium 実行可能パスを手動で設定する

// Solution 2: Manual Path Assignment to Local Chromium
const puppeteer = require('puppeteer');
export async function POST(request) {
  const { siteUrl } = await request.json();
  const browser = await puppeteer.launch({
    executablePath: '/usr/bin/chromium-browser', // Adjust this to your local path
    args: ['--no-sandbox', '--disable-setuid-sandbox'],
    headless: true,
  });
  const page = await browser.newPage();
  await page.goto(siteUrl, { waitUntil: 'domcontentloaded' });
  const pageTitle = await page.title();
  const screenshot = await page.screenshot({ encoding: 'base64' });
  await browser.close();
  return { pageTitle, screenshot };
}

Puppeteer と Chromium の統合の単体テスト

バックエンドテストでの Mocha と Chai の使用

// Unit Test: Ensure Puppeteer properly launches Chromium
const { expect } = require('chai');
const puppeteer = require('puppeteer');
describe('Puppeteer Chromium Path Test', () => {
  it('should successfully launch Chromium', async () => {
    const browser = await puppeteer.launch({
      executablePath: '/usr/bin/chromium-browser',
      headless: true,
    });
    const page = await browser.newPage();
    await page.goto('https://example.com');
    const title = await page.title();
    expect(title).to.equal('Example Domain');
    await browser.close();
  });
});

Puppeteer と Chromium パスの問題に関するよくある質問

1. Puppeteer の「入力ディレクトリが存在しません」エラーを修正するにはどうすればよいですか?
2. このエラーは、次のコマンドを使用して Chromium の正しい実行可能パスを指定することで修正できます。 chromium.executablePath()、または手動で設定する process.env.CHROME_EXECUTABLE_PATH 環境変数。
3. 目的は何ですか puppeteer.launch() 脚本の中で？
4. の puppeteer.launch() 関数は新しいブラウザ インスタンスを起動し、Puppeteer が Web ページと対話できるようにします。次のような引数を受け入れます headless カスタム セットアップのモードまたは実行可能パス。
5. なぜ、 chromium.args 配列は重要ですか?
6. の chromium.args 配列には、Chromium インスタンスの実行方法を定義するフラグが含まれています。これらには次のようなオプションが含まれます --no-sandbox そして --disable-gpu、サーバー環境で Chromium を実行する場合に便利です。
7. 役割は何ですか page.goto() 脚本の中で？
8. の page.goto() コマンドは、Puppeteer を特定の URL に移動するために使用されます。次のようなオプションと一緒によく使用されます waitUntil タスクを実行する前にページが完全にロードされていることを確認します。
9. どのようにして page.screenshot() デバッグに役立ちますか?
10. page.screenshot() 現在の Web ページの画像をキャプチャします。これは、さらなる処理を行う前に、スクリプトがコンテンツを正しく読み込んでいることを確認するのに役立ちます。

Puppeteer パス設定のまとめ

Chromium 実行可能ファイルのパスが正しく構成されていることを確認することは、特に TikTok などのサイトから動的コンテンツをスクレイピングする場合に、Puppeteer スクリプトを正常に実行するために重要です。パスの問題を修正すると、タスクの自動化とスクレイピングがよりスムーズに行えるようになります。

ローカル環境で作業している場合でも、クラウド環境で作業している場合でも、環境変数を使用するか、手動でパスを設定することで、この課題を克服できます。ベスト プラクティスに従うことで、Puppeteer が柔軟でさまざまなサーバー構成に適応できるようになり、一般的なエラーを回避できます。