解决 Puppeteer 中用于 TikTok 抓取的 Chromium 可执行路径错误

修复 Puppeteer 中用于 TikTok 抓取的 Chromium 可执行路径问题

使用 Node.js 和 Puppeteer 解决 Chromium 的路径问题

// Solution 1: Checking and Setting the Correct Executable Path Manually
const puppeteer = require('puppeteer-core');
const chromium = require('chrome-aws-lambda');
export async function POST(request) {
  const { siteUrl } = await request.json();
  const browser = await puppeteer.launch({
    args: [...chromium.args],
    executablePath: process.env.CHROME_EXECUTABLE_PATH || await chromium.executablePath(),
    headless: true, // Run in headless mode
  });
  const page = await browser.newPage();
  await page.goto(siteUrl, { waitUntil: 'networkidle0' });
  const pageTitle = await page.title();
  const screenshot = await page.screenshot({ encoding: 'base64' });
  await browser.close();
  return { pageTitle, screenshot };
}

替代方法：本地安装 Chromium 以实现更好的路径控制

使用 Puppeteer 手动设置 Chromium 可执行路径

// Solution 2: Manual Path Assignment to Local Chromium
const puppeteer = require('puppeteer');
export async function POST(request) {
  const { siteUrl } = await request.json();
  const browser = await puppeteer.launch({
    executablePath: '/usr/bin/chromium-browser', // Adjust this to your local path
    args: ['--no-sandbox', '--disable-setuid-sandbox'],
    headless: true,
  });
  const page = await browser.newPage();
  await page.goto(siteUrl, { waitUntil: 'domcontentloaded' });
  const pageTitle = await page.title();
  const screenshot = await page.screenshot({ encoding: 'base64' });
  await browser.close();
  return { pageTitle, screenshot };
}

单元测试 Puppeteer 和 Chromium 集成

使用 Mocha 和 Chai 进行后端测试

// Unit Test: Ensure Puppeteer properly launches Chromium
const { expect } = require('chai');
const puppeteer = require('puppeteer');
describe('Puppeteer Chromium Path Test', () => {
  it('should successfully launch Chromium', async () => {
    const browser = await puppeteer.launch({
      executablePath: '/usr/bin/chromium-browser',
      headless: true,
    });
    const page = await browser.newPage();
    await page.goto('https://example.com');
    const title = await page.title();
    expect(title).to.equal('Example Domain');
    await browser.close();
  });
});

有关 Puppeteer 和 Chromium 路径问题的常见问题

1. 如何修复 Puppeteer 中的“输入目录不存在”错误？
2. 可以通过使用以下命令指定 Chromium 的正确可执行路径来修复此错误 chromium.executablePath()，或手动设置 process.env.CHROME_EXECUTABLE_PATH 环境变量。
3. 目的是什么 puppeteer.launch() 在脚本中？
4. 这 puppeteer.launch() 函数启动一个新的浏览器实例，允许 Puppeteer 与网页交互。它接受像这样的参数 headless 自定义设置的模式或可执行路径。
5. 为什么是 chromium.args 数组重要吗？
6. 这 chromium.args 数组包含定义 Chromium 实例如何运行的标志。这些包括像这样的选项 --no-sandbox 和 --disable-gpu，这对于在服务器环境中运行 Chromium 很有用。
7. 的作用是什么 page.goto() 在脚本中？
8. 这 page.goto() 命令用于将 Puppeteer 导航到特定 URL。它经常与诸如以下的选项一起使用 waitUntil 以确保在执行任务之前页面已完全加载。
9. 怎么样 page.screenshot() 帮助调试？
10. page.screenshot() 捕获当前网页的图像，这对于在进一步处理之前验证脚本是否正确加载内容非常有用。

结束 Puppeteer 路径配置

确保 Chromium 可执行路径的正确配置对于成功运行 Puppeteer 脚本至关重要，尤其是在从 TikTok 等网站抓取动态内容时。解决路径问题将使自动化和抓取任务更加顺利。

无论您是在本地还是云环境中工作，使用环境变量或手动设置路径都可以帮助克服这一挑战。通过遵循最佳实践，您可以确保 Puppeteer 灵活且能够适应不同的服务器配置，从而避免常见错误。