修复 Google Sheets 抓取雅虎加密数据的问题

解决 Google Sheets 抓取雅虎财经加密数据的问题

使用 Google Apps 脚本通过 Yahoo 的 API 式结构获取数据的解决方案

// Google Apps Script to scrape Yahoo historical crypto prices
function fetchYahooCryptoData() {
  var url = "https://query1.finance.yahoo.com/v7/finance/download/BTC-USD";
  var params = {
    "period1": 1725062400, // Start date in Unix timestamp
    "period2": 1725062400, // End date in Unix timestamp
    "interval": "1d", // Daily data
    "events": "history" // Historical data
  };
  var queryString = Object.keys(params).map(key => key + '=' + params[key]).join('&');
  var fullUrl = url + "?" + queryString;
  var response = UrlFetchApp.fetch(fullUrl);
  var data = response.getContentText();
  var sheet = SpreadsheetApp.getActiveSpreadsheet().getActiveSheet();
  var rows = data.split("\\n");
  for (var i = 0; i < rows.length; i++) {
    var cells = rows[i].split(",");
    sheet.appendRow(cells);
  }
}
// Ensure to replace the date range parameters for your specific query

使用 Python 和 BeautifulSoup 进行后端抓取的替代解决方案

使用 Python 抓取雅虎财经以增强灵活性和处理能力

import requests
from bs4 import BeautifulSoup
import csv
import time

def scrape_yahoo_crypto():
    url = "https://finance.yahoo.com/quote/BTC-USD/history"
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36"
    }
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        soup = BeautifulSoup(response.text, 'html.parser')
        rows = soup.find_all('tr', attrs={'class': 'BdT'})
        data = []
        for row in rows:
            cols = row.find_all('td')
            if len(cols) == 7:  # Ensure proper structure
                data.append([col.text.strip() for col in cols])
        with open('crypto_data.csv', 'w', newline='') as file:
            writer = csv.writer(file)
            writer.writerow(["Date", "Open", "High", "Low", "Close", "Adj Close", "Volume"])
            writer.writerows(data)
    else:
        print("Failed to fetch data:", response.status_code)

# Run the scraper
scrape_yahoo_crypto()

测试各种场景的脚本

Google Apps 脚本和 Python 脚本的单元测试

function testFetchYahooCryptoData() {
  try {
    fetchYahooCryptoData();
    Logger.log("Script executed successfully.");
  } catch (e) {
    Logger.log("Error in script: " + e.message);
  }
}

import unittest
class TestYahooCryptoScraper(unittest.TestCase):
    def test_scraping_success(self):
        try:
            scrape_yahoo_crypto()
            self.assertTrue(True)
        except Exception as e:
            self.fail(f"Scraper failed with error: {str(e)}")

if __name__ == "__main__":
    unittest.main()

有关在 Google 表格中抓取加密数据的常见问题解答

1. 为什么会 IMPORTREGEX 不再与雅虎财经合作？
2. 雅虎财经可能更新了其网站结构或添加了安全功能，从而可以直接抓取 IMPORTREGEX 无效。
3. 没有编程能力也能获取历史数据吗？
4. 是的，像 Google 表格这样的工具 IMPORTDATA 或 RapidAPI 等第三方服务可以简化非程序员的流程。
5. 怎么样 UrlFetchApp 在 Google Apps 脚本帮助中？
6. 它允许用户发出 HTTP 请求来获取原始数据，例如来自 API 或公共端点的 CSV 文件。
7. 除了直接抓取之外，还有哪些替代方案？
8. 您可以使用 Yahoo 的隐藏 API 端点或 CoinMarketCap 和 CoinGecko 等公共数据源来获取历史加密数据。
9. 我可以自动安排数据获取吗？
10. 是的，使用 Python 脚本 cron job 或 Google Apps 脚本触发器，每天或每小时自动检索数据。
11. 处理动态 JavaScript 内容的最佳方法是什么？
12. 使用Python的 selenium 无头浏览器可以处理简单 HTTP 请求无法获取的动态内容。
13. 如何调试错误，例如 #REF!？
14. 检查脚本的查询，验证端点访问，并检查 Yahoo 的结构是否已更改。调试工具如 Logger.log() Google Apps 脚本可以提供帮助。
15. 我可以一次获取多种加密货币吗？
16. 是的，修改脚本以循环遍历 BTC-USD 或 ETH-USD 等交易品种并获取每个交易品种的数据。
17. 抓取数据时应遵循哪些安全措施？
18. 确保您的脚本遵守网站的服务条款并使用诸如 User-Agent 模仿合法访问。
19. 如何将 Python 脚本与 Google 表格集成？
20. 将数据导出到 CSV 文件并使用 Google Sheets IMPORTDATA 函数将其直接加载到电子表格中。
21. 抓取财务数据是否存在法律风险？
22. 是的，请务必检查数据提供商的服务条款，以确保遵守其使用政策。

关于自动化加密数据检索的最终想法

刮痧 雅虎财经 对于历史加密数据，需要适应不断发展的网络结构。通过利用 Google Apps 脚本或 Python 等工具，用户可以重建自动化工作流程并保持数据收集无缝且可靠。 🌟

采用这些解决方案可确保加密货币爱好者、分析师和交易者在数据驱动的决策中保持领先地位。通过适当的脚本和调整，收集准确的财务数据变得可持续且高效。