如何使用 Git Filter-Repo 去除 Blob

Temp mail SuperHeros
如何使用 Git Filter-Repo 去除 Blob
如何使用 Git Filter-Repo 去除 Blob
Mia Chevalier
2024年5月21日星期二 上午12:11:45

了解 Git 中的 Blob 剥离

在 Git 中，管理大文件可能是一项挑战，尤其是当工作副本中不再需要它们时。 BFG 和 Git Filter-Repo 等工具提供了从存储库历史记录中删除这些大文件的解决方案。然而，使用 Git Filter-Repo 获得与 BFG 相同的结果可能很棘手。

本文探讨如何复制 BFG 命令 --strip-blob-大于 使用 Git Filter-Repo。我们将解决常见问题并提供分步指南，以确保您可以有效地清理存储库，而不会意外删除仍在使用的文件。

命令 描述
from git import Repo 导入 GitPython 库的 Repo 类以与 Git 存储库交互。
git_filter_repo import RepoFilter 从 git-filter-repo 导入 RepoFilter 类以过滤存储库 blob。
repo = Repo(repo_path) 初始化一个指向指定存储库路径的 Repo 对象。
RepoFilter(repo).filter_blobs(filter_large_blobs) 应用自定义过滤器功能从存储库中删除大 blob。
git rev-list --objects --all 列出存储库中的所有对象，包括 blob、树和提交。
git cat-file --batch-check 提供有关对象的详细信息，包括其大小。
xargs -n 1 git filter-repo --strip-blobs-bigger-than $SIZE_LIMIT 使用 xargs 将 git filter-repo 命令应用于识别的每个大 blob。

提供的脚本如何运行

Python 脚本利用 GitPython 库与 Git 存储库进行交互。存储库是使用初始化的 from git import Repo 和 repo = Repo(repo_path)，指向指定的存储库路径。然后该脚本定义了一个过滤函数 filter_large_blobs(blob) 识别大于 10MB 的 blob。该过滤器的应用使用 RepoFilter(repo).filter_blobs(filter_large_blobs)，这确保超过大小限制的 blob 将从存储库的历史记录中删除。

shell 脚本使用 Git 命令和 shell 实用程序实现类似的目标。它导航到存储库目录 cd $REPO_PATH 并列出所有对象使用 git rev-list --objects --all。检查每个对象的大小 git cat-file --batch-check。大于指定大小限制的对象将使用以下方法进行过滤和处理 xargs 申请 git filter-repo --strip-blobs-bigger-than $SIZE_LIMIT 对于每个已识别的大斑点。此方法有效地从存储库中删除大 blob，确保干净的历史记录，没有不必要的大文件。

使用 Python 按大小过滤 Git Blob

用于过滤大斑点的 Python 脚本 

# Import necessary modules
import os
from git import Repo
from git_filter_repo import RepoFilter

# Define the repository path and size limit
repo_path = 'path/to/your/repo'
size_limit = 10 * 1024 * 1024  # 10 MB

# Initialize the repository
repo = Repo(repo_path)

# Define a filter function to remove large blobs
def filter_large_blobs(blob):
    return blob.size > size_limit

# Apply the filter to the repository
RepoFilter(repo).filter_blobs(filter_large_blobs)

使用 Shell 脚本识别并删除大型 Git Blob

用于 Git 中 Blob 管理的 Shell 脚本 

#!/bin/bash

# Define repository path and size limit
REPO_PATH="path/to/your/repo"
SIZE_LIMIT=10485760  # 10 MB

# Navigate to the repository
cd $REPO_PATH

# List blobs larger than the size limit
git rev-list --objects --all |
git cat-file --batch-check='%(objectname) %(objecttype) %(objectsize) %(rest)' |
awk '$3 >= $SIZE_LIMIT {print $1}' |
xargs -n 1 git filter-repo --strip-blobs-bigger-than $SIZE_LIMIT

echo "Large blobs removed from the repository"

探索高级 Git Filter-Repo 选项

尽管 git filter-repo --strip-blobs-bigger-than 对于删除大文件很有效，还有其他选项可以自定义您的存储库清理。例如，您可以使用 --path 限制对特定文件或目录的操作。这允许您仅针对存储库的某些区域进行 Blob 删除。另一个有用的选项是 --invert-paths，它从操作中排除指定的路径，从而更好地控制哪些文件保持不变。

此外，您还可以结合 --strip-blobs-bigger-than 和 --analyze 在应用更改之前预览它们。通过提供有关将删除的内容的详细报告，有助于避免意外删除。利用这些高级选项可以提高存储库维护任务的灵活性和精确度，确保更清晰、更高效的项目历史记录。

有关 Git Filter-Repo 的常见问题

  1. 什么是 git filter-repo --strip-blobs-bigger-than 做？
  2. 它从存储库历史记录中删除大于指定大小的 blob。
  3. 如何 --invert-paths 工作？
  4. 它排除过滤器处理指定的路径。
  5. 我可以在应用更改之前预览更改吗？
  6. 是的，使用 --analyze 提供详细的变更报告。
  7. 如何定位特定文件或目录？
  8. 使用 --path 将操作限制为特定路径的选项。
  9. 目的是什么 RepoFilter Python 中的类？
  10. 它允许将自定义过滤器应用到存储库。
  11. 有没有办法撤消所做的更改 git filter-repo？
  12. 一旦应用更改，就无法轻易撤消。始终首先备份您的存储库。
  13. 什么是 git rev-list --objects --all 做？
  14. 它列出了存储库中的所有对象，包括 blob、树和提交。
  15. 为什么使用 xargs 和 git filter-repo？
  16. xargs 帮助将命令应用于项目列表，例如识别为要删除的大斑点。

关于 Git Blob 管理的最终想法

有效管理 Git 存储库中的大文件对于优化性能和存储至关重要。使用 BFG 和 Git Filter-Repo 等工具有助于简化此过程，尽管每个工具都有独特的命令和方法。通过利用高级选项并了解每个工具的细微差别，您可以确保您的存储库保持干净和高效。请务必记住在进行重大更改之前备份您的存储库以避免数据丢失。将这些工具的知识与战略规划相结合将显着增强您的版本控制实践。