Πώς να χρησιμοποιήσετε το Git Filter-Repo για να αφαιρέσετε Blobs

Κατανόηση του Blob Stripping στο Git

Στο Git, η διαχείριση μεγάλων αρχείων μπορεί να είναι μια πρόκληση, ειδικά όταν δεν χρειάζονται πλέον στο αντίγραφο εργασίας. Εργαλεία όπως το BFG και το Git Filter-Repo προσφέρουν λύσεις για την αφαίρεση αυτών των μεγάλων αρχείων από το ιστορικό του αποθετηρίου σας. Ωστόσο, η επίτευξη των ίδιων αποτελεσμάτων με το Git Filter-Repo όπως και με το BFG μπορεί να είναι δύσκολη.

Αυτό το άρθρο διερευνά τον τρόπο αναπαραγωγής της εντολής BFG --strip-blobs- μεγαλύτερη-από χρησιμοποιώντας το Git Filter-Repo. Θα αντιμετωπίσουμε κοινά ζητήματα και θα παρέχουμε έναν οδηγό βήμα προς βήμα για να διασφαλίσουμε ότι μπορείτε να καθαρίσετε το χώρο αποθήκευσης σας αποτελεσματικά χωρίς να αφαιρέσετε κατά λάθος αρχεία που εξακολουθούν να χρησιμοποιούνται.

Πώς λειτουργούν τα παρεχόμενα σενάρια

Το σενάριο Python χρησιμοποιεί τη βιβλιοθήκη GitPython για να αλληλεπιδράσει με το αποθετήριο Git. Το αποθετήριο αρχικοποιείται χρησιμοποιώντας from git import Repo και repo = Repo(repo_path), που δείχνει την καθορισμένη διαδρομή αποθετηρίου. Στη συνέχεια, το σενάριο ορίζει μια λειτουργία φίλτρου filter_large_blobs(blob) για να αναγνωρίσετε σταγόνες μεγαλύτερες από 10 MB. Αυτό το φίλτρο εφαρμόζεται χρησιμοποιώντας RepoFilter(repo).filter_blobs(filter_large_blobs), το οποίο διασφαλίζει ότι οι σταγόνες που υπερβαίνουν το όριο μεγέθους αφαιρούνται από το ιστορικό του αποθετηρίου.

Το σενάριο φλοιού επιτυγχάνει έναν παρόμοιο στόχο χρησιμοποιώντας εντολές Git και βοηθητικά προγράμματα φλοιού. Πλοηγείται στον κατάλογο του αποθετηρίου με cd $REPO_PATH και παραθέτει όλα τα αντικείμενα που χρησιμοποιούν git rev-list --objects --all. Κάθε αντικείμενο ελέγχεται για το μέγεθός του με git cat-file --batch-check. Αντικείμενα μεγαλύτερα από το καθορισμένο όριο μεγέθους φιλτράρονται και υποβάλλονται σε επεξεργασία χρησιμοποιώντας xargs να εφαρμόσει git filter-repo --strip-blobs-bigger-than $SIZE_LIMIT σε κάθε προσδιορισμένη μεγάλη σταγόνα. Αυτή η μέθοδος αφαιρεί αποτελεσματικά μεγάλες σταγόνες από το αποθετήριο, διασφαλίζοντας ένα καθαρό ιστορικό χωρίς περιττά μεγάλα αρχεία.

# Import necessary modules
import os
from git import Repo
from git_filter_repo import RepoFilter

# Define the repository path and size limit
repo_path = 'path/to/your/repo'
size_limit = 10 * 1024 * 1024  # 10 MB

# Initialize the repository
repo = Repo(repo_path)

# Define a filter function to remove large blobs
def filter_large_blobs(blob):
    return blob.size > size_limit

# Apply the filter to the repository
RepoFilter(repo).filter_blobs(filter_large_blobs)

#!/bin/bash

# Define repository path and size limit
REPO_PATH="path/to/your/repo"
SIZE_LIMIT=10485760  # 10 MB

# Navigate to the repository
cd $REPO_PATH

# List blobs larger than the size limit
git rev-list --objects --all |
git cat-file --batch-check='%(objectname) %(objecttype) %(objectsize) %(rest)' |
awk '$3 >= $SIZE_LIMIT {print $1}' |
xargs -n 1 git filter-repo --strip-blobs-bigger-than $SIZE_LIMIT

echo "Large blobs removed from the repository"

Εξερεύνηση προηγμένων επιλογών φίλτρου Git-Repo

Ενώ git filter-repo --strip-blobs-bigger-than είναι αποτελεσματικό για την αφαίρεση μεγάλων αρχείων, υπάρχουν πρόσθετες επιλογές για την προσαρμογή της εκκαθάρισης του αποθετηρίου σας. Για παράδειγμα, μπορείτε να χρησιμοποιήσετε --path για να περιορίσετε τη λειτουργία σε συγκεκριμένα αρχεία ή καταλόγους. Αυτό σας επιτρέπει να στοχεύσετε μόνο ορισμένες περιοχές του αποθετηρίου σας για αφαίρεση κηλίδων. Μια άλλη χρήσιμη επιλογή είναι --invert-paths, το οποίο εξαιρεί καθορισμένες διαδρομές από τη λειτουργία, προσφέροντας περισσότερο έλεγχο ως προς το ποια αρχεία παραμένουν ανέγγιχτα.

Επιπλέον, μπορείτε να συνδυάσετε --strip-blobs-bigger-than με --analyze για να κάνετε προεπισκόπηση των αλλαγών πριν τις εφαρμόσετε. Αυτό βοηθά στην αποφυγή ακούσιων διαγραφών παρέχοντας μια λεπτομερή αναφορά για το τι θα αφαιρεθεί. Η χρήση αυτών των προηγμένων επιλογών μπορεί να βελτιώσει την ευελιξία και την ακρίβεια των εργασιών συντήρησης του αποθετηρίου σας, διασφαλίζοντας ένα καθαρότερο και πιο αποτελεσματικό ιστορικό έργου.