Sådan bruger du Git Filter-Repo til at fjerne klatter

Temp mail SuperHeros
Sådan bruger du Git Filter-Repo til at fjerne klatter
Sådan bruger du Git Filter-Repo til at fjerne klatter
Mia Chevalier
Tirsdag den 21. maj 2024 kl. 00.17.54

Forstå Blob-stripping i Git

I Git kan det være en udfordring at administrere store filer, især når de ikke længere er nødvendige i arbejdskopien. Værktøjer som BFG og Git Filter-Repo tilbyder løsninger til at fjerne disse store filer fra dit depots historie. Det kan dog være vanskeligt at opnå de samme resultater med Git Filter-Repo som med BFG.

Denne artikel undersøger, hvordan man replikerer BFG-kommandoen --strip-blobs-større-end ved hjælp af Git Filter-Repo. Vi behandler almindelige problemer og giver en trin-for-trin guide for at sikre, at du kan rydde op i dit lager effektivt uden ved et uheld at fjerne filer, der stadig er i brug.

Kommando Beskrivelse
from git import Repo Importerer GitPython-bibliotekets Repo-klasse for at interagere med Git-lageret.
git_filter_repo import RepoFilter Importerer RepoFilter-klassen fra git-filter-repo til filtrering af repository blobs.
repo = Repo(repo_path) Initialiserer et Repo-objekt, der peger på den angivne depotsti.
RepoFilter(repo).filter_blobs(filter_large_blobs) Anvender en brugerdefineret filterfunktion til at fjerne store klatter fra depotet.
git rev-list --objects --all Viser alle objekter i depotet inklusive klatter, træer og commits.
git cat-file --batch-check Giver detaljerede oplysninger om objekter, herunder deres størrelse.
xargs -n 1 git filter-repo --strip-blobs-bigger-than $SIZE_LIMIT Bruger xargs til at anvende git filter-repo kommando til hver identificeret stor klat.

Hvordan de medfølgende scripts fungerer

Python-scriptet bruger GitPython-biblioteket til at interagere med Git-lageret. Depotet initialiseres vha from git import Repo og repo = Repo(repo_path), der peger på den angivne depotsti. Scriptet definerer derefter en filterfunktion filter_large_blobs(blob) for at identificere klatter større end 10 MB. Dette filter anvendes vha RepoFilter(repo).filter_blobs(filter_large_blobs), som sikrer, at klatter, der overstiger størrelsesgrænsen, fjernes fra depotets historie.

Shell-scriptet opnår et lignende mål ved hjælp af Git-kommandoer og shell-værktøjer. Den navigerer til depotbiblioteket med cd $REPO_PATH og viser alle objekter, der bruger git rev-list --objects --all. Hvert objekt kontrolleres for sin størrelse med git cat-file --batch-check. Objekter, der er større end den angivne størrelsesgrænse, filtreres og behandles vha xargs at ansøge git filter-repo --strip-blobs-bigger-than $SIZE_LIMIT til hver identificeret stor klat. Denne metode fjerner effektivt store klatter fra depotet, hvilket sikrer en ren historie uden unødvendige store filer.

Brug af Python til at filtrere Git Blobs efter størrelse

Python-script til filtrering af store klatter 

# Import necessary modules
import os
from git import Repo
from git_filter_repo import RepoFilter

# Define the repository path and size limit
repo_path = 'path/to/your/repo'
size_limit = 10 * 1024 * 1024  # 10 MB

# Initialize the repository
repo = Repo(repo_path)

# Define a filter function to remove large blobs
def filter_large_blobs(blob):
    return blob.size > size_limit

# Apply the filter to the repository
RepoFilter(repo).filter_blobs(filter_large_blobs)

Brug af Shell Script til at identificere og fjerne store Git-klatter

Shell-scripting til blob-styring i Git 

#!/bin/bash

# Define repository path and size limit
REPO_PATH="path/to/your/repo"
SIZE_LIMIT=10485760  # 10 MB

# Navigate to the repository
cd $REPO_PATH

# List blobs larger than the size limit
git rev-list --objects --all |
git cat-file --batch-check='%(objectname) %(objecttype) %(objectsize) %(rest)' |
awk '$3 >= $SIZE_LIMIT {print $1}' |
xargs -n 1 git filter-repo --strip-blobs-bigger-than $SIZE_LIMIT

echo "Large blobs removed from the repository"

Udforsker avancerede Git Filter-Repo-indstillinger

Mens git filter-repo --strip-blobs-bigger-than er effektiv til at fjerne store filer, er der yderligere muligheder for at tilpasse din depotoprydning. For eksempel kan du bruge --path at begrænse handlingen til bestemte filer eller mapper. Dette giver dig mulighed for kun at målrette mod bestemte områder af dit lager til fjernelse af klatter. En anden nyttig mulighed er --invert-paths, som udelukker specificerede stier fra operationen, hvilket giver mere kontrol over, hvilke filer der forbliver uberørte.

Desuden kan du kombinere --strip-blobs-bigger-than med --analyze for at få vist ændringerne, før du anvender dem. Dette hjælper med at undgå utilsigtede sletninger ved at give en detaljeret rapport om, hvad der vil blive fjernet. Brug af disse avancerede muligheder kan øge fleksibiliteten og præcisionen af ​​dine lagervedligeholdelsesopgaver, hvilket sikrer en renere og mere effektiv projekthistorik.

Ofte stillede spørgsmål om Git Filter-Repo

  1. Hvad gør git filter-repo --strip-blobs-bigger-than gøre?
  2. Det fjerner klatter større end den angivne størrelse fra lagerhistorikken.
  3. Hvordan gør --invert-paths arbejde?
  4. Det udelukker specificerede stier fra at blive behandlet af filteret.
  5. Kan jeg forhåndsvise ændringer, før jeg anvender dem?
  6. Ja, bruger --analyze giver en detaljeret rapport om ændringerne.
  7. Hvordan målretter jeg mod specifikke filer eller mapper?
  8. Brug --path mulighed for at begrænse operationer til bestemte stier.
  9. Hvad er formålet med RepoFilter klasse i Python?
  10. Det giver mulighed for anvendelse af brugerdefinerede filtre til depotet.
  11. Er der en måde at fortryde ændringer foretaget af git filter-repo?
  12. Når først ændringer er anvendt, kan de ikke let fortrydes. Sikkerhedskopier altid dit lager først.
  13. Hvad gør git rev-list --objects --all gøre?
  14. Den viser alle objekter i depotet, inklusive blobs, træer og commits.
  15. Hvorfor bruge xargs med git filter-repo?
  16. xargs hjælper med at anvende kommandoer på en liste over elementer, såsom store klatter, der er identificeret til fjernelse.

Sidste tanker om Git Blob Management

Effektiv styring af store filer i et Git-lager er afgørende for at optimere ydeevne og lagring. Brug af værktøjer som BFG og Git Filter-Repo hjælper med at strømline denne proces, selvom hver enkelt har unikke kommandoer og metoder. Ved at bruge avancerede muligheder og forstå nuancerne i hvert værktøj kan du sikre, at dit lager forbliver rent og effektivt. Husk altid at sikkerhedskopiere dit lager, før du foretager væsentlige ændringer for at undgå tab af data. Kombination af viden om disse værktøjer med strategisk planlægning vil forbedre din versionsstyringspraksis markant.