A Git Filter-Repo használata blobok eltávolítására

Temp mail SuperHeros
A Git Filter-Repo használata blobok eltávolítására
A Git Filter-Repo használata blobok eltávolítására
Mia Chevalier
2024. május 21., kedd 6:33:19

Blob Stripping megértése Gitben

Gitben a nagy fájlok kezelése kihívást jelenthet, különösen akkor, ha már nincs rájuk szükség a munkapéldányban. Az olyan eszközök, mint a BFG és a Git Filter-Repo megoldást kínálnak ezeknek a nagyméretű fájlok eltávolítására a tárhely előzményei közül. Azonban a Git Filter-Repo használatával ugyanazokat az eredményeket elérni, mint a BFG-vel, bonyolult lehet.

Ez a cikk a BFG parancs replikálását tárgyalja --csík-foltok-nagyobb-mint a Git Filter-Repo használatával. Megoldjuk a gyakori problémákat, és lépésről lépésre útmutatót adunk annak biztosítására, hogy hatékonyan tisztítsa meg a tárat anélkül, hogy véletlenül eltávolítaná a még használatban lévő fájlokat.

Parancs Leírás
from git import Repo Importálja a GitPython könyvtár Repo osztályát a Git-tárral való interakcióhoz.
git_filter_repo import RepoFilter Importálja a RepoFilter osztályt a git-filter-repo-ból a lerakatblobok szűréséhez.
repo = Repo(repo_path) Inicializál egy Repo objektumot, amely a megadott lerakat útvonalra mutat.
RepoFilter(repo).filter_blobs(filter_large_blobs) Egyéni szűrőfunkciót alkalmaz a nagy blobok eltávolításához a lerakatból.
git rev-list --objects --all Felsorolja az összes objektumot a lerakatban, beleértve a blobokat, fákat és véglegesítéseket.
git cat-file --batch-check Részletes információkat nyújt az objektumokról, beleértve azok méretét.
xargs -n 1 git filter-repo --strip-blobs-bigger-than $SIZE_LIMIT Az xargs segítségével alkalmazza a git filter-repo parancsot minden azonosított nagy blobhoz.

Hogyan működnek a biztosított szkriptek

A Python-szkript a GitPython-könyvtárat használja a Git-tárral való interakcióhoz. A tároló inicializálása a használatával történik from git import Repo és repo = Repo(repo_path), amely a megadott lerakat útvonalra mutat. A szkript ezután meghatároz egy szűrőfüggvényt filter_large_blobs(blob) a 10 MB-nál nagyobb blobok azonosítására. Ez a szűrő a következővel kerül alkalmazásra RepoFilter(repo).filter_blobs(filter_large_blobs), amely biztosítja, hogy a méretkorlátot meghaladó blobok eltávolításra kerülnek a lerakat előzményeiből.

A shell-szkript hasonló célt ér el a Git-parancsok és shell-segédprogramok használatával. Ezzel navigál a lerakatkönyvtárba cd $REPO_PATH és felsorolja az összes használó objektumot git rev-list --objects --all. Minden objektum méretét ellenőrzi a segítségével git cat-file --batch-check. A megadott méretkorlátnál nagyobb objektumok szűrése és feldolgozása a következővel történik: xargs alkalmazni git filter-repo --strip-blobs-bigger-than $SIZE_LIMIT minden azonosított nagy folthoz. Ez a módszer hatékonyan távolítja el a nagy blobokat a tárolóból, így tiszta előzményeket biztosít szükségtelen nagy fájlok nélkül.

Python használata a Git Blobok méret szerinti szűrésére

Python szkript nagy blobok szűrésére 

# Import necessary modules
import os
from git import Repo
from git_filter_repo import RepoFilter

# Define the repository path and size limit
repo_path = 'path/to/your/repo'
size_limit = 10 * 1024 * 1024  # 10 MB

# Initialize the repository
repo = Repo(repo_path)

# Define a filter function to remove large blobs
def filter_large_blobs(blob):
    return blob.size > size_limit

# Apply the filter to the repository
RepoFilter(repo).filter_blobs(filter_large_blobs)

Shell Script használata a nagy Git Blobok azonosítására és eltávolítására

Shell-szkriptek a blobkezeléshez Gitben 

#!/bin/bash

# Define repository path and size limit
REPO_PATH="path/to/your/repo"
SIZE_LIMIT=10485760  # 10 MB

# Navigate to the repository
cd $REPO_PATH

# List blobs larger than the size limit
git rev-list --objects --all |
git cat-file --batch-check='%(objectname) %(objecttype) %(objectsize) %(rest)' |
awk '$3 >= $SIZE_LIMIT {print $1}' |
xargs -n 1 git filter-repo --strip-blobs-bigger-than $SIZE_LIMIT

echo "Large blobs removed from the repository"

Speciális Git Filter-Repo opciók felfedezése

Míg git filter-repo --strip-blobs-bigger-than Hatékony nagy fájlok eltávolítására, további lehetőségek is vannak a lerakattisztítás testreszabására. Például használhatja --path hogy a műveletet meghatározott fájlokra vagy könyvtárakra korlátozza. Ez lehetővé teszi, hogy a tárhely csak bizonyos területeit célozza meg a blob eltávolításához. Egy másik hasznos lehetőség az --invert-paths, amely kizárja a megadott elérési utakat a műveletből, így jobban szabályozható, hogy mely fájlok maradjanak érintetlenek.

Ráadásul kombinálhatod is --strip-blobs-bigger-than val vel --analyze a módosítások előnézetének megtekintéséhez azok alkalmazása előtt. Ez segít elkerülni a nem szándékos törléseket azáltal, hogy részletes jelentést készít arról, hogy mit fognak eltávolítani. Ezeknek a speciális opcióknak a használata növelheti a lerakatkarbantartási feladatok rugalmasságát és pontosságát, tisztább és hatékonyabb projekttörténetet biztosítva.

Gyakran Ismételt Kérdések a Git Filter-Repo webhelyen

  1. Mit csinál git filter-repo --strip-blobs-bigger-than csinálni?
  2. Eltávolítja a megadott méretnél nagyobb blobokat a lerakat előzményeiből.
  3. Hogyan működik --invert-paths munka?
  4. Kizárja a megadott útvonalakat a szűrő általi feldolgozásból.
  5. Megtekinthetem a módosítások előnézetét, mielőtt alkalmaznám őket?
  6. Igen, használ --analyze részletes jelentést ad a változásokról.
  7. Hogyan célozhatok meg adott fájlokat vagy könyvtárakat?
  8. Használja a --path opció a műveletek meghatározott útvonalakra való korlátozására.
  9. Mi a célja a RepoFilter osztály Pythonban?
  10. Lehetővé teszi egyéni szűrők alkalmazását a tárhelyre.
  11. Van mód a módosítások visszavonására git filter-repo?
  12. A módosítások alkalmazása után nem vonhatók vissza könnyen. Először mindig készítsen biztonsági másolatot a tárhelyről.
  13. Mit csinál git rev-list --objects --all csinálni?
  14. Felsorolja a lerakatban lévő összes objektumot, beleértve a blobokat, fákat és véglegesítéseket.
  15. Miért használja xargs val vel git filter-repo?
  16. xargs segít parancsokat alkalmazni az elemek listájára, például az eltávolítandó nagy blobokra.

Utolsó gondolatok a Git Blob kezeléséről

A nagy fájlok hatékony kezelése a Git-tárolóban elengedhetetlen a teljesítmény és a tárolás optimalizálásához. Az olyan eszközök használata, mint a BFG és a Git Filter-Repo, segít leegyszerűsíteni ezt a folyamatot, bár mindegyik egyedi parancsokkal és módszerekkel rendelkezik. A speciális opciók használatával és az egyes eszközök árnyalatainak megértésével biztosíthatja, hogy tárháza tiszta és hatékony maradjon. Mindig ne felejtsen el biztonsági másolatot készíteni a tárhelyről, mielőtt jelentős változtatásokat hajt végre az adatvesztés elkerülése érdekében. Ezen eszközök ismerete és a stratégiai tervezés kombinálása jelentősen javítja a verziókezelési gyakorlatot.