Uporaba programov Awk in Grep v Bashu za odstranjevanje vrstic iz datotek, ločenih s tabulatorji

Poenostavitev obdelave datotek z orodji Bash

Ravnanje z velikimi nabori podatkov pogosto vključuje zapleteno filtriranje za učinkovito odstranjevanje neželenih podatkov. Za razvijalce, ki delajo z datotekami, ločenimi s tabulatorji, je doseganje tega lahko še posebej zahtevno. Ta naloga postane še bolj zapletena, ko več datotek sodeluje na podlagi pogojne logike.

Predstavljajte si, da delate na naboru podatkov, kjer sekundarna datoteka narekuje, katere vrstice je treba izključiti iz primarne datoteke na podlagi ujemanja stolpcev. Z uporabo orodij, kot je awk in grep v skriptu Bash je zmogljiv način za reševanje takšnih težav, saj ponuja prilagodljivost in zmogljivost. Vendar konstrukcija pravilne logike zahteva natančnost.

V tem članku se poglobimo v uporabo Bash za filtriranje vrstic iz datoteke, ločene s tabulatorji, s primerjavo določenih stolpcev s sekundarno datoteko CSV. Z mešanico primerov iz resničnega sveta in izrezkov kode se boste naučili učinkovito reševati podobne izzive. 🚀

Ne glede na to, ali ste začetnik s skriptiranjem Bash ali iščete napredne tehnike, ta vodnik nudi jasnost, potrebno za krmarjenje po filtriranju podatkov na podlagi stolpcev. Na koncu boste opremljeni za enostavno obvladovanje tudi najzahtevnejših naborov podatkov. Potopimo se v rešitev! ✨

Napredne tehnike za filtriranje podatkov z Awk in Grep

V priloženih skriptih se spopadamo z izzivom filtriranja vrstic iz datoteke, ločene s tabulatorji, na podlagi pogojev, določenih v sekundarni datoteki CSV. Ta težava je pogost scenarij pri obdelavi podatkov, kjer nabori podatkov medsebojno delujejo na podlagi relacijskih pogojev. Z uporabo Bash rešitev uporablja orodja, kot je awk za razčlenjevanje stolpcev in grep za ujemanje vzorcev, zaradi česar je učinkovit in prilagodljiv velikim podatkovnim nizom. Na primer, morda boste morali počistiti podatkovne dnevnike tako, da izključite določene vnose, opredeljene v ločenem poročilu o napakah. 🚀

Prvi skript bere datoteko CSV vrstico za vrstico in ekstrahira vrednosti stolpcev, ki delujejo kot filtri. Uporablja notranji ločilnik polj (IFS), da pravilno razčlenijo z vejicami ločene vrednosti v datoteki CSV. The awk ukaz igra tukaj ključno vlogo, saj preveri, ali se stolpec iz datoteke, ločene s tabulatorji, ujema z vrednostjo iz CSV. Če se najde ujemanje, skript zagotovi, da je vrstica izključena iz izhoda. Ta kombinacija orodij je popolna za ohranjanje celovitosti nabora podatkov in hkrati izključevanje neželenih vrstic. ✨

Druga pomembna lastnost skriptov je modularnost. Na primer, začasne datoteke se uporabljajo za shranjevanje vmesnih rezultatov pred prepisovanjem izvirne datoteke. Ta pristop zagotavlja, da delne napake pri obdelavi ne poškodujejo vhodnih podatkov. Izključna uporaba awk v eni rešitvi optimizira zmogljivost z zmanjšanjem zunanjih klicev na druga orodja. Asociativni nizi v Awku poenostavljajo logiko izključevanja, zaradi česar je skript čistejši in lažji za vzdrževanje. Razmislite o situaciji, ko imate seznam strank in morate odstraniti vrstice na podlagi označenih ID-jev; zaradi teh tehnik je enostaven in zanesljiv.

Poleg tega je v te skripte subtilno vgrajeno obravnavanje napak. Uporaba ukazov, kot je mv za zamenjavo datotek po filtriranju zagotavlja nobenih nenamernih prepisov. Skripti uporabljajo tudi teste enot, ki potrdijo pravilnost izhoda tako, da ga primerjajo s pričakovanimi rezultati. Ta korak je še posebej uporaben pri izvajanju rešitve v različnih okoljih, kot sta Linux ali macOS. Z združevanjem najboljših praks in premišljenega skriptiranja so te rešitve Bash zelo uporabljive in učinkovite, zaradi česar se odlično prilegajo scenarijem upravljanja podatkov v resničnem svetu. 🌟

# Define input files
IN1="input1.tsv"
IN2="input2.csv"
# Temporary file for intermediate processing
TEMP_FILE="temp_output.tsv"

# Read the CSV file line by line
while IFS=',' read -r CL1 CL2; do
  # Check if the first column of IN2 matches the second column of IN1
  awk -F"\t" -v cl1="$CL1" -v cl2="$CL2" 'BEGIN {OFS="\t"} 
    { if ($2 == cl1) next; else print }' "$IN1" > "$TEMP_FILE"
  # Replace original file with the filtered output
  mv "$TEMP_FILE" "$IN1"
done < "$IN2"

# Print the final filtered output
cat "$IN1"

# Define input files
IN1="input1.tsv"
IN2="input2.csv"

# Create an associative array to store exclusions
awk -F"," '{ exclude[$1]=$2 } END {
  while ((getline < "input1.tsv") > 0) {
    match = 0
    for (key in exclude) {
      if ($2 == key) { match = 1; break }}
    if (!match) print }}' "$IN2" > "filtered_output.tsv"

# Output the filtered result
cat "filtered_output.tsv"

# Test Input Files
echo -e "HEAD1\tHEAD2\tHEAD3\tHEAD4\tHEAD5\tHEAD6\nQux\tZX_999876\tBar\tFoo\tMN111111\tQuux\nFoo\tAB_123456\tBar\tBaz\tCD789123\tQux\nBar\tAC_456321\tBaz\tQux\tGF333444\tFoo\nFoo\tCD789123\tQux\tBaz\tGH987124\tQux" > test_input1.tsv
echo "AB_123456,CD789123\nZX_999876,MN111111" > test_input2.csv

# Run the main script
bash main_script.sh

# Compare output with expected result
expected_output="HEAD1\tHEAD2\tHEAD3\tHEAD4\tHEAD5\tHEAD6\nQux\tZX_999876\tBar\tFoo\tMN111111\tQuux\nFoo\tAB_123456\tBar\tBaz\tCD789123\tQux\nBar\tAC_456321\tBaz\tQux\tGF333444\tFoo"
diff <(cat filtered_output.tsv) <(echo -e "$expected_output")

Odklepanje pretvorbe podatkov z Awk in Grep

Pri delu s tabelarnimi nabori podatkov sta bistvena učinkovita transformacija in filtriranje. Poleg preprostega odstranjevanja vrstic, orodja, kot je awk in grep omogočite napredno obdelavo podatkov, kot je pogojno oblikovanje ali ekstrahiranje podnaborov na podlagi več pogojev. Zaradi svoje vsestranskosti so neprecenljivi za naloge, kot je priprava podatkov za modele strojnega učenja ali upravljanje dnevniških datotek. Predstavljajte si na primer scenarij, kjer morate odstraniti občutljive podatke o strankah iz nabora podatkov na podlagi označenih identifikatorjev – awk in grep lahko brezhibno opravita takšna opravila. 🌟

Drugi kritični vidik teh orodij je njihova zmožnost spreminjanja velikosti. Z obdelavo vrstico za vrstico z učinkovito uporabo pomnilnika se odlikujejo pri rokovanju z velikimi datotekami. Awkova uporaba asociativnih nizov na primer omogoča hitro iskanje in učinkovito filtriranje, ne da bi bilo treba naložiti celotno datoteko v pomnilnik. To je še posebej uporabno pri delu s scenariji podatkov iz resničnega sveta, kot so zapisi o transakcijah ali dnevniki, ki jih ustvari internet stvari. V takih primerih je mogoče naloge, kot je prepoznavanje in odstranjevanje podvojenih vnosov ali filtriranje na podlagi zapletenih pogojev, doseči v le nekaj vrsticah skripta. 🚀

Poleg tega integracija teh orodij v avtomatizirane poteke dela poveča njihovo moč. Če jih združite z orodji za načrtovanje, kot je cron, lahko zgradite sisteme, ki redno obdelujejo in čistijo nabore podatkov, s čimer zagotovite, da ostanejo točni in pripravljeni za analizo. Te tehnike omogočajo podjetjem, da prihranijo čas in zmanjšajo napake, s čimer postanejo awk in grep sponka v naboru orodij vsakega strokovnjaka za podatke. S temi metodami se lahko samozavestno in učinkovito spopadete tudi z najbolj zapletenimi podatkovnimi izzivi.