Bash에서 Awk 및 Grep을 활용하여 탭으로 구분된 파일에서 줄 제거

Bash의 효율적인 데이터 필터링: 복잡한 조건에 Awk 및 Grep 사용

이 접근 방식은 텍스트 조작을 위해 Awk 및 Grep과 결합된 Bash 스크립팅을 사용합니다. 솔루션은 모듈식이며 명확성과 재사용성을 위해 설명되었습니다.

# Define input files
IN1="input1.tsv"
IN2="input2.csv"
# Temporary file for intermediate processing
TEMP_FILE="temp_output.tsv"

# Read the CSV file line by line
while IFS=',' read -r CL1 CL2; do
  # Check if the first column of IN2 matches the second column of IN1
  awk -F"\t" -v cl1="$CL1" -v cl2="$CL2" 'BEGIN {OFS="\t"} 
    { if ($2 == cl1) next; else print }' "$IN1" > "$TEMP_FILE"
  # Replace original file with the filtered output
  mv "$TEMP_FILE" "$IN1"
done < "$IN2"

# Print the final filtered output
cat "$IN1"

대체 접근 방식: 성능 최적화를 위해 Pure Awk 사용

이 솔루션은 Awk를 독점적으로 사용하여 두 파일을 모두 효율적으로 처리하여 대규모 데이터 세트의 확장성을 보장합니다.

# Define input files
IN1="input1.tsv"
IN2="input2.csv"

# Create an associative array to store exclusions
awk -F"," '{ exclude[$1]=$2 } END {
  while ((getline < "input1.tsv") > 0) {
    match = 0
    for (key in exclude) {
      if ($2 == key) { match = 1; break }}
    if (!match) print }}' "$IN2" > "filtered_output.tsv"

# Output the filtered result
cat "filtered_output.tsv"

단위 테스트 스크립트: 데이터 처리 정확성 검증

단위 테스트는 스크립트가 다양한 시나리오에서 예상대로 작동하는지 확인합니다. 이 스크립트는 Bash를 사용하여 입력 및 출력 일관성을 테스트합니다.

# Test Input Files
echo -e "HEAD1\tHEAD2\tHEAD3\tHEAD4\tHEAD5\tHEAD6\nQux\tZX_999876\tBar\tFoo\tMN111111\tQuux\nFoo\tAB_123456\tBar\tBaz\tCD789123\tQux\nBar\tAC_456321\tBaz\tQux\tGF333444\tFoo\nFoo\tCD789123\tQux\tBaz\tGH987124\tQux" > test_input1.tsv
echo "AB_123456,CD789123\nZX_999876,MN111111" > test_input2.csv

# Run the main script
bash main_script.sh

# Compare output with expected result
expected_output="HEAD1\tHEAD2\tHEAD3\tHEAD4\tHEAD5\tHEAD6\nQux\tZX_999876\tBar\tFoo\tMN111111\tQuux\nFoo\tAB_123456\tBar\tBaz\tCD789123\tQux\nBar\tAC_456321\tBaz\tQux\tGF333444\tFoo"
diff <(cat filtered_output.tsv) <(echo -e "$expected_output")

데이터 처리를 위한 Awk 및 Grep 사용에 대해 자주 묻는 질문

1. 사용의 가장 큰 장점은 무엇입니까 awk 전통적인 도구보다?
2. Awk 열 기반 작업을 제공하므로 CSV 또는 TSV 파일과 같은 구조화된 데이터에 적합합니다. 최소한의 스크립팅으로 조건 기반 처리가 가능합니다.
3. 어떻게 grep 다르다 awk 데이터 필터링에?
4. Grep 주로 패턴을 검색하는 데 사용되지만 awk 열 조작이나 계산과 같은 고급 논리를 허용합니다.
5. 할 수 있다 awk 그리고 grep 대용량 파일을 처리하시나요?
6. 예, 둘 다 라인별 처리에 최적화되어 있어 대규모 데이터 세트를 메모리 효율적으로 처리할 수 있습니다.
7. 복잡한 데이터 세트에서 정확한 필터링을 어떻게 보장합니까?
8. 다음과 같은 도구를 결합하여 awk 그리고 grep 출력 일관성을 검증하기 위해 단위 테스트로 스크립트를 테스트합니다.
9. 결합의 일반적인 사용 사례는 무엇입니까? awk 그리고 grep?
10. 예로는 고객 데이터 세트 정리, 중복 제거, 분석용 파일 준비, 로그 파일 관리 등이 있습니다.

Bash 워크플로 간소화

여기에 설명된 기술은 다음과 같은 도구를 통합하는 방법을 보여줍니다. 앗 그리고 grep 고급 데이터 조작을 위해. 이러한 방법은 특히 대규모 데이터 세트를 필터링하거나 반복적인 데이터 정리 작업을 자동화하여 귀중한 시간과 노력을 절약하는 데 효과적입니다.

고객 기록을 처리하든 로그 파일을 관리하든 이 접근 방식은 복잡한 요구 사항을 처리할 수 있는 유연성을 제공합니다. 이러한 도구를 자동화된 스크립트와 결합하면 정확성과 신뢰성이 보장되므로 현대적인 데이터 워크플로우에 필수적입니다. ✨