استخدام Awk وGrep في Bash لإزالة الأسطر من الملفات المحددة بعلامات جدولة

Jules David
الاثنين، ٢ ديسمبر ٢٠٢٤ ١:٠٦:٥٢ م
Awk

تبسيط معالجة الملفات باستخدام أدوات Bash

غالبًا ما يتضمن التعامل مع مجموعات البيانات الكبيرة تصفية معقدة لإزالة البيانات غير المرغوب فيها بكفاءة. بالنسبة للمطورين الذين يعملون مع ملفات مفصولة بعلامات جدولة، قد يكون تحقيق ذلك أمرًا صعبًا بشكل خاص. تصبح هذه المهمة أكثر تعقيدًا عندما تتفاعل ملفات متعددة بناءً على المنطق الشرطي.

تخيل أنك تعمل على مجموعة بيانات حيث يحدد الملف الثانوي الصفوف التي سيتم استبعادها من الملف الأساسي بناءً على تطابقات الأعمدة. باستخدام أدوات مثل و يعد البرنامج النصي Bash طريقة قوية لحل مثل هذه المشكلات، مما يوفر المرونة والأداء. ومع ذلك، فإن بناء المنطق الصحيح يتطلب الدقة.

في هذه المقالة، سنتعمق في استخدام Bash لتصفية الصفوف من ملف محدد بعلامات جدولة من خلال مقارنة أعمدة محددة بملف CSV ثانوي. ومن خلال مزيج من الأمثلة الواقعية ومقتطفات التعليمات البرمجية، ستتعلم كيفية التعامل مع التحديات المماثلة بفعالية. 🚀

سواء كنت جديدًا في البرمجة النصية لـ Bash أو تبحث عن تقنيات متقدمة، فإن هذا الدليل يوفر الوضوح اللازم للتنقل في تصفية البيانات المستندة إلى الأعمدة. وفي النهاية، ستكون جاهزًا للتعامل مع مجموعات البيانات الأكثر صعوبة بسهولة. دعونا نتعمق في الحل! ✨

يأمر مثال للاستخدام
awk يستخدم لمسح الأنماط ومعالجة النص. في هذه الحالة، يقوم بتصفية الصفوف من ملف مفصول بعلامات جدولة عن طريق مقارنة أعمدة محددة. مثال: awk -F"t" '$2=="key"' file.tsv يتحقق مما إذا كان العمود الثاني يطابق مفتاحًا محددًا.
IFS يحدد فاصل المجال الداخلي للقذيفة. هنا، يتم استخدام IFS=',' لتحليل ملفات CSV عن طريق تقسيم الأسطر بفواصل.
getline دالة Awk تستخدم لقراءة الأسطر من ملف أو إدخال قياسي. في المثال، بينما ((getline 0) يعالج كل سطر من ملف الإدخال ديناميكيًا.
next يوجه Awk للانتقال إلى السجل التالي دون معالجة التعليمات المتبقية. مثال: إذا تخطى ($2=="key") بعد ذلك الصفوف المتطابقة.
mv ينقل أو يعيد تسمية الملفات. في البرنامج النصي، يستبدل mv temp_output.tsv input1.tsv الملف الأصلي بالمخرجات التي تمت تصفيتها.
diff يقارن ملفين سطراً بسطر. يستخدم في الاختبار للتأكد من أن مخرجات البرنامج النصي تتطابق مع النتائج المتوقعة. على سبيل المثال: فرق الإخراج.tsv المتوقع.tsv.
match تعبير Awk يقوم بتقييم ما إذا كان الشرط موجودًا. مثال: يقوم match=0 بتهيئة متغير لتتبع ما إذا كان العمود يطابق معايير الاستبعاد.
associative array ميزة Awk لتخزين أزواج القيمة الرئيسية. مثال: استبعاد[$1]=$2 يعين مفاتيح CSV لقيم الاستبعاد للبحث السريع.
OFS يحدد فاصل حقول الإخراج في Awk كيفية فصل الحقول في الإخراج. مثال: BEGIN {OFS="t"} يضمن إخراج محدد بعلامات جدولة.
cat تسلسل وعرض محتويات الملف. يُستخدم هنا للتحقق من المخرجات وعرضها، مثل إخراج cat.tsv الذي تمت تصفيته.

التقنيات المتقدمة لتصفية البيانات باستخدام Awk وGrep

في البرامج النصية المقدمة، نتعامل مع التحدي المتمثل في تصفية الصفوف من ملف مفصول بعلامات جدولة بناءً على الشروط المحددة في ملف CSV ثانوي. هذه المشكلة هي سيناريو شائع في معالجة البيانات، حيث تتفاعل مجموعات البيانات بناءً على الشروط العلائقية. باستخدام Bash، يستخدم الحل أدوات مثل لتحليل الأعمدة و لمطابقة الأنماط، مما يجعلها فعالة وقابلة للتكيف مع مجموعات البيانات الكبيرة. على سبيل المثال، قد تحتاج إلى تنظيف سجلات البيانات عن طريق استبعاد إدخالات محددة تم تحديدها في تقرير خطأ منفصل. 🚀

يقرأ البرنامج النصي الأول ملف CSV سطرًا تلو الآخر، ويستخرج قيم الأعمدة التي تعمل كمرشحات. ويستخدم فاصل المجال الداخلي () لتحليل القيم المفصولة بفواصل في ملف CSV بشكل صحيح. ال يلعب الأمر دورًا حاسمًا هنا، لأنه يتحقق مما إذا كان العمود من الملف المفصول بعلامات جدولة يطابق القيمة من ملف CSV. إذا تم العثور على تطابق، يضمن البرنامج النصي استبعاد الصف من الإخراج. يعد هذا المزيج من الأدوات مثاليًا للحفاظ على سلامة مجموعة البيانات مع استبعاد الصفوف غير المرغوب فيها. ✨

ميزة أخرى مهمة للنصوص هي النمطية. على سبيل المثال، يتم استخدام الملفات المؤقتة لتخزين النتائج المتوسطة قبل الكتابة فوق الملف الأصلي. يضمن هذا الأسلوب أن أخطاء المعالجة الجزئية لا تؤدي إلى إتلاف بيانات الإدخال. الاستخدام الحصري ل في أحد الحلول، يعمل على تحسين الأداء عن طريق تقليل المكالمات الخارجية إلى الأدوات الأخرى. تعمل المصفوفات الترابطية في Awk على تبسيط منطق الاستبعاد، مما يجعل البرنامج النصي أكثر نظافة وأسهل في الصيانة. ضع في اعتبارك موقفًا حيث يكون لديك قائمة عملاء وتحتاج إلى إزالة الصفوف بناءً على المعرفات التي تم وضع علامة عليها؛ هذه التقنيات تجعلها واضحة وموثوقة.

بالإضافة إلى ذلك، تم دمج معالجة الأخطاء بمهارة في هذه البرامج النصية. باستخدام أوامر مثل لاستبدال الملفات بعد التصفية يضمن عدم الكتابة فوق غير المقصودة. تستخدم البرامج النصية أيضًا اختبارات الوحدة، والتي تتحقق من صحة المخرجات من خلال مقارنتها بالنتائج المتوقعة. تعتبر هذه الخطوة مفيدة بشكل خاص عند تشغيل الحل في بيئات مختلفة، مثل Linux أو macOS. من خلال الجمع بين أفضل الممارسات والبرمجة النصية المدروسة، تتميز حلول Bash هذه بأنها قابلة لإعادة الاستخدام وفعالة للغاية، مما يجعلها مناسبة بشكل ممتاز لسيناريوهات إدارة البيانات في العالم الحقيقي. 🌟

تصفية البيانات بكفاءة في Bash: استخدام Awk وGrep للظروف المعقدة

يستخدم هذا الأسلوب البرمجة النصية Bash مع Awk وGrep لمعالجة النص. الحل معياري ويتم التعليق عليه من أجل الوضوح وإمكانية إعادة الاستخدام.

# Define input files
IN1="input1.tsv"
IN2="input2.csv"
# Temporary file for intermediate processing
TEMP_FILE="temp_output.tsv"

# Read the CSV file line by line
while IFS=',' read -r CL1 CL2; do
  # Check if the first column of IN2 matches the second column of IN1
  awk -F"\t" -v cl1="$CL1" -v cl2="$CL2" 'BEGIN {OFS="\t"} 
    { if ($2 == cl1) next; else print }' "$IN1" > "$TEMP_FILE"
  # Replace original file with the filtered output
  mv "$TEMP_FILE" "$IN1"
done < "$IN2"

# Print the final filtered output
cat "$IN1"

النهج البديل: استخدام Pure Awk لتحسين الأداء

يستخدم هذا الحل Awk حصريًا لمعالجة كلا الملفين بكفاءة، مما يضمن قابلية التوسع لمجموعات البيانات الكبيرة.

# Define input files
IN1="input1.tsv"
IN2="input2.csv"

# Create an associative array to store exclusions
awk -F"," '{ exclude[$1]=$2 } END {
  while ((getline < "input1.tsv") > 0) {
    match = 0
    for (key in exclude) {
      if ($2 == key) { match = 1; break }}
    if (!match) print }}' "$IN2" > "filtered_output.tsv"

# Output the filtered result
cat "filtered_output.tsv"

البرنامج النصي لاختبار الوحدة: التحقق من دقة معالجة البيانات

تضمن اختبارات الوحدة أداء البرنامج النصي كما هو متوقع عبر سيناريوهات مختلفة. يستخدم هذا البرنامج النصي Bash لاختبار تناسق الإدخال والإخراج.

# Test Input Files
echo -e "HEAD1\tHEAD2\tHEAD3\tHEAD4\tHEAD5\tHEAD6\nQux\tZX_999876\tBar\tFoo\tMN111111\tQuux\nFoo\tAB_123456\tBar\tBaz\tCD789123\tQux\nBar\tAC_456321\tBaz\tQux\tGF333444\tFoo\nFoo\tCD789123\tQux\tBaz\tGH987124\tQux" > test_input1.tsv
echo "AB_123456,CD789123\nZX_999876,MN111111" > test_input2.csv

# Run the main script
bash main_script.sh

# Compare output with expected result
expected_output="HEAD1\tHEAD2\tHEAD3\tHEAD4\tHEAD5\tHEAD6\nQux\tZX_999876\tBar\tFoo\tMN111111\tQuux\nFoo\tAB_123456\tBar\tBaz\tCD789123\tQux\nBar\tAC_456321\tBaz\tQux\tGF333444\tFoo"
diff <(cat filtered_output.tsv) <(echo -e "$expected_output")

إطلاق العنان لتحويل البيانات باستخدام Awk وGrep

عند العمل مع مجموعات البيانات الجدولية، يعد التحويل والتصفية الفعالان أمرًا ضروريًا. بالإضافة إلى إزالة الصفوف البسيطة، فإن أدوات مثل و تمكين المعالجة المتقدمة للبيانات، مثل التنسيق الشرطي أو استخراج مجموعات فرعية بناءً على شروط متعددة. وهذا التنوع يجعلها لا تقدر بثمن بالنسبة لمهام مثل إعداد البيانات لنماذج التعلم الآلي أو إدارة ملفات السجل. على سبيل المثال، تخيل سيناريو تحتاج فيه إلى إزالة معلومات العميل الحساسة من مجموعة بيانات بناءً على المعرفات التي تم وضع علامة عليها - يمكن لـ awk وgrep التعامل مع مثل هذه المهام بسلاسة. 🌟

جانب آخر مهم لهذه الأدوات هو قدرتها على التوسع. ومن خلال المعالجة سطرًا تلو الآخر مع الاستخدام الفعال للذاكرة، فإنهم يتفوقون في التعامل مع الملفات الكبيرة. على سبيل المثال، يسمح استخدام Awk للمصفوفات الترابطية بإجراء عمليات بحث سريعة وتصفية فعالة دون الحاجة إلى تحميل الملف بأكمله في الذاكرة. يعد هذا مفيدًا بشكل خاص عند العمل مع سيناريوهات البيانات الواقعية مثل سجلات المعاملات أو السجلات التي تم إنشاؤها بواسطة إنترنت الأشياء. في مثل هذه الحالات، يمكن إنجاز مهام مثل تحديد وإزالة الإدخالات المكررة أو التصفية بناءً على الشروط المعقدة في بضعة أسطر فقط من البرنامج النصي. 🚀

علاوة على ذلك، فإن دمج هذه الأدوات في سير العمل الآلي يزيد من قوتها. ومن خلال دمجها مع أدوات الجدولة مثل cron، يمكنك إنشاء أنظمة تقوم بمعالجة مجموعات البيانات وتنظيفها بانتظام، مما يضمن بقاءها دقيقة وجاهزة للتحليل. تتيح هذه التقنيات للشركات توفير الوقت وتقليل الأخطاء، مما يؤدي إلى إنشاء أدوات أساسية في مجموعة أدوات أي متخصص في البيانات. باستخدام هذه الأساليب، يمكنك معالجة تحديات البيانات الأكثر تعقيدًا بثقة وكفاءة.

  1. ما هي الميزة الرئيسية للاستخدام على الأدوات التقليدية؟
  2. يوفر عمليات قائمة على الأعمدة، مما يجعله مثاليًا للبيانات المنظمة مثل ملفات CSV أو TSV. فهو يتيح المعالجة القائمة على الحالة مع الحد الأدنى من البرمجة النصية.
  3. كيف تختلف عن في تصفية البيانات؟
  4. مخصص في المقام الأول للبحث عن الأنماط، بينما يسمح بمنطق أكثر تقدمًا، مثل معالجة الأعمدة أو العمليات الحسابية.
  5. يستطيع و التعامل مع الملفات الكبيرة؟
  6. نعم، تم تحسين كلاهما للمعالجة سطرًا بسطر، مما يضمن معالجة فعالة للذاكرة لمجموعات البيانات الكبيرة.
  7. كيف يمكنك ضمان التصفية الدقيقة في مجموعات البيانات المعقدة؟
  8. من خلال الجمع بين أدوات مثل و واختبار البرامج النصية باستخدام اختبارات الوحدة للتحقق من تناسق المخرجات.
  9. ما هي بعض حالات الاستخدام الشائعة للجمع و ؟
  10. تشمل الأمثلة تنظيف مجموعات بيانات العملاء، وإزالة التكرارات، وإعداد الملفات للتحليلات، وإدارة ملفات السجل.

توضح التقنيات التي تمت مناقشتها هنا كيفية دمج أدوات مثل و لمعالجة البيانات المتقدمة. تعتبر هذه الطرق فعالة بشكل خاص لتصفية مجموعات البيانات الكبيرة أو أتمتة مهام تنظيف البيانات المتكررة، مما يوفر الوقت والجهد الثمين.

سواء كنت تقوم بمعالجة سجلات العملاء أو إدارة ملفات السجل، فإن هذا الأسلوب يوفر المرونة اللازمة للتعامل مع المتطلبات المعقدة. ويضمن الجمع بين هذه الأدوات والنصوص الآلية الدقة والموثوقية، مما يجعلها ضرورية لسير عمل البيانات الحديثة. ✨