إعادة ترتيب أعمدة Polars DataFrame بناءً على قيم الصف

فرز إطارات البيانات باستخدام القطبية: دليل عملي

يعد التعامل مع البيانات مهارة أساسية لأي شخص يعمل مع بايثون، خاصة عند التعامل مع مجموعات البيانات المعقدة. 📊 سواء كنت تقوم بتنظيف البيانات للتحليل أو إعدادها للتصور، فغالبًا ما يكون فرز الأعمدة خطوة أساسية. لا يكون الأمر واضحًا دائمًا عندما يعتمد الفرز على قيم صف محددة.

تخيل العمل على مجموعة بيانات بمقاييس إقليمية تمتد لعدة سنوات. التحدي؟ ترتيب الأعمدة بترتيب قيم السنة المقابلة لها، كل ذلك مع الاحتفاظ بعمود "المنطقة" كنقطة ارتساء. تتطلب هذه المهمة أسلوبًا إبداعيًا، خاصة عند استخدام مكتبة Python Polars.

Polars، المعروفة بسرعتها وكفاءتها، هي المفضلة لدى محترفي البيانات. ومع ذلك، هناك أوقات عندما وظائفها المضمنة مثل نوع لا تقدم حلاً على الفور. قد تجد نفسك تبحث عن طرق لمعالجة بياناتك لتلبية متطلبات محددة.

في هذه المقالة، سنستكشف كيفية إعادة ترتيب أعمدة Polars DataFrame استنادًا إلى القيم الموجودة في صف معين. وباستخدام مثال قريب، سنقوم بتقسيم العملية خطوة بخطوة للتأكد من أنه يمكنك تطبيق التقنية على مشاريعك الخاصة. 🚀

فرز الأعمدة ديناميكيا في القطبية

تعمل البرامج النصية التي تم إنشاؤها أعلاه على حل التحدي المتمثل في إعادة ترتيب الأعمدة ديناميكيًا في Polars DataFrame استنادًا إلى القيم الموجودة في صف معين. يعد هذا مفيدًا بشكل خاص في سيناريوهات مثل إعادة تنظيم البيانات للتقارير أو المرئيات. يستخدم البرنامج النصي الأول مرونة Polars لاستخراج صف "السنة"، وتعيين أسماء الأعمدة إلى القيم المقابلة لها، وفرز الأعمدة. يضمن هذا الأسلوب بقاء عمود "المنطقة" في موضعه الأصلي، متبوعًا بالأعمدة المعاد ترتيبها. يعد سير العمل هذا ضروريًا عند العمل مع مجموعات البيانات المعقدة حيث يجب أن يعكس ترتيب الأعمدة اتجاهات البيانات الأساسية. 🚀

وفي الطريقة الثانية نستخدم NumPy، مكتبة قوية للحسابات الرقمية. توضح هذه الطريقة كيفية الاستفادة من صفائف NumPy في عمليات الفرز. من خلال تحويل صف "السنة" إلى مصفوفة NumPy، يقوم الكود بحساب الترتيب الصحيح للأعمدة بكفاءة باستخدام argsort. يتم بعد ذلك تطبيق الفهارس التي تم فرزها لإعادة ترتيب أسماء الأعمدة. يعرض هذا التكامل بين Polars وNumPy إمكانية التشغيل البيني لمكتبات Python، مما يسهل التكيف مع الاحتياجات المحددة مع ضمان الأداء الأمثل.

يقدم البرنامج النصي الثالث نمطية عن طريق تغليف المنطق في وظيفة قابلة لإعادة الاستخدام. تقبل هذه الوظيفة أي DataFrame وتسمية الصف المستهدف، مما يجعلها قابلة للتكيف مع حالات الاستخدام المتنوعة. من خلال تجريد منطق الفرز، يمكن للمستخدمين تطبيقه بسرعة على مجموعات بيانات مختلفة دون إعادة كتابة التعليمات البرمجية. على سبيل المثال، في سيناريو العالم الحقيقي، إذا كانت لديك بيانات مبيعات تمتد لعدة سنوات، فيمكنك إعادة ترتيب الأعمدة على الفور حسب السنة دون إعادة تكوين DataFrame يدويًا. 📊

يركز كل حل على كل من سهولة الاستخدام والأداء، والالتزام بأفضل الممارسات لمعالجة البيانات بكفاءة. لا تحل هذه الأساليب المشكلة المباشرة فحسب، بل تؤكد أيضًا على التعليمات البرمجية النظيفة والقابلة لإعادة الاستخدام. تعتبر مثل هذه الممارسات حيوية للحفاظ على قابلية التوسع وضمان بقاء البرامج النصية ذات قيمة مع نمو البيانات أو تغير المتطلبات. في نظام بيئي للبيانات سريع التطور، تعمل هذه الحلول على تمكين المحللين والمطورين من التعامل مع التحديات المتنوعة بثقة. 😊

import polars as pl
# Create the DataFrame
df = pl.DataFrame({
    'region': ['EU', 'ASIA', 'AMER', 'Year'],
    'Share': [99, 6, -30, 2020],
    'Ration': [70, 4, -10, 2019],
    'Lots': [70, 4, -10, 2018],
    'Stake': [80, 5, -20, 2021]
})
# Extract the 'Year' row for sorting
year_row = df[-1, 1:].to_list()
# Get column names excluding 'region'
column_names = df.columns[1:]
# Create a mapping of column names to their 'Year' values
column_year_map = dict(zip(column_names, year_row))
# Sort column names based on 'Year' values
sorted_columns = sorted(column_names, key=lambda col: column_year_map[col])
# Reorder the DataFrame columns
sorted_df = df.select(['region'] + sorted_columns)
print(sorted_df)

import polars as pl
import numpy as np
# Create the DataFrame
df = pl.DataFrame({
    'region': ['EU', 'ASIA', 'AMER', 'Year'],
    'Share': [99, 6, -30, 2020],
    'Ration': [70, 4, -10, 2019],
    'Lots': [70, 4, -10, 2018],
    'Stake': [80, 5, -20, 2021]
})
# Convert 'Year' row to NumPy array
year_row = np.array(df[-1, 1:].to_list())
column_names = np.array(df.columns[1:])
# Sort columns using NumPy argsort
sorted_indices = np.argsort(year_row)
sorted_columns = column_names[sorted_indices]
# Reorder the DataFrame columns
sorted_df = df.select(['region'] + sorted_columns.tolist())
print(sorted_df)

import polars as pl
def reorder_columns_by_row(df, row_label):
    """Reorder DataFrame columns based on a specific row."""
    year_row = df[-1, 1:].to_list()
    column_names = df.columns[1:]
    column_year_map = dict(zip(column_names, year_row))
    sorted_columns = sorted(column_names, key=lambda col: column_year_map[col])
    return df.select(['region'] + sorted_columns)
# Create DataFrame
df = pl.DataFrame({
    'region': ['EU', 'ASIA', 'AMER', 'Year'],
    'Share': [99, 6, -30, 2020],
    'Ration': [70, 4, -10, 2019],
    'Lots': [70, 4, -10, 2018],
    'Stake': [80, 5, -20, 2021]
})
sorted_df = reorder_columns_by_row(df, 'Year')
print(sorted_df)

تقنيات متقدمة لفرز الأعمدة في القطبية

في حين أن فرز الأعمدة في Polars DataFrame حسب بيانات الصف هو التركيز الرئيسي، فمن المهم بنفس القدر مناقشة كيفية تكامل هذه التقنيات مع سير عمل البيانات في العالم الحقيقي. غالبًا ما يتم استخدام Polars للعمل مع البيانات عالية الأبعاد، مثل التقارير المالية أو السجلات التي تم إنشاؤها آليًا. عندما يتماشى فرز الأعمدة مع الترتيب الجوهري للبيانات (مثل التواريخ)، فإنه يساعد في تبسيط التحليل النهائي. على سبيل المثال، يضمن تنظيم الأعمدة حسب "السنة" أن تكون التصورات مثل مخططات السلاسل الزمنية دقيقة وبديهية.

هناك جانب مهم آخر وهو الاستفادة من سرعة Polars من خلال مجموعات البيانات الكبيرة. يقوم Polars بمعالجة البيانات بطريقة موفرة للذاكرة باستخدام Apache Arrow أسفل الغطاء، مما يجعله مثاليًا للمهام عالية الأداء. عند تنفيذ فرز الأعمدة، تضمن هذه الكفاءة بقاء العملية سريعة، حتى مع ملايين الصفوف. إذا كنت تتعامل مع مستودعات البيانات أو خطوط أنابيب ETL، فيمكن إجراء عملية إعادة ترتيب الأعمدة تلقائيًا لتناسب متطلبات العمل المحددة، مما يقلل الحاجة إلى التدخل اليدوي. 🚀

وأخيرًا، يضيف تصميم وحدات الحل قيمة كبيرة. يؤدي التفاف منطق الفرز في الوظائف إلى تمكين المكونات القابلة لإعادة الاستخدام، والتي يمكن دمجها في مسارات عمل أكبر لهندسة البيانات. على سبيل المثال، في المشاريع التعاونية حيث تتعامل فرق متعددة مع نفس مجموعة البيانات، يمكن أن تكون هذه البرامج النصية القابلة لإعادة الاستخدام بمثابة قوالب، مما يضمن الاتساق. تسلط مثل هذه التقنيات الضوء على سبب تزايد شعبية Polars بين محترفي البيانات، مما يوفر أساسًا قويًا لسير العمل القابل للتطوير والتكيف. 😊