إنشاء مصفوفة مسافة Levenshtein غير حساسة لحالة الأحرف في Python

إطلاق العنان لإمكانات بايثون لتشابه السلسلة

تخيل أنك تعمل مع مجموعة بيانات من العبارات التي تبدو متطابقة ولكنها تختلف في ترتيب الكلمات أو الحالة. تصبح مقارنة سلاسل مثل "Hello World" و"world hello" أمرًا صعبًا عندما تفشل الطرق التقليدية في التعرف عليها على أنها متماثلة. هذا هو المكان الذي يمكن أن تتألق فيه مسافة Levenshtein.

تقيس مسافة Levenshtein عدد التعديلات اللازمة لتحويل سلسلة إلى أخرى. ولكن ماذا يحدث عندما يصبح ترتيب الكلمات والحالة غير ذي صلة؟ يعد هذا تحديًا متكررًا في معالجة النصوص ومهام اللغة الطبيعية، خاصة عندما تهدف إلى الدقة. 📊

يلجأ العديد من المطورين إلى أدوات مثل FuzzyWuzzy لحساب تشابه السلسلة. على الرغم من قوتها، إلا أن مخرجات المكتبة غالبًا ما تحتاج إلى مزيد من التحويل لتلبية متطلبات محددة، مثل إنشاء مصفوفة Levenshtein مناسبة. يمكن أن تؤدي هذه الخطوة الإضافية إلى تعقيد سير عملك، خاصة عند معالجة مجموعات بيانات واسعة النطاق. 🤔

في هذه المقالة، سنستكشف طريقة محسنة لحساب مصفوفة مسافة ليفنشتاين التي تتجاهل ترتيب الكلمات وحالة الأحرف. سنتطرق أيضًا إلى المكتبات البديلة التي قد تجعل مهمتك أسهل، مما يضمن أن خوارزميات التجميع الخاصة بك تعمل بسلاسة مع البيانات الدقيقة. دعونا نتعمق! 🚀

فهم آليات تشابه السلسلة والتجمع

في نصوص بايثون الخاصة بنا، ينصب التركيز الرئيسي على حساب مصفوفة مسافة Levenshtein التي لا تراعي ترتيب الكلمات وحالة الأحرف. يعد هذا أمرًا بالغ الأهمية لمهام معالجة النصوص حيث يجب التعامل مع عبارات مثل "Hello World" و"world hello" على أنها متطابقة. تقوم خطوة المعالجة المسبقة بفرز الكلمات في كل سلسلة أبجديًا وتحويلها إلى أحرف صغيرة، مما يضمن عدم تأثير الاختلافات في ترتيب الكلمات أو الكتابة بالأحرف الكبيرة على النتائج. تعمل المصفوفة المحسوبة كأساس للمهام المتقدمة مثل تجميع السلاسل المتشابهة. 📊

يستخدم البرنامج النصي الأول ليفنشتاين مكتبة، والتي توفر طريقة فعالة لحساب عدد التعديلات المطلوبة لتحويل سلسلة إلى أخرى. يتم بعد ذلك تخزين هذه المسافة في مصفوفة، وهي تنسيق منظم مثالي لتمثيل أوجه التشابه الزوجية في مجموعات البيانات. استخدام NumPy يضمن تحسين العمليات على هذه المصفوفة من أجل السرعة وقابلية التوسع، خاصة عند التعامل مع مجموعات بيانات أكبر.

في البرنامج النصي الثاني، ينتقل التركيز إلى تجميع السلاسل باستخدام نشر التقارب خوارزمية. تقوم هذه التقنية بتجميع السلاسل بناءً على تشابهها، كما تحدده مسافة ليفنشتاين السلبية. من خلال تحويل المسافات إلى أوجه تشابه، فإننا نمكن الخوارزمية من إنشاء مجموعات ذات معنى دون الحاجة إلى عدد المجموعات كمدخل. يعد هذا الأسلوب مفيدًا بشكل خاص لمهام التعلم غير الخاضعة للرقابة، مثل تصنيف مجموعات النصوص الكبيرة. 🤖

للتأكد من صحته، يقدم البرنامج النصي الثالث اختبارات الوحدة. تتحقق هذه الاختبارات من أن المصفوفة المحسوبة تعكس بدقة قواعد المعالجة المسبقة المقصودة وأن التجميع يتوافق مع المجموعات المتوقعة. على سبيل المثال، يجب أن تظهر سلاسل مثل "ورق رقيق" و"ورق رقيق" في نفس المجموعة. يسمح التصميم المعياري لهذه البرامج النصية بإعادة استخدامها ودمجها في مشاريع مختلفة، مثل تصنيف النص أو إلغاء البيانات المكررة للمستندات أو تحسين محرك البحث. 🚀

import numpy as np
import Levenshtein as lev
# Function to calculate the Levenshtein distance matrix
def levenshtein_matrix(strings):
    # Preprocess strings to ignore case and word order
    preprocessed = [" ".join(sorted(s.lower().split())) for s in strings]
    n = len(preprocessed)
    matrix = np.zeros((n, n), dtype=float)
    
    # Populate the matrix with Levenshtein distances
    for i in range(n):
        for j in range(n):
            matrix[i, j] = lev.distance(preprocessed[i], preprocessed[j])
    
    return matrix
    
# Example usage
if __name__ == "__main__":
    lst_words = ['Hello world', 'world hello', 'all hello',
                'peace word', 'Word hello', 'thin paper', 'paper thin']
    matrix = levenshtein_matrix(lst_words)
    print(matrix)

import numpy as np
from sklearn.cluster import AffinityPropagation
import Levenshtein as lev
# Function to calculate the similarity matrix
def similarity_matrix(strings):
    preprocessed = [" ".join(sorted(s.lower().split())) for s in strings]
    n = len(preprocessed)
    matrix = np.zeros((n, n), dtype=float)
    
    for i in range(n):
        for j in range(n):
            # Convert distance to similarity
            distance = lev.distance(preprocessed[i], preprocessed[j])
            matrix[i, j] = -distance  # Negative for affinity propagation
    
    return matrix
    
# Function to perform affinity propagation
def cluster_strings(strings):
    sim_matrix = similarity_matrix(strings)
    affprop = AffinityPropagation(affinity="precomputed")
    affprop.fit(sim_matrix)
    
    # Display results
    for cluster_id in np.unique(affprop.labels_):
        cluster = np.where(affprop.labels_ == cluster_id)[0]
        print(f"Cluster {cluster_id}: {[strings[i] for i in cluster]}")
    
# Example usage
if __name__ == "__main__":
    lst_words = ['Hello world', 'world hello', 'all hello',
                'peace word', 'Word hello', 'thin paper', 'paper thin']
    cluster_strings(lst_words)

import unittest
class TestLevenshteinMatrix(unittest.TestCase):
    def test_levenshtein_matrix(self):
        strings = ['Hello world', 'world hello']
        matrix = levenshtein_matrix(strings)
        self.assertEqual(matrix[0, 1], 0)
        self.assertEqual(matrix[1, 0], 0)
    
class TestClustering(unittest.TestCase):
    def test_cluster_strings(self):
        strings = ['Hello world', 'world hello', 'peace word']
        # Expect similar strings in the same cluster
        cluster_strings(strings)
if __name__ == "__main__":
    unittest.main()

التوسع في تقنيات مقارنة السلسلة المحسنة

عند العمل مع مجموعات بيانات كبيرة من المعلومات النصية، تعد مقارنة السلاسل بكفاءة أمرًا بالغ الأهمية. بالإضافة إلى حسابات مسافة ليفنشتاين الأساسية، تلعب المعالجة المسبقة دورًا رئيسيًا في ضمان الدقة. على سبيل المثال، ضع في اعتبارك السيناريوهات التي قد تتضمن فيها السلاسل علامات الترقيم أو مسافات متعددة أو حتى أحرف غير أبجدية رقمية. للتعامل مع هذه الحالات، من الضروري إزالة الأحرف غير المرغوب فيها وتطبيع المسافات قبل تطبيق أي خوارزمية تشابه. المكتبات مثل يكرر (للتعبيرات العادية) يمكن أن تساعد في تنظيف البيانات بكفاءة، مما يجعل خطوات المعالجة المسبقة أسرع وأكثر اتساقًا. 🧹

هناك جانب آخر مهم وهو ترجيح درجات التشابه بناءً على السياق. لنفترض أنك تقوم بمعالجة إدخال المستخدم لاستعلامات محرك البحث. كلمات مثل "فندق" و"فنادق" متشابهة جدًا من حيث السياق، حتى لو كانت مسافة ليفنشتاين بينهما صغيرة. الخوارزميات التي تسمح بوزن الرمز المميز، مثل قوة العمل-جيش الدفاع الإسرائيلي، يمكن أن توفر دقة إضافية من خلال دمج تكرار وأهمية مصطلحات محددة. يعد هذا المزيج من مقاييس المسافة وترجيح المصطلح مفيدًا للغاية في مهام تجميع النص وإلغاء البيانات المكررة.

وأخيرًا، يعد تحسين الأداء للتطبيقات واسعة النطاق أحد الاعتبارات المهمة الأخرى. على سبيل المثال، إذا كنت بحاجة إلى معالجة مجموعة بيانات تحتوي على آلاف السلاسل، فيمكنك المعالجة المتوازية باستخدام لغة Python معالجة متعددة يمكن للمكتبة تقليل وقت الحساب بشكل كبير. من خلال تقسيم حسابات المصفوفة عبر عدة مراكز، يمكنك التأكد من أن المهام التي تتطلب موارد كبيرة مثل التجميع تظل قابلة للتطوير وفعالة. 🚀 يؤدي الجمع بين هذه التقنيات إلى حلول أكثر قوة لمقارنة السلسلة وتحليل النص.