পাইথনে একটি কেস-সংবেদনশীল লেভেনশটাইন দূরত্ব ম্যাট্রিক্স তৈরি করা

স্ট্রিং মিলের জন্য পাইথনের সম্ভাব্যতা প্রকাশ করা

কল্পনা করুন যে আপনি শব্দগুচ্ছের একটি ডেটাসেট নিয়ে কাজ করছেন যা অভিন্ন মনে হয় কিন্তু শব্দের ক্রম বা কেসিংয়ে ভিন্ন। "হ্যালো ওয়ার্ল্ড" এবং "ওয়ার্ল্ড হ্যালো" এর মতো স্ট্রিংগুলির তুলনা করা চ্যালেঞ্জিং হয়ে ওঠে যখন প্রচলিত পদ্ধতিগুলি তাদের একই হিসাবে চিহ্নিত করতে ব্যর্থ হয়। যে যেখানে Levenshtein দূরত্ব উজ্জ্বল করতে পারেন.

Levenshtein দূরত্ব পরিমাপ করে যে একটি স্ট্রিংকে আরেকটিতে পরিণত করতে কতগুলি সম্পাদনা প্রয়োজন। কিন্তু শব্দ ক্রম এবং মামলা অপ্রাসঙ্গিক হয়ে গেলে কি হবে? টেক্সট প্রসেসিং এবং প্রাকৃতিক ভাষার কাজগুলিতে এটি একটি ঘন ঘন চ্যালেঞ্জ, বিশেষ করে যখন আপনি নির্ভুলতার জন্য লক্ষ্য করেন। 📊

অনেক ডেভেলপার স্ট্রিং সাদৃশ্য গণনা করার জন্য FuzzyWuzzy-এর মতো টুলে যান। যদিও এটি শক্তিশালী, লাইব্রেরির আউটপুট প্রায়ই নির্দিষ্ট প্রয়োজনীয়তা পূরণের জন্য আরও রূপান্তরের প্রয়োজন হয়, যেমন একটি সঠিক Levenshtein ম্যাট্রিক্স তৈরি করা। এই অতিরিক্ত পদক্ষেপটি আপনার কর্মপ্রবাহকে জটিল করে তুলতে পারে, বিশেষ করে যখন ব্যাপক ডেটাসেট প্রক্রিয়া করা হয়। 🤔

এই নিবন্ধে, আমরা একটি Levenshtein দূরত্ব ম্যাট্রিক্স গণনা করার একটি অপ্টিমাইজ করা উপায় অন্বেষণ করব যা শব্দের ক্রম এবং কেসকে উপেক্ষা করে। আমরা বিকল্প লাইব্রেরিগুলিতেও স্পর্শ করব যা আপনার কাজকে আরও সহজ করে তুলতে পারে, আপনার ক্লাস্টারিং অ্যালগরিদমগুলি নির্ভুল ডেটা সহ নির্বিঘ্নে কাজ করে তা নিশ্চিত করে৷ এর মধ্যে ডুব দেওয়া যাক! 🚀

স্ট্রিং সাদৃশ্য এবং ক্লাস্টারিংয়ের মেকানিক্স বোঝা

আমাদের পাইথন স্ক্রিপ্টগুলিতে, প্রধান ফোকাস হল একটি Levenshtein দূরত্ব ম্যাট্রিক্স গণনা করা যা শব্দ ক্রম এবং ক্ষেত্রের ক্ষেত্রে সংবেদনশীল নয়। এটি পাঠ্য প্রক্রিয়াকরণ কাজের জন্য অত্যন্ত গুরুত্বপূর্ণ যেখানে "হ্যালো ওয়ার্ল্ড" এবং "ওয়ার্ল্ড হ্যালো" এর মতো বাক্যাংশগুলিকে অভিন্ন হিসাবে বিবেচনা করা উচিত। প্রি-প্রসেসিং ধাপ প্রতিটি স্ট্রিং-এ বর্ণানুক্রমিকভাবে শব্দ বাছাই করে এবং তাদের ছোট হাতের অক্ষরে রূপান্তর করে, নিশ্চিত করে যে শব্দ ক্রম বা ক্যাপিটালাইজেশনের পার্থক্য ফলাফলকে প্রভাবিত করে না। গণনা করা ম্যাট্রিক্স উন্নত কাজের জন্য ভিত্তি হিসাবে কাজ করে যেমন ক্লাস্টারিং অনুরূপ স্ট্রিং। 📊

প্রথম স্ক্রিপ্ট ব্যবহার করে লেভেনশটাইন লাইব্রেরি, যা একটি স্ট্রিংকে অন্যটিতে রূপান্তর করতে প্রয়োজনীয় সম্পাদনার সংখ্যা গণনা করার একটি কার্যকর উপায় প্রদান করে। এই দূরত্বটি তারপর একটি ম্যাট্রিক্সে সংরক্ষণ করা হয়, যা ডেটাসেটে জোড়ার মতো মিল উপস্থাপনের জন্য একটি কাঠামোগত বিন্যাস আদর্শ। এর ব্যবহার NumPy নিশ্চিত করে যে এই ম্যাট্রিক্সের ক্রিয়াকলাপগুলি গতি এবং স্কেলেবিলিটির জন্য অপ্টিমাইজ করা হয়েছে, বিশেষ করে যখন বড় ডেটাসেটের সাথে কাজ করা হয়।

দ্বিতীয় স্ক্রিপ্টে, ফোকাসটি ব্যবহার করে ক্লাস্টারিং স্ট্রিংগুলিতে স্থানান্তরিত হয় অ্যাফিনিটি প্রচার অ্যালগরিদম নেতিবাচক Levenshtein দূরত্ব দ্বারা নির্ধারিত এই কৌশলটি তাদের সাদৃশ্যের উপর ভিত্তি করে স্ট্রিংগুলিকে গোষ্ঠীভুক্ত করে। দূরত্বকে সাদৃশ্যে রূপান্তর করে, আমরা অ্যালগরিদমকে একটি ইনপুট হিসাবে ক্লাস্টারের সংখ্যার প্রয়োজন ছাড়াই অর্থপূর্ণ ক্লাস্টার তৈরি করতে সক্ষম করি। এই পদ্ধতিটি বিশেষভাবে তত্ত্বাবধানহীন শেখার কাজগুলির জন্য উপযোগী, যেমন বড় টেক্সট কর্পোরাকে শ্রেণীবদ্ধ করা। 🤖

সঠিকতা নিশ্চিত করতে, তৃতীয় স্ক্রিপ্ট ইউনিট পরীক্ষা প্রবর্তন করে। এই পরীক্ষাগুলি যাচাই করে যে গণনা করা ম্যাট্রিক্স সঠিকভাবে প্রত্যাশিত প্রিপ্রসেসিং নিয়মগুলিকে প্রতিফলিত করে এবং ক্লাস্টারিং প্রত্যাশিত গ্রুপিংয়ের সাথে সারিবদ্ধ করে। উদাহরণস্বরূপ, "পাতলা কাগজ" এবং "পাতলা কাগজ" এর মতো স্ট্রিংগুলি একই ক্লাস্টারে উপস্থিত হওয়া উচিত। এই স্ক্রিপ্টগুলির মডুলার ডিজাইন তাদের পুনঃব্যবহার এবং বিভিন্ন প্রকল্পে একীভূত করার অনুমতি দেয়, যেমন পাঠ্য শ্রেণিবিন্যাস, নথির অনুলিপি বা অনুসন্ধান ইঞ্জিন অপ্টিমাইজেশান। 🚀

import numpy as np
import Levenshtein as lev
# Function to calculate the Levenshtein distance matrix
def levenshtein_matrix(strings):
    # Preprocess strings to ignore case and word order
    preprocessed = [" ".join(sorted(s.lower().split())) for s in strings]
    n = len(preprocessed)
    matrix = np.zeros((n, n), dtype=float)
    
    # Populate the matrix with Levenshtein distances
    for i in range(n):
        for j in range(n):
            matrix[i, j] = lev.distance(preprocessed[i], preprocessed[j])
    
    return matrix
    
# Example usage
if __name__ == "__main__":
    lst_words = ['Hello world', 'world hello', 'all hello',
                'peace word', 'Word hello', 'thin paper', 'paper thin']
    matrix = levenshtein_matrix(lst_words)
    print(matrix)

import numpy as np
from sklearn.cluster import AffinityPropagation
import Levenshtein as lev
# Function to calculate the similarity matrix
def similarity_matrix(strings):
    preprocessed = [" ".join(sorted(s.lower().split())) for s in strings]
    n = len(preprocessed)
    matrix = np.zeros((n, n), dtype=float)
    
    for i in range(n):
        for j in range(n):
            # Convert distance to similarity
            distance = lev.distance(preprocessed[i], preprocessed[j])
            matrix[i, j] = -distance  # Negative for affinity propagation
    
    return matrix
    
# Function to perform affinity propagation
def cluster_strings(strings):
    sim_matrix = similarity_matrix(strings)
    affprop = AffinityPropagation(affinity="precomputed")
    affprop.fit(sim_matrix)
    
    # Display results
    for cluster_id in np.unique(affprop.labels_):
        cluster = np.where(affprop.labels_ == cluster_id)[0]
        print(f"Cluster {cluster_id}: {[strings[i] for i in cluster]}")
    
# Example usage
if __name__ == "__main__":
    lst_words = ['Hello world', 'world hello', 'all hello',
                'peace word', 'Word hello', 'thin paper', 'paper thin']
    cluster_strings(lst_words)

import unittest
class TestLevenshteinMatrix(unittest.TestCase):
    def test_levenshtein_matrix(self):
        strings = ['Hello world', 'world hello']
        matrix = levenshtein_matrix(strings)
        self.assertEqual(matrix[0, 1], 0)
        self.assertEqual(matrix[1, 0], 0)
    
class TestClustering(unittest.TestCase):
    def test_cluster_strings(self):
        strings = ['Hello world', 'world hello', 'peace word']
        # Expect similar strings in the same cluster
        cluster_strings(strings)
if __name__ == "__main__":
    unittest.main()

অপ্টিমাইজড স্ট্রিং তুলনা কৌশল সম্প্রসারণ

পাঠ্য তথ্যের বড় ডেটাসেটের সাথে কাজ করার সময়, দক্ষতার সাথে স্ট্রিং তুলনা করা অত্যন্ত গুরুত্বপূর্ণ। মৌলিক Levenshtein দূরত্ব গণনার বাইরে, নির্ভুলতা নিশ্চিত করতে প্রাক-প্রসেসিং একটি মুখ্য ভূমিকা পালন করে। উদাহরণস্বরূপ, এমন পরিস্থিতি বিবেচনা করুন যেখানে স্ট্রিংগুলিতে বিরামচিহ্ন, একাধিক স্পেস বা এমনকি অ-আলফানিউমেরিক অক্ষর অন্তর্ভুক্ত থাকতে পারে। এই কেসগুলি পরিচালনা করার জন্য, কোনো মিল অ্যালগরিদম প্রয়োগ করার আগে অবাঞ্ছিত অক্ষরগুলিকে বাদ দেওয়া এবং ব্যবধানকে স্বাভাবিক করা অপরিহার্য৷ লাইব্রেরি পছন্দ পুনরায় (রেগুলার এক্সপ্রেশনের জন্য) দক্ষতার সাথে ডেটা পরিষ্কার করতে সাহায্য করতে পারে, প্রি-প্রসেসিং পদক্ষেপগুলিকে দ্রুত এবং আরও সামঞ্জস্যপূর্ণ করে তোলে। 🧹

আরেকটি মূল্যবান দিক হল প্রেক্ষাপটের উপর ভিত্তি করে সাদৃশ্য স্কোর ওজন করা। ধরুন আপনি সার্চ ইঞ্জিন প্রশ্নের জন্য ব্যবহারকারীর ইনপুট প্রক্রিয়া করছেন। "হোটেল" এবং "হোটেল" এর মতো শব্দগুলি প্রাসঙ্গিকভাবে খুব মিল, এমনকি তাদের লেভেনশটাইন দূরত্ব ছোট হলেও। অ্যালগরিদম যা টোকেন ওজন নির্ধারণের অনুমতি দেয়, যেমন টিএফ-আইডিএফ, নির্দিষ্ট পদের ফ্রিকোয়েন্সি এবং গুরুত্ব অন্তর্ভুক্ত করে অতিরিক্ত নির্ভুলতা প্রদান করতে পারে। দূরত্ব মেট্রিক্স এবং টার্ম ওয়েটিং এর এই সংমিশ্রণটি পাঠ্য ক্লাস্টারিং এবং ডিডপ্লিকেশন কাজগুলিতে অত্যন্ত উপকারী।

অবশেষে, বড় আকারের অ্যাপ্লিকেশনের জন্য পারফরম্যান্স অপ্টিমাইজ করা আরেকটি গুরুত্বপূর্ণ বিবেচনা। উদাহরণস্বরূপ, যদি আপনাকে হাজার হাজার স্ট্রিং সহ একটি ডেটাসেট প্রক্রিয়া করতে হয়, পাইথনের সাথে সমান্তরাল প্রক্রিয়াকরণ মাল্টিপ্রসেসিং লাইব্রেরি গণনার সময় উল্লেখযোগ্যভাবে কমাতে পারে। একাধিক কোর জুড়ে ম্যাট্রিক্স গণনাগুলিকে বিভক্ত করে, আপনি নিশ্চিত করতে পারেন যে ক্লাস্টারিংয়ের মতো সংস্থান-নিবিড় কাজগুলিও পরিমাপযোগ্য এবং দক্ষ থাকে। 🚀 এই কৌশলগুলি একত্রিত করা স্ট্রিং তুলনা এবং পাঠ্য বিশ্লেষণের জন্য আরও শক্তিশালী সমাধানের দিকে নিয়ে যায়।