Python에서 대소문자를 구분하지 않는 Levenshtein 거리 행렬 만들기

Python에서 대소문자를 구분하지 않는 Levenshtein 거리 행렬을 계산하는 다른 방법

최적화된 성능을 위해 `Levenshtein` 라이브러리와 함께 Python 사용

import numpy as np
import Levenshtein as lev
# Function to calculate the Levenshtein distance matrix
def levenshtein_matrix(strings):
    # Preprocess strings to ignore case and word order
    preprocessed = [" ".join(sorted(s.lower().split())) for s in strings]
    n = len(preprocessed)
    matrix = np.zeros((n, n), dtype=float)
    
    # Populate the matrix with Levenshtein distances
    for i in range(n):
        for j in range(n):
            matrix[i, j] = lev.distance(preprocessed[i], preprocessed[j])
    
    return matrix
    
# Example usage
if __name__ == "__main__":
    lst_words = ['Hello world', 'world hello', 'all hello',
                'peace word', 'Word hello', 'thin paper', 'paper thin']
    matrix = levenshtein_matrix(lst_words)
    print(matrix)

Levenshtein 거리를 사용하여 문자열 클러스터링

선호도 전파 클러스터링을 위해 'Scikit-learn'을 사용하는 Python 스크립트

import numpy as np
from sklearn.cluster import AffinityPropagation
import Levenshtein as lev
# Function to calculate the similarity matrix
def similarity_matrix(strings):
    preprocessed = [" ".join(sorted(s.lower().split())) for s in strings]
    n = len(preprocessed)
    matrix = np.zeros((n, n), dtype=float)
    
    for i in range(n):
        for j in range(n):
            # Convert distance to similarity
            distance = lev.distance(preprocessed[i], preprocessed[j])
            matrix[i, j] = -distance  # Negative for affinity propagation
    
    return matrix
    
# Function to perform affinity propagation
def cluster_strings(strings):
    sim_matrix = similarity_matrix(strings)
    affprop = AffinityPropagation(affinity="precomputed")
    affprop.fit(sim_matrix)
    
    # Display results
    for cluster_id in np.unique(affprop.labels_):
        cluster = np.where(affprop.labels_ == cluster_id)[0]
        print(f"Cluster {cluster_id}: {[strings[i] for i in cluster]}")
    
# Example usage
if __name__ == "__main__":
    lst_words = ['Hello world', 'world hello', 'all hello',
                'peace word', 'Word hello', 'thin paper', 'paper thin']
    cluster_strings(lst_words)

견고성을 위한 스크립트 테스트

두 기능의 정확성을 보장하기 위한 단위 테스트

import unittest
class TestLevenshteinMatrix(unittest.TestCase):
    def test_levenshtein_matrix(self):
        strings = ['Hello world', 'world hello']
        matrix = levenshtein_matrix(strings)
        self.assertEqual(matrix[0, 1], 0)
        self.assertEqual(matrix[1, 0], 0)
    
class TestClustering(unittest.TestCase):
    def test_cluster_strings(self):
        strings = ['Hello world', 'world hello', 'peace word']
        # Expect similar strings in the same cluster
        cluster_strings(strings)
if __name__ == "__main__":
    unittest.main()

Levenshtein 거리 및 적용에 관한 주요 질문

1. Levenshtein 거리란 무엇입니까?
2. Levenshtein 거리는 한 문자열을 다른 문자열로 변환하는 데 필요한 단일 문자 편집(삽입, 삭제 또는 대체) 수를 측정합니다.
3. Levenshtein 거리가 대소문자를 구분하지 않게 하려면 어떻게 해야 합니까?
4. 문자열을 전처리하여 .lower(), 거리 계산을 적용하기 전에 모든 텍스트를 소문자로 변환할 수 있습니다.
5. 더 빠른 Levenshtein 거리 계산을 위해 어떤 라이브러리를 사용해야 합니까?
6. 그만큼 python-Levenshtein 라이브러리는 거리 계산에 있어 FuzzyWuzzy보다 고도로 최적화되어 있고 빠릅니다.
7. Levenshtein 거리를 사용하여 단어 순서 변경을 처리할 수 있나요?
8. 예, 다음을 사용하여 단어를 알파벳순으로 정렬할 수 있습니다. " ".join(sorted(string.split())) 문자열을 비교하기 전에.
9. 유사성을 기준으로 문자열을 어떻게 클러스터링합니까?
10. 당신은 사용할 수 있습니다 scikit-learn's AffinityPropagation Levenshtein 거리에서 파생된 유사성 행렬을 사용하는 알고리즘입니다.

효율적인 문자열 일치 및 클러스터링

제시된 솔루션은 전처리 기술과 최적화된 라이브러리를 결합하여 텍스트 분석의 실제 문제를 어떻게 해결할 수 있는지 강조합니다. 대소문자 구분 및 단어 순서를 처리하면 검색 엔진 및 문서 중복 제거와 같은 애플리케이션이 원활하게 작동합니다. ✨

다음과 같은 도구를 활용하여 레벤슈타인 클러스터링 알고리즘을 사용하면 복잡한 데이터 세트도 효과적으로 처리할 수 있습니다. 이러한 방법은 Python의 다재다능함을 통해 개발자가 자연어 처리 문제를 정확하고 빠르게 해결할 수 있는 방법을 보여줍니다. 🚀