Python で大文字と小文字を区別しないレーベンシュタイン距離行列を作成する

Python で大文字と小文字を区別しないレーベンシュタイン距離行列を計算する別の方法

Python を「Levenshtein」ライブラリとともに使用してパフォーマンスを最適化する

import numpy as np
import Levenshtein as lev
# Function to calculate the Levenshtein distance matrix
def levenshtein_matrix(strings):
    # Preprocess strings to ignore case and word order
    preprocessed = [" ".join(sorted(s.lower().split())) for s in strings]
    n = len(preprocessed)
    matrix = np.zeros((n, n), dtype=float)
    
    # Populate the matrix with Levenshtein distances
    for i in range(n):
        for j in range(n):
            matrix[i, j] = lev.distance(preprocessed[i], preprocessed[j])
    
    return matrix
    
# Example usage
if __name__ == "__main__":
    lst_words = ['Hello world', 'world hello', 'all hello',
                'peace word', 'Word hello', 'thin paper', 'paper thin']
    matrix = levenshtein_matrix(lst_words)
    print(matrix)

レーベンシュタイン距離を使用した文字列のクラスタリング

アフィニティ伝播クラスタリングに「Scikit-learn」を使用する Python スクリプト

import numpy as np
from sklearn.cluster import AffinityPropagation
import Levenshtein as lev
# Function to calculate the similarity matrix
def similarity_matrix(strings):
    preprocessed = [" ".join(sorted(s.lower().split())) for s in strings]
    n = len(preprocessed)
    matrix = np.zeros((n, n), dtype=float)
    
    for i in range(n):
        for j in range(n):
            # Convert distance to similarity
            distance = lev.distance(preprocessed[i], preprocessed[j])
            matrix[i, j] = -distance  # Negative for affinity propagation
    
    return matrix
    
# Function to perform affinity propagation
def cluster_strings(strings):
    sim_matrix = similarity_matrix(strings)
    affprop = AffinityPropagation(affinity="precomputed")
    affprop.fit(sim_matrix)
    
    # Display results
    for cluster_id in np.unique(affprop.labels_):
        cluster = np.where(affprop.labels_ == cluster_id)[0]
        print(f"Cluster {cluster_id}: {[strings[i] for i in cluster]}")
    
# Example usage
if __name__ == "__main__":
    lst_words = ['Hello world', 'world hello', 'all hello',
                'peace word', 'Word hello', 'thin paper', 'paper thin']
    cluster_strings(lst_words)

スクリプトの堅牢性をテストする

両方の関数の正確性を確認するための単体テスト

import unittest
class TestLevenshteinMatrix(unittest.TestCase):
    def test_levenshtein_matrix(self):
        strings = ['Hello world', 'world hello']
        matrix = levenshtein_matrix(strings)
        self.assertEqual(matrix[0, 1], 0)
        self.assertEqual(matrix[1, 0], 0)
    
class TestClustering(unittest.TestCase):
    def test_cluster_strings(self):
        strings = ['Hello world', 'world hello', 'peace word']
        # Expect similar strings in the same cluster
        cluster_strings(strings)
if __name__ == "__main__":
    unittest.main()

レーベンシュタイン距離とアプリケーションに関する主な質問

1. レーベンシュタイン距離とは何ですか?
2. レーベンシュタイン距離は、ある文字列を別の文字列に変換するために必要な単一文字の編集 (挿入、削除、または置換) の数を測定します。
3. レーベンシュタイン距離の大文字と小文字を区別しないようにするにはどうすればよいですか?
4. 文字列を前処理することで、 .lower()では、距離計算を適用する前に、すべてのテキストを小文字に変換できます。
5. レーベンシュタイン距離の計算を高速化するにはどのライブラリを使用すればよいですか?
6. の python-Levenshtein ライブラリは高度に最適化されており、距離計算に関しては FuzzyWuzzy よりも高速です。
7. レーベンシュタイン距離による語順の変化に対応できますか?
8. はい、次を使用して単語をアルファベット順に並べ替えることができます。 " ".join(sorted(string.split())) 文字列を比較する前に。
9. 類似性に基づいて文字列をクラスタリングするにはどうすればよいですか?
10. 使用できます scikit-learn's AffinityPropagation レーベンシュタイン距離から導出された類似度行列を使用したアルゴリズム。

効率的な文字列マッチングとクラスタリング

提示されたソリューションは、前処理技術と最適化されたライブラリを組み合わせることで、テキスト分析における現実の問題をどのように解決できるかを強調しています。大文字と小文字を区別せずに語順を処理することで、検索エンジンやドキュメントの重複排除などのアプリケーションがシームレスに動作するようになります。 ✨

のようなツールを活用することで、 レーベンシュタイン クラスタリング アルゴリズムを使用すると、複雑なデータセットでも効果的に処理できます。これらのメソッドは、Python の多機能性により、開発者が自然言語処理の課題に正確かつ迅速に取り組むことができることを示しています。 🚀