在 Python 中创建不区分大小写的编辑距离矩阵

在 Python 中计算不区分大小写的 Levenshtein 距离矩阵的其他方法

将 Python 与“Levenshtein”库结合使用以优化性能

import numpy as np
import Levenshtein as lev
# Function to calculate the Levenshtein distance matrix
def levenshtein_matrix(strings):
    # Preprocess strings to ignore case and word order
    preprocessed = [" ".join(sorted(s.lower().split())) for s in strings]
    n = len(preprocessed)
    matrix = np.zeros((n, n), dtype=float)
    
    # Populate the matrix with Levenshtein distances
    for i in range(n):
        for j in range(n):
            matrix[i, j] = lev.distance(preprocessed[i], preprocessed[j])
    
    return matrix
    
# Example usage
if __name__ == "__main__":
    lst_words = ['Hello world', 'world hello', 'all hello',
                'peace word', 'Word hello', 'thin paper', 'paper thin']
    matrix = levenshtein_matrix(lst_words)
    print(matrix)

使用编辑距离对字符串进行聚类

使用“Scikit-learn”进行亲和力传播聚类的 Python 脚本

import numpy as np
from sklearn.cluster import AffinityPropagation
import Levenshtein as lev
# Function to calculate the similarity matrix
def similarity_matrix(strings):
    preprocessed = [" ".join(sorted(s.lower().split())) for s in strings]
    n = len(preprocessed)
    matrix = np.zeros((n, n), dtype=float)
    
    for i in range(n):
        for j in range(n):
            # Convert distance to similarity
            distance = lev.distance(preprocessed[i], preprocessed[j])
            matrix[i, j] = -distance  # Negative for affinity propagation
    
    return matrix
    
# Function to perform affinity propagation
def cluster_strings(strings):
    sim_matrix = similarity_matrix(strings)
    affprop = AffinityPropagation(affinity="precomputed")
    affprop.fit(sim_matrix)
    
    # Display results
    for cluster_id in np.unique(affprop.labels_):
        cluster = np.where(affprop.labels_ == cluster_id)[0]
        print(f"Cluster {cluster_id}: {[strings[i] for i in cluster]}")
    
# Example usage
if __name__ == "__main__":
    lst_words = ['Hello world', 'world hello', 'all hello',
                'peace word', 'Word hello', 'thin paper', 'paper thin']
    cluster_strings(lst_words)

测试脚本的稳健性

单元测试以确保两个功能的正确性

import unittest
class TestLevenshteinMatrix(unittest.TestCase):
    def test_levenshtein_matrix(self):
        strings = ['Hello world', 'world hello']
        matrix = levenshtein_matrix(strings)
        self.assertEqual(matrix[0, 1], 0)
        self.assertEqual(matrix[1, 0], 0)
    
class TestClustering(unittest.TestCase):
    def test_cluster_strings(self):
        strings = ['Hello world', 'world hello', 'peace word']
        # Expect similar strings in the same cluster
        cluster_strings(strings)
if __name__ == "__main__":
    unittest.main()

关于编辑距离和应用的关键问题

1. 什么是编辑距离？
2. 编辑距离衡量将一个字符串转换为另一个字符串所需的单字符编辑（插入、删除或替换）的次数。
3. 如何使编辑距离不区分大小写？
4. 通过预处理字符串 .lower()，您可以在应用距离计算之前将所有文本转换为小写。
5. 我应该使用什么库来更快地计算 Levenshtein 距离？
6. 这 python-Levenshtein 库经过高度优化，距离计算比 FuzzyWuzzy 更快。
7. 我可以用编辑距离处理词序变化吗？
8. 是的，您可以使用以下命令按字母顺序对单词进行排序 " ".join(sorted(string.split())) 在比较字符串之前。
9. 如何根据字符串的相似性对字符串进行聚类？
10. 你可以使用 scikit-learn's AffinityPropagation 具有从 Levenshtein 距离导出的相似度矩阵的算法。

高效的字符串匹配和聚类

所提出的解决方案强调了如何将预处理技术与优化库相结合来解决文本分析中的实际问题。处理不区分大小写和字序可确保搜索引擎和文档重复数据删除等应用程序无缝运行。 ✨

通过利用诸如 编辑 和聚类算法，即使是复杂的数据集也可以有效处理。这些方法展示了 Python 的多功能性如何使开发人员能够精确、快速地应对自然语言处理中的挑战。 🚀