Mise à jour efficace des données vectorielles dans COSMOSDB à l'aide du noyau sémantique

Rationalisation des mises à jour des données vectorielles pour les chatbots alimentés par l'IA

La création d'un chatbot qui exploite les fichiers de Markdown car sa base de connaissances n'est pas une mince affaire, en particulier lors de la gestion des incorporations de vecteurs dans COSMOSDB. Ce défi se pose souvent pour les développeurs intégrant le noyau sémantique avec Azure Cosmosdb pour un stockage de mémoire avancé. 💡

Même si l’enregistrement de nouveaux fichiers de démarques et de leurs vecteurs associés peut sembler simple, la mise à jour efficace de ces vecteurs présente un problème unique. Les développeurs rencontrent fréquemment des situations dans lesquelles le contenu markdown mis à jour conduit à des entrées en double dans la base de données plutôt qu'à l'écrasement des entrées existantes.

Dans un scénario du monde réel, un développeur a implémenté un bot qui a enregistré des fichiers de démarque en tant que vecteurs dans COSMOSDB. Cependant, lors de la tentative de mise à jour des fichiers, ils ont remarqué que de nouveaux éléments avaient été créés au lieu de modifier ceux existants, provoquant la duplication de données et l'inefficacité.

Cet article explique comment résoudre efficacement ce problème, en garantissant que CosmosDB ne met à jour que les parties nécessaires tout en évitant la recréation complète du vecteur. Avec les bonnes techniques, vous pouvez maintenir une mémoire rationalisée et précise pour votre chatbot, économisant ainsi du temps et des ressources. 🚀

Optimisation des mises à jour vectorielles dans COSMOSDB avec le noyau sémantique

Les scripts fournis ci-dessus répondent à un défi courant dans la gestion d'un magasin de mémoire avec CosmosDB : mettre à jour efficacement les données vectorielles sans dupliquer les entrées. La première solution utilise les fonctions de gestion de mémoire intégrées de Semantic Kernel, telles que SaveInformationAsync et SupprimerAsync. Ces commandes garantissent que la représentation vectorielle de chaque fichier de marque est correctement mise à jour. Le processus implique d'abord de vérifier si le vecteur existe déjà dans la collection en utilisant ObtenirAsync. S'il est trouvé, le script supprime l'entrée obsolète avant d'enregistrer le nouveau vecteur, évitant ainsi les doublons. Cette approche est idéale pour ceux qui souhaitent une intégration transparente avec Semantic Kernel tout en conservant des données propres et précises dans leur base de données. 💻

La deuxième solution utilise directement le SDK CosmosDB pour gérer les vecteurs. Cette méthode est plus polyvalente et permet un contrôle avancé de la logique de mise à jour. Par exemple, Upsertemasync est utilisé pour remplacer ou ajouter un document dans la base de données en une seule opération. En précisant le Cloison, le script assure des requêtes efficaces et empêche les frais généraux de base de données inutiles. Cette approche est particulièrement utile pour les développeurs qui souhaitent personnaliser leurs opérations de base de données, leur donnant la possibilité de gérer les cas de bord ou de mettre en œuvre des mesures de sécurité supplémentaires.

Les tests unitaires jouent un rôle crucial dans la validation de la fonctionnalité des deux solutions. Dans l'exemple ci-dessus, le MOQ est utilisé pour simuler le comportement du système de gestion de la mémoire, garantissant que toutes les opérations attendues se produisent correctement. Par exemple, Vérifier est utilisé pour confirmer que des fonctions comme Enlever et SaveInformationAsync sont appelés aux moments appropriés. Cela garantit que le système se comporte comme prévu dans diverses conditions, tels que la mise à jour ou l'insertion d'un nouveau fichier de marque. 🧪

Pour tout lier ensemble, ces solutions soulignent l'importance de la modularité et des meilleures pratiques. En isolant chaque opération en fonctions spécifiques (par exemple, la mise à jour ou la suppression des vecteurs), les développeurs peuvent facilement réutiliser ou adapter le code pour d'autres cas d'utilisation. De plus, la gestion des erreurs et la validation garantissent que les solutions restent robustes dans les environnements de production. Par exemple, si un décalage d'ID se produit lors d'une mise à jour, le script gère gracieusement l'erreur, empêchant la corruption des données. Que ce soit en utilisant les outils intégrés du noyau sémantique ou le SDK COSMOSDB, ces solutions permettent aux développeurs de maintenir un magasin de mémoire optimisé et fiable pour les applications basées sur l'IA. 🚀

// Import necessary namespaces
using Microsoft.SemanticKernel.Memory;
using Microsoft.SemanticKernel.Connectors.Memory.AzureCosmosDB;
using System.Threading.Tasks;
using System;
// Define the memory builder and initialize the semantic memory
ISemanticTextMemory semanticTextMemory = new MemoryBuilder()
    .WithTextEmbeddingGeneration(kernel.GetRequiredService<ITextEmbeddingGenerationService>())
    .WithMemoryStore(new AzureCosmosDBNoSQLMemoryStore("your-endpoint",
                                                     "your-key",
                                                     1536,
                                                     VectorDataType.Float32,
                                                     VectorIndexType.DiskANN))
    .Build();
// Define a function to update a vector in CosmosDB
public async Task UpdateVectorAsync(string collection, string id, string content, string description)
{
    var existingItem = await semanticTextMemory.GetAsync(collection, id);
    if (existingItem != null)
    {
        await semanticTextMemory.RemoveAsync(collection, id);
    }
    await semanticTextMemory.SaveInformationAsync(collection, id: id, text: content, description: description);
}
// Usage example
await UpdateVectorAsync("collection", "markdown-file-path", "updated content", "updated description");

// Import necessary namespaces
using Microsoft.Azure.Cosmos;
using System.Threading.Tasks;
using System;
// Initialize Cosmos client and container
var cosmosClient = new CosmosClient("your-endpoint", "your-key");
var container = cosmosClient.GetContainer("database-name", "collection-name");
// Define a function to update or insert a vector
public async Task UpsertVectorAsync(string id, string content, string description)
{
    var item = new
    {
        id = id,
        text = content,
        description = description
    };
    await container.UpsertItemAsync(item, new PartitionKey(id));
}
// Usage example
await UpsertVectorAsync("markdown-file-path", "updated content", "updated description");

// Import testing libraries
using Xunit;
using Moq;
using System.Threading.Tasks;
// Define a test class
public class VectorUpdateTests
{
    [Fact]
    public async Task UpdateVector_ShouldReplaceExistingVector()
    {
        // Mock the semantic text memory
        var mockMemory = new Mock<ISemanticTextMemory>();
        mockMemory.Setup(m => m.GetAsync("collection", "test-id"))
            .ReturnsAsync(new MemoryRecord("test-id", "old content", "old description"));
        mockMemory.Setup(m => m.SaveInformationAsync("collection", "test-id", "new content", "new description"))
            .Returns(Task.CompletedTask);
        var service = new YourServiceClass(mockMemory.Object);
        await service.UpdateVectorAsync("collection", "test-id", "new content", "new description");
        // Verify behavior
        mockMemory.Verify(m => m.RemoveAsync("collection", "test-id"), Times.Once);
        mockMemory.Verify(m => m.SaveInformationAsync("collection", "test-id", "new content", "new description"), Times.Once);
    }
}

Amélioration des mises à jour de données vectorielles avec des stratégies de métadonnées

Un aspect souvent négligé de la gestion des données vectorielles dans CosmosDB est l’utilisation de métadonnées pour identifier et mettre à jour efficacement les enregistrements. Au lieu de s'appuyer uniquement sur des identifiants ou des chemins, l'incorporation de métadonnées telles que des horodatages, des numéros de version ou des valeurs de hachage pour le contenu peut optimiser considérablement les mises à jour. Par exemple, lorsqu'un fichier de démarque est mis à jour, un hachage de contenu peut être généré pour détecter les modifications. De cette façon, le système ne met à jour le vecteur que si le contenu a été modifié, évitant ainsi les opérations inutiles et réduisant la charge de la base de données. 🔄

Une autre stratégie clé consiste à tirer parti des capacités d'indexation intégrées de Cosmosdb. Par personnalisation clés de partition et les politiques d'indexation, les développeurs peuvent créer une structure qui permet des recherches rapides de données vectorielles. Par exemple, regrouper les vecteurs par leur fichier source ou leur catégorie en tant que clé de partition peut rendre les requêtes plus efficaces. De plus, l'activation de l'indexation composite sur les champs fréquemment interrogés, tels que les horodatages ou les types de contenu, peut encore améliorer les performances.

Enfin, les stratégies de mise en cache peuvent compléter les mises à jour vectorielles, en particulier pour les chatbots qui accèdent fréquemment aux mêmes données. En intégrant une couche de mise en cache, comme Redis, l'application peut servir de réponses sans interroger Cosmosdb à plusieurs reprises. Cela accélère non seulement les réponses, mais réduit également les coûts en minimisant les transactions de base de données. La combinaison de ces stratégies assure une approche évolutive et efficace pour gérer les données vectorielles pour les applications axées sur l'IA, telles que les chatbots basés sur les connaissances. 🚀