使用语义内核高效更新 CosmosDB 中的矢量数据

使用语义内核管理 CosmosDB 中的矢量数据更新

该解决方案使用 C# 进行后端实现，重点关注具有语义内核的 CosmosDB 中的高效数据处理。

// Import necessary namespaces
using Microsoft.SemanticKernel.Memory;
using Microsoft.SemanticKernel.Connectors.Memory.AzureCosmosDB;
using System.Threading.Tasks;
using System;
// Define the memory builder and initialize the semantic memory
ISemanticTextMemory semanticTextMemory = new MemoryBuilder()
    .WithTextEmbeddingGeneration(kernel.GetRequiredService<ITextEmbeddingGenerationService>())
    .WithMemoryStore(new AzureCosmosDBNoSQLMemoryStore("your-endpoint",
                                                     "your-key",
                                                     1536,
                                                     VectorDataType.Float32,
                                                     VectorIndexType.DiskANN))
    .Build();
// Define a function to update a vector in CosmosDB
public async Task UpdateVectorAsync(string collection, string id, string content, string description)
{
    var existingItem = await semanticTextMemory.GetAsync(collection, id);
    if (existingItem != null)
    {
        await semanticTextMemory.RemoveAsync(collection, id);
    }
    await semanticTextMemory.SaveInformationAsync(collection, id: id, text: content, description: description);
}
// Usage example
await UpdateVectorAsync("collection", "markdown-file-path", "updated content", "updated description");

替代解决方案：使用COSMOSDB SDK进行细粒度控制

此方法利用 Azure CosmosDB SDK 根据自定义 ID 直接更新文档。

// Import necessary namespaces
using Microsoft.Azure.Cosmos;
using System.Threading.Tasks;
using System;
// Initialize Cosmos client and container
var cosmosClient = new CosmosClient("your-endpoint", "your-key");
var container = cosmosClient.GetContainer("database-name", "collection-name");
// Define a function to update or insert a vector
public async Task UpsertVectorAsync(string id, string content, string description)
{
    var item = new
    {
        id = id,
        text = content,
        description = description
    };
    await container.UpsertItemAsync(item, new PartitionKey(id));
}
// Usage example
await UpsertVectorAsync("markdown-file-path", "updated content", "updated description");

添加单元测试以确保正确性

此C＃单元测试可确保解决方案更新向量准确。

// Import testing libraries
using Xunit;
using Moq;
using System.Threading.Tasks;
// Define a test class
public class VectorUpdateTests
{
    [Fact]
    public async Task UpdateVector_ShouldReplaceExistingVector()
    {
        // Mock the semantic text memory
        var mockMemory = new Mock<ISemanticTextMemory>();
        mockMemory.Setup(m => m.GetAsync("collection", "test-id"))
            .ReturnsAsync(new MemoryRecord("test-id", "old content", "old description"));
        mockMemory.Setup(m => m.SaveInformationAsync("collection", "test-id", "new content", "new description"))
            .Returns(Task.CompletedTask);
        var service = new YourServiceClass(mockMemory.Object);
        await service.UpdateVectorAsync("collection", "test-id", "new content", "new description");
        // Verify behavior
        mockMemory.Verify(m => m.RemoveAsync("collection", "test-id"), Times.Once);
        mockMemory.Verify(m => m.SaveInformationAsync("collection", "test-id", "new content", "new description"), Times.Once);
    }
}

有关在 CosmosDB 中更新矢量数据的常见问题

1. 目的是什么 SaveInformationAsync 在语义内核中？
2. 它在CosmosDB中保存了新的内存记录，包括向量嵌入和元数据，以供将来检索。
3. 如何避免在CosmosDB中重复的条目？
4. 使用 GetAsync 要检查现有记录，然后致电 RemoveAsync 保存更新的数据之前。
5. 我可以在不重新创建所有内容的情况下更新向量吗？
6. 是的，通过唯一 ID 或时间戳等元数据识别记录，并使用以下命令仅更新更改的部分 UpsertItemAsync。
7. 分区在 CosmosDB 中扮演什么角色？
8. 分区键（例如文件路径或类别）通过对相关数据进行逻辑分组来提高查询效率。
9. 如何验证代码中的更新？
10. 使用MOQ等库来实现单元测试，以模拟内存更新并验证该方法 SaveInformationAsync 和 RemoveAsync 按预期工作。

简化可靠内存管理的向量更新

有效地更新COSMOSDB中的矢量数据对于维护用于聊天机器人和类似应用程序的可扩展可靠的内存商店至关重要。使用语义内核命令与正确的更新策略确保数据一致性，同时减少不必要的操作。这种组合增强了整体系统性能。 🤖

结合分区键、内容哈希和缓存等高级功能可进一步优化流程，从而实现更快的查询和简化的数据处理。这些最佳实践确保您的 CosmosDB 实施不仅功能强大，而且稳健，使其成为人工智能驱动的解决方案的绝佳选择。 🌟