Semantik çekirdek kullanarak COSMOSDB'deki vektör verilerinin verimli bir şekilde güncellenmesi

Yapay zeka ile çalışan sohbet botları için vektör veri güncellemelerini düzene sokma

Markdown dosyalarını bilgi tabanı olarak kullanan bir chatbot oluşturmak, özellikle CosmOSDB'deki vektör gömülmelerini yönetirken küçük bir başarı değildir. Bu zorluk, geliştiriciler için gelişmiş bellek depolama için Azure CosmOSDB ile entegre olan geliştiriciler için ortaya çıkar. 💡

Yeni Markdown dosyalarını ve bunların ilişkili vektörlerini kaydetmek basit görünse de, bu vektörleri güncellemek benzersiz bir sorun sunar. Geliştiriciler, güncellenen Markdown içeriğinin mevcut olanların üzerine yazmak yerine veritabanında yinelenen girişlere yol açtığı durumlarla sıklıkla karşılaşırlar.

Bir gerçek dünya senaryosunda, bir geliştirici Markdown dosyalarını COSMOSDB'de vektör olarak kaydeden bir bot uyguladı. Ancak, dosyaları güncellemeye çalışırken, mevcut olanları değiştirmek yerine yeni öğelerin oluşturulduğunu fark ettiler, bu da veri çoğaltmasına ve verimsizliğine neden oldu.

Bu makalede, CosmosDB'nin tam vektör yeniden oluşturulmasından kaçınırken yalnızca gerekli parçaları güncellemesini sağlayarak bu sorunun etkili bir şekilde nasıl çözüleceği ele alınmaktadır. Doğru tekniklerle, sohbet robotunuz için akıcı, doğru bir bellek deposunu koruyabilir, zamandan ve kaynaklardan tasarruf sağlayabilirsiniz. 🚀

COSMOSDB'deki vektör güncellemelerini semantik çekirdek ile optimize etmek

Yukarıda sağlanan komut dosyaları, CosmosDB ile bir bellek deposunun yönetilmesinde sık karşılaşılan bir zorluğun üstesinden gelir: girişleri çoğaltmadan vektör verilerinin verimli bir şekilde güncellenmesi. İlk çözüm, Semantic Kernel'in aşağıdaki gibi yerleşik bellek yönetimi işlevlerini kullanır: SaveInformationAsync Ve Removeasync. Bu komutlar, her işaretleme dosyasının vektör temsilinin doğru şekilde güncellenmesini sağlar. Süreç ilk olarak vektörün koleksiyonda mevcut olup olmadığını kontrol etmeyi içerir. GetAsync. Bulunursa, komut dosyası yeni vektörü kaydetmeden önce güncel olmayan girişi kaldırır, böylece kopyaların önlenmesi sağlanır. Bu yaklaşım, veritabanlarında temiz ve doğru verileri korurken Semantic Kernel ile kusursuz bir entegrasyon isteyenler için idealdir. 💻

İkinci çözüm, vektörleri yönetmek için doğrudan CosmosDB SDK'yı kullanır. Bu yöntem daha çok yönlüdür ve güncelleme mantığı üzerinde gelişmiş kontrol sağlar. Örneğin, UpsertItemAsync tek bir işlemde veritabanına bir belge eklemek veya eklemek için kullanılır. Belirtilerek Partitionkey, komut dosyası verimli sorgular sağlar ve gereksiz veritabanı ek yükünü önler. Bu yaklaşım, veritabanı işlemlerini özelleştirmek isteyen ve onlara kenar vakalarını ele alma veya ek güvenlik önlemleri uygulayabilme yeteneği veren geliştiriciler için özellikle yararlıdır.

Birim testi, her iki çözümün işlevselliğini doğrulamada çok önemli bir rol oynar. Yukarıdaki örnekte Moq, bellek yönetim sisteminin davranışını simüle etmek ve beklenen tüm işlemlerin doğru şekilde gerçekleşmesini sağlamak için kullanılır. Örneğin, Doğrulamak işlevleri doğrulamak için kullanılır Eşzamansızı Kaldır Ve SaveInformationAsync Uygun zamanlarda çağrılır. Bu, sistemin güncelleme veya yeni bir işaretleme dosyası ekleme gibi çeşitli koşullar altında amaçlandığı gibi davranmasını sağlar. 🧪

Her şeyi birbirine bağlamak için, bu çözümler modülerliğin ve en iyi uygulamaların önemini vurgulamaktadır. Her işlemi belirli işlevlere (örneğin, vektörleri güncelleyerek veya kaldırarak) izole ederek, geliştiriciler diğer kullanım durumları için kodu kolayca yeniden kullanabilir veya uyarlayabilir. Ayrıca, hata işleme ve doğrulama, çözümlerin üretim ortamlarında sağlam kalmasını sağlar. Örneğin, bir güncelleme sırasında bir kimlik uyuşmazlığı meydana gelirse, komut dosyası hatayı zarif bir şekilde ele alır ve veri bozulmasını önler. Semantik çekirdeğin yerleşik araçlarını veya COSMOSDB SDK'sını kullanıyor olsun, bu çözümler geliştiricileri AI güdümlü uygulamalar için optimize edilmiş ve güvenilir bir bellek deposu tutmaya teşvik eder. 🚀

// Import necessary namespaces
using Microsoft.SemanticKernel.Memory;
using Microsoft.SemanticKernel.Connectors.Memory.AzureCosmosDB;
using System.Threading.Tasks;
using System;
// Define the memory builder and initialize the semantic memory
ISemanticTextMemory semanticTextMemory = new MemoryBuilder()
    .WithTextEmbeddingGeneration(kernel.GetRequiredService<ITextEmbeddingGenerationService>())
    .WithMemoryStore(new AzureCosmosDBNoSQLMemoryStore("your-endpoint",
                                                     "your-key",
                                                     1536,
                                                     VectorDataType.Float32,
                                                     VectorIndexType.DiskANN))
    .Build();
// Define a function to update a vector in CosmosDB
public async Task UpdateVectorAsync(string collection, string id, string content, string description)
{
    var existingItem = await semanticTextMemory.GetAsync(collection, id);
    if (existingItem != null)
    {
        await semanticTextMemory.RemoveAsync(collection, id);
    }
    await semanticTextMemory.SaveInformationAsync(collection, id: id, text: content, description: description);
}
// Usage example
await UpdateVectorAsync("collection", "markdown-file-path", "updated content", "updated description");

// Import necessary namespaces
using Microsoft.Azure.Cosmos;
using System.Threading.Tasks;
using System;
// Initialize Cosmos client and container
var cosmosClient = new CosmosClient("your-endpoint", "your-key");
var container = cosmosClient.GetContainer("database-name", "collection-name");
// Define a function to update or insert a vector
public async Task UpsertVectorAsync(string id, string content, string description)
{
    var item = new
    {
        id = id,
        text = content,
        description = description
    };
    await container.UpsertItemAsync(item, new PartitionKey(id));
}
// Usage example
await UpsertVectorAsync("markdown-file-path", "updated content", "updated description");

// Import testing libraries
using Xunit;
using Moq;
using System.Threading.Tasks;
// Define a test class
public class VectorUpdateTests
{
    [Fact]
    public async Task UpdateVector_ShouldReplaceExistingVector()
    {
        // Mock the semantic text memory
        var mockMemory = new Mock<ISemanticTextMemory>();
        mockMemory.Setup(m => m.GetAsync("collection", "test-id"))
            .ReturnsAsync(new MemoryRecord("test-id", "old content", "old description"));
        mockMemory.Setup(m => m.SaveInformationAsync("collection", "test-id", "new content", "new description"))
            .Returns(Task.CompletedTask);
        var service = new YourServiceClass(mockMemory.Object);
        await service.UpdateVectorAsync("collection", "test-id", "new content", "new description");
        // Verify behavior
        mockMemory.Verify(m => m.RemoveAsync("collection", "test-id"), Times.Once);
        mockMemory.Verify(m => m.SaveInformationAsync("collection", "test-id", "new content", "new description"), Times.Once);
    }
}

Meta Veri Stratejileri ile Vektör Veri Güncellemelerini Geliştirme

Vektör verilerinin yönetilmesinin sıklıkla gözden kaçan bir yönü Cosmosdb kayıtları verimli bir şekilde tanımlamak ve güncellemek için meta verilerin kullanımıdır. Yalnızca kimliklere veya yollara güvenmek yerine, zaman damgaları, sürüm numaraları veya içerik için karma değerler gibi meta verileri dahil etmek güncellemeleri önemli ölçüde optimize edebilir. Örneğin, bir işaretleme dosyası güncellendiğinde, değişiklikleri tespit etmek için bir içerik karması oluşturulabilir. Bu şekilde, sistem vektörü yalnızca içerik değiştirilmişse günceller, gereksiz işlemlerden kaçınır ve veritabanı yükünü azaltır. 🔄

Bir diğer önemli strateji ise CosmosDB'nin yerleşik indeksleme yeteneklerinden yararlanmayı içeriyor. Özelleştirerek bölüm anahtarları ve dizine ekleme politikaları, geliştiriciler vektör verilerinin hızlı aramalarını sağlayan bir yapı oluşturabilir. Örneğin, vektörleri kaynak dosyalarına veya kategorilerine göre gruplandırma, sorguları daha verimli hale getirebilir. Ayrıca, zaman damgası veya içerik türleri gibi sık sık sorgulanan alanlarda kompozit indekslemenin etkinleştirilmesi performansı daha da artırabilir.

Son olarak, önbelleğe alma stratejileri, özellikle aynı verilere sıklıkla erişen sohbet robotları için vektör güncellemelerini tamamlayabilir. Uygulama, Redis gibi bir önbellek katmanını entegre ederek CosmosDB'yi tekrar tekrar sorgulamadan yanıtlar sunabilir. Bu yalnızca yanıtları hızlandırmakla kalmaz, aynı zamanda veritabanı işlemlerini en aza indirerek maliyetleri de azaltır. Bu stratejilerin birleştirilmesi, bilgi tabanlı sohbet robotları gibi yapay zeka odaklı uygulamalar için vektör verilerinin yönetilmesine yönelik ölçeklenebilir ve verimli bir yaklaşım sağlar. 🚀