Wyodrębnianie tekstu z plików e-mail .msg w wyszukiwarce Azure AI

Odblokowywanie zawartości wiadomości e-mail za pomocą usługi Azure AI Search

Eksplorowanie możliwości usługi Azure AI Search ujawnia jej ogromny wpływ na zarządzanie ogromnymi ilościami danych przechowywanych w środowiskach chmurowych i przeszukiwanie ich. W szczególności w przypadku plików e-mail .msg w kontenerach obiektów blob usługi Azure Storage profesjonaliści szukają skutecznych sposobów uzyskania dostępu nie tylko do metadanych, ale także do rzeczywistej zawartości tych wiadomości e-mail. Proces ten polega na wykorzystaniu zaawansowanych funkcji indeksowania platformy Azure AI do przesiewania wiadomości e-mail, co jest zadaniem wymagającym wiedzy na temat skutecznego wysyłania zapytań do tych plików. Możliwość wyodrębniania i przeszukiwania treści wiadomości e-mail, w tym treści i załączników, otwiera nowe możliwości analizy danych, kontroli zgodności i gromadzenia spostrzeżeń.

Jednak wiele osób znajduje się na rozdrożu, próbując odzyskać więcej niż podstawowe metadane – takie jak pola „Od”, „Do”, „Temat” i „Data wysłania” – zastanawiając się, jak uzyskać dostęp do treści i załączników wiadomości. e-maile. To wyzwanie powoduje potrzebę głębszego poznania możliwości usługi Azure Search i eksplorowania dodatkowych pól, które można zaindeksować w celu wzbogacenia środowiska wyszukiwania. Zawiłości związane z konfigurowaniem wydajnego indeksu poczty e-mail i indeksatora w usłudze Azure AI Search nie tylko sprawdzają umiejętności techniczne, ale także zdolność poruszania się po dokumentacji i eksperymentowania z konfiguracjami w celu osiągnięcia pożądanych wyników.

Wyjaśnienie i wykorzystanie skryptu

Dostarczone skrypty służą jako pomost między możliwościami wyszukiwania AI platformy Azure a konkretną potrzebą wyodrębniania zawartości wiadomości e-mail i załączników z plików .msg przechowywanych w usłudze Azure Blob Storage. Pierwszy skrypt, korzystający z funkcji Azure Functions i zestawów SDK usługi Azure Blob Storage, jest przeznaczony do wykonywania zapytań dotyczących indeksu wyszukiwania poznawczego platformy Azure o nazwie „email-msg-index”. Indeks ten prawdopodobnie zawiera metadane wyodrębnione z plików e-mail .msg. Skrypt używa klienta wyszukiwania z biblioteki wyszukiwania poznawczego platformy Azure do wykonywania operacji wyszukiwania w indeksowanych dokumentach. Operacja wyszukiwania ma być szeroka i oznaczona tekstem wyszukiwania „*”, co oznacza, że ​​pobierze wszystkie zaindeksowane dokumenty. Wybrane pola „metadata_storage_path” i „metadata_storage_name” są kluczowe, ponieważ udostępniają ścieżki do rzeczywistych plików .msg przechowywanych w usłudze Azure Blob Storage. Po uzyskaniu tych ścieżek skrypt używa obiektu BlobServiceClient w celu uzyskania dostępu do zawartości tych plików .msg i pobrania ich.

Drugi skrypt koncentruje się na przetwarzaniu pobranych plików e-mail .msg w celu wyodrębnienia ich treści i załączników. Do analizowania plików e-mail wykorzystuje standardową bibliotekę e-mail w języku Python. Klasa BytesParser odczytuje zawartość pliku .msg w formacie binarnym i konwertuje ją na obiekt EmailMessage. Ten model obiektowy pozwala na łatwe wyodrębnienie różnych części wiadomości e-mail. W szczególności pobiera część tekstową treści wiadomości e-mail i przegląda wszystkie załączniki, wyodrębniając ich zawartość. Załączniki są następnie kodowane w formacie Base64 w celu obsługi danych binarnych, co ułatwia przechowywanie lub przesyłanie jako tekst ASCII. Obydwa skrypty ilustrują sposób automatyzacji pobierania i przetwarzania danych e-mail z usługi Azure Storage, prezentując moc usług platformy Azure i skryptów w języku Python w zakresie wydajnej obsługi i analizowania danych przechowywanych w chmurze.

import azure.functions as func
import azure.storage.blob as blob
import os
from azure.core.credentials import AzureKeyCredential
from azure.search.documents import SearchClient

def main(req: func.HttpRequest) -> func.HttpResponse:
    search_client = SearchClient(endpoint="{search-service-endpoint}", index_name="email-msg-index", credential=AzureKeyCredential("{api-key}"))
    results = search_client.search(search_text="*", select="metadata_storage_path, metadata_storage_name")
    for result in results:
        blob_service_client = blob.BlobServiceClient.from_connection_string("{storage-account-connection-string}")
        blob_client = blob_service_client.get_blob_client(container="{container-name}", blob=result["metadata_storage_name"])
        print(blob_client.download_blob().readall())
    return func.HttpResponse("Email bodies retrieved successfully.", status_code=200)

import email
import base64
from email import policy
from email.parser import BytesParser

def extract_email_body_and_attachments(blob_content):
    msg = BytesParser(policy=policy.default).parsebytes(blob_content)
    body = msg.get_body(preferencelist=('plain')).get_content()
    attachments = []
    for attachment in msg.iter_attachments():
        attachment_content = attachment.get_content()
        if isinstance(attachment_content, str):
            attachment_content = base64.b64encode(attachment_content.encode()).decode()
        attachments.append({"filename": attachment.get_filename(), "content": attachment_content})
    return body, attachments

Ulepszanie wyszukiwania AI platformy Azure dla plików e-mail .msg

Integracja usługi Azure AI Search z plikami e-mail .msg przechowywanymi w usłudze Azure Blob Storage oferuje zaawansowane rozwiązanie umożliwiające uzyskiwanie dostępu i wyszukiwanie treści wiadomości e-mail. Integracja ta ma kluczowe znaczenie dla firm, które w dużym stopniu opierają się na komunikacji e-mailowej i muszą efektywnie wydobywać spostrzeżenia lub lokalizować określone informacje. Podstawą tej funkcji jest zdolność sztucznej inteligencji platformy Azure do indeksowania i przeszukiwania ogromnych ilości nieustrukturyzowanych danych, w tym treści i załączników plików e-mail. Proces ten obejmuje skonfigurowanie modułu indeksującego, który może odczytywać, wyodrębniać i indeksować zawartość plików .msg, umożliwiając użytkownikom przeprowadzanie szczegółowych wyszukiwań na podstawie treści wiadomości e-mail, a nie tylko ich metadanych. Ta funkcja zwiększa dostępność danych, ułatwiając spełnianie wniosków prawnych, przeprowadzanie audytów wewnętrznych lub po prostu odnajdywanie ważnych komunikatów ukrytych w ogromnych zbiorach danych.

Aby w pełni wykorzystać usługę Azure AI Search dla plików e-mail .msg, niezbędne jest zrozumienie szczegółów technicznych i ograniczeń. System wymaga odpowiedniej konfiguracji usługi Azure Search, w tym utworzenia niestandardowego indeksu uwzględniającego specyficzne potrzeby wyszukiwania poczty e-mail. Może to obejmować zdefiniowanie pól wykraczających poza domyślne metadane, takie jak treść wyodrębniona z treści wiadomości e-mail i załączników. Ponadto optymalizacja środowiska wyszukiwania może wymagać użycia Azure Functions lub innych usług platformy Azure do wstępnego przetwarzania wiadomości e-mail, wyodrębniania treści tekstowej i przekształcania załączników w formaty umożliwiające przeszukiwanie. To warstwowe podejście, łączące usługę Azure Storage, usługę Azure AI Search i niestandardową logikę przetwarzania, tworzy potężne narzędzie do zarządzania danymi e-mail i wyszukiwania ich na dużą skalę.