Extrahieren von Text aus .msg-E-Mail-Dateien in Azure AI Search

E-Mail-Inhalte mit Azure AI Search freischalten

Die Erkundung der Funktionen der Azure AI Search zeigt ihre tiefgreifenden Auswirkungen auf die Verwaltung und Suche in riesigen Datenmengen, die in Cloud-Umgebungen gespeichert sind. Insbesondere beim Umgang mit .msg-E-Mail-Dateien in Azure Storage-Blobcontainern suchen Fachleute nach effizienten Möglichkeiten, nicht nur auf die Metadaten, sondern auch auf den eigentlichen Inhalt dieser E-Mails zuzugreifen. Der Prozess beinhaltet die Nutzung der leistungsstarken Indexierungsfunktionen von Azure AI, um E-Mails zu durchsuchen. Diese Aufgabe erfordert ein Verständnis dafür, wie diese Dateien effektiv abgefragt werden können. Die Möglichkeit, E-Mail-Inhalte, einschließlich Text und Anhänge, zu extrahieren und zu durchsuchen, eröffnet neue Möglichkeiten für die Datenanalyse, Compliance-Prüfungen und die Gewinnung von Erkenntnissen.

Wenn sie jedoch versuchen, mehr als die grundlegenden Metadaten wie die Felder „Von“, „An“, „Betreff“ und „Gesendet“ abzurufen, stehen viele an einem Scheideweg und fragen sich, wie sie auf den Text und die Anhänge der Datei zugreifen können E-Mails. Diese Herausforderung erfordert einen tieferen Einblick in die Funktionen von Azure Search und die Erkundung zusätzlicher Felder, die indiziert werden könnten, um das Sucherlebnis zu bereichern. Die Komplexität der Einrichtung eines effizienten E-Mail-Index und -Indexers in Azure AI Search stellt nicht nur die technischen Fähigkeiten einer Person auf die Probe, sondern auch ihre Fähigkeit, durch die Dokumentation zu navigieren und mit Konfigurationen zu experimentieren, um die gewünschten Ergebnisse zu erzielen.

Skripterklärung und -verwendung

Die bereitgestellten Skripte dienen als Brücke zwischen den Azure AI Search-Funktionen und der spezifischen Notwendigkeit, E-Mail-Inhalte und -Anhänge aus .msg-Dateien zu extrahieren, die in Azure Blob Storage gespeichert sind. Das erste Skript, das Azure Functions und Azure Blob Storage SDKs nutzt, ist für die Abfrage des Azure Cognitive Search-Index mit dem Namen „email-msg-index“ konzipiert. Dieser Index enthält vermutlich Metadaten, die aus .msg-E-Mail-Dateien extrahiert wurden. Das Skript verwendet den SearchClient aus der Azure Cognitive Search-Bibliothek, um einen Suchvorgang für die indizierten Dokumente auszuführen. Der Suchvorgang ist breit angelegt und wird durch den Suchtext „*“ angezeigt, was bedeutet, dass alle indizierten Dokumente abgerufen werden. Die ausgewählten Felder „metadata_storage_path“ und „metadata_storage_name“ sind von entscheidender Bedeutung, da sie die Pfade zu den tatsächlichen MSG-Dateien bereitstellen, die in Azure Blob Storage gespeichert sind. Sobald diese Pfade abgerufen wurden, verwendet das Skript den BlobServiceClient, um auf den Inhalt dieser MSG-Dateien zuzugreifen und ihn herunterzuladen.

Das zweite Skript konzentriert sich auf die Verarbeitung der heruntergeladenen .msg-E-Mail-Dateien, um deren Hauptinhalt und Anhänge zu extrahieren. Es verwendet die Standard-Python-E-Mail-Bibliothek zum Parsen der E-Mail-Dateien. Die BytesParser-Klasse liest den Inhalt der .msg-Datei, der im Binärformat vorliegt, und konvertiert ihn in ein EmailMessage-Objekt. Dieses Objektmodell ermöglicht die einfache Extraktion verschiedener Teile der E-Mail. Konkret ruft es den Klartextteil des E-Mail-Textes ab, durchläuft alle Anhänge und extrahiert deren Inhalt. Die Anhänge werden dann in Base64 codiert, um Binärdaten zu verarbeiten, was die Speicherung oder Übertragung als ASCII-Text erleichtert. Beide Skripte veranschaulichen, wie der Abruf und die Verarbeitung von E-Mail-Daten aus Azure Storage automatisiert werden können, und demonstrieren die Leistungsfähigkeit von Azure-Diensten und Python-Skripten bei der effizienten Verarbeitung und Analyse von in der Cloud gespeicherten Daten.

import azure.functions as func
import azure.storage.blob as blob
import os
from azure.core.credentials import AzureKeyCredential
from azure.search.documents import SearchClient

def main(req: func.HttpRequest) -> func.HttpResponse:
    search_client = SearchClient(endpoint="{search-service-endpoint}", index_name="email-msg-index", credential=AzureKeyCredential("{api-key}"))
    results = search_client.search(search_text="*", select="metadata_storage_path, metadata_storage_name")
    for result in results:
        blob_service_client = blob.BlobServiceClient.from_connection_string("{storage-account-connection-string}")
        blob_client = blob_service_client.get_blob_client(container="{container-name}", blob=result["metadata_storage_name"])
        print(blob_client.download_blob().readall())
    return func.HttpResponse("Email bodies retrieved successfully.", status_code=200)

import email
import base64
from email import policy
from email.parser import BytesParser

def extract_email_body_and_attachments(blob_content):
    msg = BytesParser(policy=policy.default).parsebytes(blob_content)
    body = msg.get_body(preferencelist=('plain')).get_content()
    attachments = []
    for attachment in msg.iter_attachments():
        attachment_content = attachment.get_content()
        if isinstance(attachment_content, str):
            attachment_content = base64.b64encode(attachment_content.encode()).decode()
        attachments.append({"filename": attachment.get_filename(), "content": attachment_content})
    return body, attachments

Verbesserung der Azure AI-Suche nach .msg-E-Mail-Dateien

Die Integration von Azure AI Search mit in Azure Blob Storage gespeicherten MSG-E-Mail-Dateien bietet eine ausgefeilte Lösung für den Zugriff auf und die Suche nach E-Mail-Inhalten. Diese Integration ist von entscheidender Bedeutung für Unternehmen, die stark auf E-Mail-Kommunikation angewiesen sind und Erkenntnisse gewinnen oder bestimmte Informationen effizient finden müssen. Der Kern dieser Funktionalität liegt in der Fähigkeit von Azure AI, große Mengen unstrukturierter Daten, einschließlich des Textkörpers und der Anhänge von E-Mail-Dateien, zu indizieren und zu durchsuchen. Dieser Prozess umfasst die Einrichtung eines Indexers, der den Inhalt von .msg-Dateien lesen, extrahieren und indizieren kann, sodass Benutzer detaillierte Suchen basierend auf dem Inhalt der E-Mails und nicht nur auf deren Metadaten durchführen können. Diese Funktion verbessert die Datenzugänglichkeit und macht es einfacher, rechtlichen Anforderungen nachzukommen, interne Audits durchzuführen oder einfach wichtige Kommunikationen zu finden, die in riesigen Datensätzen vergraben sind.

Um Azure AI Search für .msg-E-Mail-Dateien vollständig nutzen zu können, ist es wichtig, die technischen Details und Einschränkungen zu verstehen. Das System erfordert eine ordnungsgemäße Konfiguration des Azure Search-Diensts, einschließlich der Erstellung eines benutzerdefinierten Indexes, um den spezifischen Anforderungen der E-Mail-Suche gerecht zu werden. Dies kann die Definition von Feldern umfassen, die über die Standardmetadaten hinausgehen, wie z. B. Inhalte, die aus dem E-Mail-Text und den Anhängen extrahiert werden. Darüber hinaus kann die Optimierung des Sucherlebnisses den Einsatz von Azure Functions oder anderen Azure-Diensten erfordern, um E-Mails vorzuverarbeiten, Textinhalte zu extrahieren und Anhänge in durchsuchbare Formate umzuwandeln. Dieser mehrschichtige Ansatz, der Azure Storage, Azure AI Search und benutzerdefinierte Verarbeitungslogik kombiniert, schafft ein leistungsstarkes Tool zum Verwalten und Durchsuchen von E-Mail-Daten in großem Maßstab.