Extrahera text från .msg-e-postfiler i Azure AI Search

Låsa upp e-postinnehåll med Azure AI Search

Att utforska funktionerna i Azure AI Search avslöjar dess djupgående inverkan på hantering och sökning genom stora mängder data som lagras i molnmiljöer. Närmare bestämt, när de hanterar .msg-e-postfiler i Azure Storage blob-behållare, söker proffs effektiva sätt att komma åt inte bara metadata utan det faktiska innehållet i dessa e-postmeddelanden. Processen involverar att utnyttja Azure AI:s kraftfulla indexeringsfunktioner för att sålla bland e-postmeddelanden, en uppgift som kräver en förståelse för hur man söker efter dessa filer effektivt. Möjligheten att extrahera och söka i e-postinnehåll, inklusive text och bilagor, öppnar nya vägar för dataanalys, efterlevnadskontroller och insamling av insikter.

Men många befinner sig vid ett vägskäl när de försöker hämta mer än den grundläggande metadatan – som fälten "Från", "Till", "Ämne" och "Datum skickad" - och undrar hur man kommer åt brödtexten och bilagorna i e-postmeddelanden. Den här utmaningen introducerar behovet av en djupare dykning i Azure Searchs möjligheter, och utforskar ytterligare fält som kan indexeras för att berika sökupplevelsen. Det krångliga med att sätta upp ett effektivt e-postindex och indexerare i Azure AI Search testar inte bara ens tekniska skicklighet utan också ens förmåga att navigera genom dokumentation och experimentera med konfigurationer för att uppnå önskade resultat.

Skriptförklaring och användning

Skripten som tillhandahålls fungerar som en brygga mellan Azure AI Search-funktionerna och det specifika behovet av att extrahera e-postinnehåll och bilagor från .msg-filer som lagras i Azure Blob Storage. Det första skriptet, som utnyttjar Azure Functions och Azure Blob Storage SDK:er, är utformat för att fråga Azure Cognitive Search-indexet med namnet "email-msg-index". Detta index innehåller förmodligen metadata som extraherats från .msg-e-postfiler. Skriptet använder SearchClient från Azure Cognitive Search-biblioteket för att utföra en sökoperation över de indexerade dokumenten. Sökoperationen är utformad för att vara bred, indikerad med söktexten "*", vilket betyder att den kommer att hämta alla indexerade dokument. De valda fälten, "metadata_storage_path" och "metadata_storage_name", är avgörande eftersom de tillhandahåller sökvägarna till de faktiska .msg-filerna som lagras i Azure Blob Storage. När dessa sökvägar har erhållits använder skriptet BlobServiceClient för att komma åt och ladda ner innehållet i dessa .msg-filer.

Det andra skriptet fokuserar på att bearbeta de nedladdade .msg-e-postfilerna för att extrahera deras innehåll och bilagor. Den använder det vanliga Python-'e-postbiblioteket för att analysera e-postfilerna. Klassen BytesParser läser .msg-filens innehåll, som är i binärt format, och konverterar det till ett EmailMessage-objekt. Denna objektmodell möjliggör enkel extrahering av olika delar av e-postmeddelandet. Närmare bestämt hämtar den den oformaterade delen av e-postmeddelandet och itererar över eventuella bilagor och extraherar deras innehåll. Bilagorna kodas sedan i Base64 för att hantera binär data, vilket gör det lättare att lagra eller överföra som ASCII-text. Båda skripten exemplifierar hur man automatiserar hämtning och bearbetning av e-postdata från Azure Storage, och visar kraften med Azure-tjänster och Python-skript för att effektivt hantera och analysera molnlagrad data.

import azure.functions as func
import azure.storage.blob as blob
import os
from azure.core.credentials import AzureKeyCredential
from azure.search.documents import SearchClient

def main(req: func.HttpRequest) -> func.HttpResponse:
    search_client = SearchClient(endpoint="{search-service-endpoint}", index_name="email-msg-index", credential=AzureKeyCredential("{api-key}"))
    results = search_client.search(search_text="*", select="metadata_storage_path, metadata_storage_name")
    for result in results:
        blob_service_client = blob.BlobServiceClient.from_connection_string("{storage-account-connection-string}")
        blob_client = blob_service_client.get_blob_client(container="{container-name}", blob=result["metadata_storage_name"])
        print(blob_client.download_blob().readall())
    return func.HttpResponse("Email bodies retrieved successfully.", status_code=200)

import email
import base64
from email import policy
from email.parser import BytesParser

def extract_email_body_and_attachments(blob_content):
    msg = BytesParser(policy=policy.default).parsebytes(blob_content)
    body = msg.get_body(preferencelist=('plain')).get_content()
    attachments = []
    for attachment in msg.iter_attachments():
        attachment_content = attachment.get_content()
        if isinstance(attachment_content, str):
            attachment_content = base64.b64encode(attachment_content.encode()).decode()
        attachments.append({"filename": attachment.get_filename(), "content": attachment_content})
    return body, attachments

Förbättra Azure AI Sök efter .msg-e-postfiler

Att integrera Azure AI Search med .msg-e-postfiler lagrade i Azure Blob Storage erbjuder en sofistikerad lösning för att komma åt och söka i e-postinnehåll. Denna integration är avgörande för företag som är mycket beroende av e-postkommunikation och som behöver extrahera insikter eller hitta specifik information effektivt. Kärnan i den här funktionen ligger i Azure AI:s förmåga att indexera och söka igenom stora mängder ostrukturerad data, inklusive brödtexten och bilagor till e-postfiler. Denna process innebär att man ställer in en indexerare som kan läsa, extrahera och indexera innehållet i .msg-filer, så att användare kan utföra detaljerade sökningar baserat på innehållet i e-postmeddelandena, inte bara deras metadata. Denna förmåga förbättrar datatillgängligheten, vilket gör det enklare att följa juridiska förfrågningar, utföra interna revisioner eller helt enkelt hitta viktig kommunikation begravd i massiva datamängder.

För att fullt ut kunna använda Azure AI Search för .msg-e-postfiler är det viktigt att förstå de tekniska detaljerna och begränsningarna. Systemet kräver korrekt konfiguration av Azure Search-tjänsten, inklusive skapandet av ett anpassat index för att tillgodose de specifika behoven av e-postsökning. Detta kan innebära att definiera fält utöver standardmetadata, till exempel innehåll som extraherats från e-posttexten och bilagor. Dessutom kan optimering av sökupplevelsen kräva användning av Azure Functions eller andra Azure-tjänster för att förbehandla e-postmeddelanden, extrahera textinnehåll och omvandla bilagor till sökbara format. Detta skiktade tillvägagångssätt, som kombinerar Azure Storage, Azure AI Search och anpassad bearbetningslogik, skapar ett kraftfullt verktyg för att hantera och söka e-postdata i stor skala.