Tekst extraheren uit .msg-e-mailbestanden in Azure AI Search

E-mailinhoud ontgrendelen met Azure AI Search

Het verkennen van de mogelijkheden van Azure AI Search onthult de diepgaande impact ervan op het beheren en doorzoeken van grote hoeveelheden gegevens die zijn opgeslagen in cloudomgevingen. Met name bij het omgaan met .msg-e-mailbestanden in Azure Storage blob-containers zoeken professionals naar efficiënte manieren om niet alleen toegang te krijgen tot de metagegevens, maar ook tot de daadwerkelijke inhoud in deze e-mails. Het proces omvat het gebruik van de krachtige indexeringsfuncties van Azure AI om e-mails te doorzoeken, een taak die inzicht vereist in hoe deze bestanden effectief kunnen worden opgevraagd. De mogelijkheid om e-mailinhoud, inclusief hoofdtekst en bijlagen, te extraheren en te doorzoeken, opent nieuwe wegen voor data-analyse, nalevingscontroles en het verzamelen van inzichten.

Velen bevinden zich echter op een kruispunt wanneer ze proberen meer dan alleen de basismetagegevens op te halen (zoals de velden 'Van', 'Aan', 'Onderwerp' en 'Verzonden datum') en vragen zich af hoe ze toegang kunnen krijgen tot de hoofdtekst en de bijlagen van de e-mails. Deze uitdaging introduceert de behoefte aan een diepere duik in de mogelijkheden van Azure Search, waarbij aanvullende velden worden onderzocht die kunnen worden geïndexeerd om de zoekervaring te verrijken. De fijne kneepjes van het opzetten van een efficiënte e-mailindex en indexeerfunctie in Azure AI Search stellen niet alleen iemands technische bekwaamheid op de proef, maar ook iemands vermogen om door documentatie te navigeren en met configuraties te experimenteren om de gewenste resultaten te bereiken.

Scriptuitleg en gebruik

De meegeleverde scripts dienen als brug tussen de Azure AI Search-mogelijkheden en de specifieke noodzaak om e-mailinhoud en bijlagen te extraheren uit MSG-bestanden die zijn opgeslagen in Azure Blob Storage. Het eerste script, dat gebruikmaakt van Azure Functions en Azure Blob Storage SDK's, is ontworpen om query's uit te voeren op de Azure Cognitive Search-index met de naam 'email-msg-index'. Deze index bevat vermoedelijk metagegevens die zijn geëxtraheerd uit .msg-e-mailbestanden. Het script maakt gebruik van de SearchClient uit de Azure Cognitive Search-bibliotheek om een ​​zoekbewerking uit te voeren in de geïndexeerde documenten. De zoekbewerking is breed opgezet, aangegeven door de zoektekst "*", wat betekent dat alle geïndexeerde documenten worden opgehaald. De geselecteerde velden, 'metadata_storage_path' en 'metadata_storage_name', zijn van cruciaal belang omdat ze de paden bieden naar de daadwerkelijke MSG-bestanden die zijn opgeslagen in Azure Blob Storage. Zodra deze paden zijn verkregen, gebruikt het script de BlobServiceClient om de inhoud van deze MSG-bestanden te openen en te downloaden.

Het tweede script richt zich op het verwerken van de gedownloade .msg-e-mailbestanden om hun hoofdinhoud en bijlagen te extraheren. Het gebruikt de standaard Python 'e-mail'-bibliotheek om de e-mailbestanden te parseren. De klasse BytesParser leest de inhoud van het .msg-bestand, die de binaire indeling heeft, en converteert deze naar een EmailMessage-object. Met dit objectmodel kunnen verschillende delen van de e-mail eenvoudig worden geëxtraheerd. Concreet haalt het het platte tekstgedeelte van de hoofdtekst van de e-mail op en herhaalt het alle bijlagen, waarbij de inhoud ervan wordt geëxtraheerd. De bijlagen worden vervolgens gecodeerd in Base64 om binaire gegevens te verwerken, waardoor het gemakkelijker wordt om ze op te slaan of te verzenden als ASCII-tekst. Beide scripts laten zien hoe je het ophalen en verwerken van e-mailgegevens uit Azure Storage kunt automatiseren, en laten de kracht van Azure-services en Python-scripting zien bij het efficiënt verwerken en analyseren van in de cloud opgeslagen gegevens.

import azure.functions as func
import azure.storage.blob as blob
import os
from azure.core.credentials import AzureKeyCredential
from azure.search.documents import SearchClient

def main(req: func.HttpRequest) -> func.HttpResponse:
    search_client = SearchClient(endpoint="{search-service-endpoint}", index_name="email-msg-index", credential=AzureKeyCredential("{api-key}"))
    results = search_client.search(search_text="*", select="metadata_storage_path, metadata_storage_name")
    for result in results:
        blob_service_client = blob.BlobServiceClient.from_connection_string("{storage-account-connection-string}")
        blob_client = blob_service_client.get_blob_client(container="{container-name}", blob=result["metadata_storage_name"])
        print(blob_client.download_blob().readall())
    return func.HttpResponse("Email bodies retrieved successfully.", status_code=200)

import email
import base64
from email import policy
from email.parser import BytesParser

def extract_email_body_and_attachments(blob_content):
    msg = BytesParser(policy=policy.default).parsebytes(blob_content)
    body = msg.get_body(preferencelist=('plain')).get_content()
    attachments = []
    for attachment in msg.iter_attachments():
        attachment_content = attachment.get_content()
        if isinstance(attachment_content, str):
            attachment_content = base64.b64encode(attachment_content.encode()).decode()
        attachments.append({"filename": attachment.get_filename(), "content": attachment_content})
    return body, attachments

Verbetering van de Azure AI-zoekopdracht voor .msg-e-mailbestanden

De integratie van Azure AI Search met .msg-e-mailbestanden die zijn opgeslagen in Azure Blob Storage biedt een geavanceerde oplossing voor het openen en doorzoeken van e-mailinhoud. Deze integratie is van cruciaal belang voor bedrijven die sterk afhankelijk zijn van e-mailcommunicatie en op efficiënte wijze inzichten moeten verkrijgen of specifieke informatie moeten lokaliseren. De kern van deze functionaliteit ligt in het vermogen van Azure AI om grote hoeveelheden ongestructureerde gegevens te indexeren en te doorzoeken, inclusief de hoofdtekst en bijlagen van e-mailbestanden. Dit proces omvat het opzetten van een indexer die de inhoud van .msg-bestanden kan lezen, extraheren en indexeren, waardoor gebruikers gedetailleerde zoekopdrachten kunnen uitvoeren op basis van de inhoud van de e-mails, en niet alleen op hun metagegevens. Deze mogelijkheid verbetert de toegankelijkheid van gegevens, waardoor het gemakkelijker wordt om aan wettelijke verzoeken te voldoen, interne audits uit te voeren of eenvoudigweg belangrijke communicatie te vinden die verborgen is in enorme datasets.

Om Azure AI Search voor .msg-e-mailbestanden volledig te kunnen benutten, is het begrijpen van de technische details en beperkingen essentieel. Het systeem vereist een juiste configuratie van de Azure Search-service, inclusief het maken van een aangepaste index om tegemoet te komen aan de specifieke behoeften van het zoeken naar e-mail. Dit kan het definiëren van velden inhouden die verder gaan dan de standaardmetagegevens, zoals inhoud die uit de hoofdtekst van de e-mail wordt gehaald en bijlagen. Bovendien kan het optimaliseren van de zoekervaring het gebruik van Azure Functions of andere Azure-services vereisen om e-mails voor te verwerken, tekstinhoud te extraheren en bijlagen om te zetten in doorzoekbare indelingen. Deze gelaagde aanpak, waarbij Azure Storage, Azure AI Search en aangepaste verwerkingslogica worden gecombineerd, creëert een krachtig hulpmiddel voor het beheren en doorzoeken van e-mailgegevens op schaal.