Teksti ekstraktimine .msg meilifailidest Azure AI Searchis

Meilisisu avamine Azure AI Searchiga

Azure AI Searchi võimaluste uurimine paljastab selle sügava mõju pilvekeskkondadesse salvestatud suure hulga andmete haldamisele ja otsimisele. Täpsemalt, Azure Storage'i blob-konteinerites .msg meilifailidega tegelemisel otsivad spetsialistid tõhusaid viise juurdepääsuks mitte ainult metaandmetele, vaid ka nende meilide tegelikule sisule. Protsess hõlmab Azure AI võimsate indekseerimisfunktsioonide ärakasutamist e-kirjade sirvimiseks – ülesanne, mis nõuab arusaamist, kuidas nendele failidele tõhusalt päringuid teha. Võimalus välja võtta ja otsida meili sisu, sealhulgas sisu ja manuseid, avab uued võimalused andmete analüüsiks, vastavuskontrolliks ja ülevaate kogumiseks.

Paljud satuvad aga ristteele, kui nad püüavad hankida rohkemat kui põhilised metaandmed (nt väljad „Saatja”, „Saaja”, „Teema” ja „Saatmiskuupäev”). meilid. See väljakutse toob kaasa vajaduse süveneda Azure Searchi võimalustesse, uurides täiendavaid välju, mida saaks otsingukogemuse rikastamiseks indekseerida. Azure AI Searchi tõhusa meiliindeksi ja indekseerija seadistamise keerukus ei pane proovile mitte ainult inimese tehnilisi võimeid, vaid ka võimet dokumentatsioonis navigeerida ja soovitud tulemuste saavutamiseks konfiguratsioone katsetada.

Skripti selgitus ja kasutamine

Pakutavad skriptid on sillaks Azure AI Searchi võimaluste ja konkreetse vajaduse vahel eraldada Azure Blob Storage'i salvestatud .msg-failidest meili sisu ja manused. Esimene skript, mis kasutab Azure'i funktsioone ja Azure Blob Storage SDK-sid, on loodud päringu tegemiseks Azure'i kognitiivse otsingu indeksist nimega "email-msg-index". See register sisaldab arvatavasti .msg meilifailidest ekstraheeritud metaandmeid. Skript kasutab Azure Cognitive Search teegist SearchClienti otsingutoimingu tegemiseks indekseeritud dokumentides. Otsinguoperatsioon on kavandatud laiaulatuslikuna, mida tähistab otsingutekst "*", mis tähendab, et see otsib kõik indekseeritud dokumendid. Valitud väljad "metadata_storage_path" ja "metadata_storage_name" on üliolulised, kuna need pakuvad teed Azure Blob Storage'i salvestatud tegelikele .msg-failidele. Kui need teed on hangitud, kasutab skript nende .msg-failide sisule juurdepääsuks ja allalaadimiseks teenust BlobServiceClient.

Teine skript keskendub allalaaditud .msg meilifailide töötlemisele, et eraldada nende sisu ja manused. See kasutab meilifailide sõelumiseks Pythoni standardset e-posti teeki. BytesParser klass loeb .msg-faili sisu, mis on binaarvormingus, ja teisendab selle EmailMessage objektiks. See objektimudel võimaldab meili erinevate osade hõlpsat eraldamist. Täpsemalt otsib see meili keha lihttekstiosa ja kordab kõiki manuseid, ekstraheerides nende sisu. Manused kodeeritakse seejärel Base64-sse, et käsitleda binaarandmeid, mis muudab ASCII-tekstina salvestamise või edastamise lihtsamaks. Mõlemad skriptid näitavad, kuidas automatiseerida Azure Storage'i meiliandmete toomist ja töötlemist, tutvustades Azure'i teenuste ja Pythoni skriptimise võimsust pilve salvestatud andmete tõhusal haldamisel ja analüüsimisel.

import azure.functions as func
import azure.storage.blob as blob
import os
from azure.core.credentials import AzureKeyCredential
from azure.search.documents import SearchClient

def main(req: func.HttpRequest) -> func.HttpResponse:
    search_client = SearchClient(endpoint="{search-service-endpoint}", index_name="email-msg-index", credential=AzureKeyCredential("{api-key}"))
    results = search_client.search(search_text="*", select="metadata_storage_path, metadata_storage_name")
    for result in results:
        blob_service_client = blob.BlobServiceClient.from_connection_string("{storage-account-connection-string}")
        blob_client = blob_service_client.get_blob_client(container="{container-name}", blob=result["metadata_storage_name"])
        print(blob_client.download_blob().readall())
    return func.HttpResponse("Email bodies retrieved successfully.", status_code=200)

import email
import base64
from email import policy
from email.parser import BytesParser

def extract_email_body_and_attachments(blob_content):
    msg = BytesParser(policy=policy.default).parsebytes(blob_content)
    body = msg.get_body(preferencelist=('plain')).get_content()
    attachments = []
    for attachment in msg.iter_attachments():
        attachment_content = attachment.get_content()
        if isinstance(attachment_content, str):
            attachment_content = base64.b64encode(attachment_content.encode()).decode()
        attachments.append({"filename": attachment.get_filename(), "content": attachment_content})
    return body, attachments

Azure AI-i .msg-meilifailide otsingu täiustamine

Azure AI Searchi integreerimine Azure Blob Storage'i salvestatud .msg meilifailidega pakub keerukat lahendust meili sisule juurdepääsuks ja selle otsimiseks. See integreerimine on ülioluline ettevõtetele, kes sõltuvad suuresti meilisuhtlusest ja peavad hankima teadmisi või leidma tõhusalt konkreetset teavet. Selle funktsiooni tuum seisneb Azure AI võimes indekseerida ja otsida tohutul hulgal struktureerimata andmeid, sealhulgas meilifailide sisu ja manuseid. See protsess hõlmab indekseerija seadistamist, mis suudab lugeda, ekstraktida ja indekseerida .msg-failide sisu, võimaldades kasutajatel teha üksikasjalikke otsinguid e-kirjade sisu, mitte ainult nende metaandmete põhjal. See võimalus parandab andmetele juurdepääsetavust, muutes juriidiliste taotluste täitmise, siseauditite tegemise või lihtsalt tohututesse andmekogudesse maetud oluliste kommunikatsioonide leidmise lihtsamaks.

Azure AI Search .msg meilifailide täielikuks kasutamiseks on oluline mõista tehnilisi üksikasju ja piiranguid. Süsteem nõuab Azure Searchi teenuse nõuetekohast konfigureerimist, sealhulgas kohandatud indeksi loomist, et rahuldada meiliotsingu spetsiifilisi vajadusi. See võib hõlmata väljade määratlemist väljaspool vaikemetaandmeid, näiteks meili sisust ja manustest eraldatud sisu. Lisaks võib otsingukogemuse optimeerimine nõuda Azure'i funktsioonide või muude Azure'i teenuste kasutamist e-kirjade eeltöötlemiseks, tekstisisu eraldamiseks ja manuste muutmiseks otsitavatesse vormingutesse. See kihiline lähenemisviis, mis ühendab Azure Storage'i, Azure AI otsingu ja kohandatud töötlemisloogika, loob võimsa tööriista meiliandmete ulatuslikuks haldamiseks ja otsimiseks.