Obravnavanje napak v Excel Power Query pri pridobivanju podatkov iz spleta

Obravnavanje napak v Excel Power Query pri pridobivanju podatkov iz spleta
Obravnavanje napak v Excel Power Query pri pridobivanju podatkov iz spleta
Alice Dupont
četrtek, 18. julij 2024 15:47:02

Upravljanje napak pri pridobivanju podatkov v Excel Power Query

Ko delate s programom Excel Power Query za pridobivanje podatkov iz notranjih URL-jev podjetja, pogosto naletite na različne odzivne kode. Običajno te odzivne kode kažejo, ali je bil priklic podatkov uspešen (200) ali ni bil najden (404). Zagotavljanje pravilnega ravnanja s temi odzivnimi kodami je bistveno za natančno predstavitev podatkov v Excelu.

Ta članek bo raziskal, kako uporabiti funkcijo Power Query za pridobivanje in prikaz podatkov iz notranjega URL-ja. Poudarek bo na upravljanju scenarijev, kjer je odzivna koda za pridobivanje podatkov 404, preprečevanju napak in zagotavljanju nemotene obdelave podatkov. Sprehodili se bomo skozi potrebne korake in ponudili rešitve za učinkovito odpravljanje teh napak.

Ukaz Opis
Json.Document Razčleni podatke JSON, pridobljene iz spletne storitve.
Web.Contents Pridobi podatke z določenega URL-ja.
try ... otherwise Poskuša izvesti operacijo in ponudi alternativni rezultat, če pride do napake.
Record.ToTable Pretvori zapis v obliko tabele.
Table.SelectRows Filtrira tabelo glede na podani pogoj.
Table.Pivot Pretvori vrstice v stolpce na podlagi različnih vrednosti.

Razumevanje obravnave napak v Power Queryju

V ponujenih skriptih začnemo z uporabo Web.Contents funkcijo za pridobivanje podatkov iz določenega URL-ja, ki je dinamično zgrajen z uporabo id parameter. Ti podatki so razčlenjeni z uporabo Json.Document, pretvorbo odziva JSON v obliko, ki jo lahko obdela Power Query. Odgovor vsebuje an Instrument zapis, do katerega dostopamo z indeksiranjem (Instrument{0}). Iz tega zapisa izvlečemo Data_Flow preveriti Data_Response_Code, ki označuje uspeh ali neuspeh pri pridobivanju podatkov.

Če je Data_Response_Code je 200, nadaljujemo z ekstrakcijo zahtevanih podatkovnih polj - Instrument_Full_Name in CFI_Code - Iz Instrument_Common zapis. Ta polja se nato zavrtijo v obliki tabele z uporabo Table.Pivot. Če je odzivna koda 404, kar pomeni, da podatki niso bili najdeni, zagotovimo, da so izhodna polja prazna, tako da jih izrecno nastavimo. Ta pristop preprečuje napake z uporabo try...otherwise konstrukt, ki ujame morebitne težave in privzeto nastavi varno stanje.

Podrobna razčlenitev jezikovnega skripta Power Query M

Drugi scenarij se razširi na prvega z vključitvijo try...otherwise konstrukt, ki zagotavlja nadomestni mehanizem za vse napake, do katerih pride med iskanjem podatkov. Po razčlenjevanju odgovora JSON z Json.Document in dostop do Instrument zapis, poskušamo pridobiti Data_Response_Code. Če ta operacija ne uspe, je skript privzeto nastavljen na 404, kar zagotavlja, da se preostali del postopka nadaljuje brez prekinitev.

Ko je odzivna koda potrjena, skript bodisi ekstrahira podatkovna polja iz Instrument_Common ali jih nastavi na prazne, če je odzivna koda 404. Funkcija FetchData se nato uporabi za dodajanje teh rezultatov v nov stolpec v obstoječi tabeli z uporabo Table.AddColumn. Ta metoda omogoča robustno obravnavanje napak in zagotavlja ohranitev celovitosti podatkov, tudi če nekatere podatkovne točke manjkajo ali spletna zahteva ne uspe. Na splošno ti skripti prikazujejo učinkovite tehnike za obravnavanje napak pri pridobivanju spletnih podatkov v Power Query.

Obravnava napak pri pridobivanju podatkov v Power Query

Uporaba jezika Power Query M

(id as text)=>
let
    Source = Json.Document(Web.Contents("https://example.com/data?Identifier=" & id)),
    Instrument = Source[Instrument]{0},
    DataFlow = Instrument[Data_Flow],
    ResponseCode = DataFlow[Data_Response_Code],
    Output = if ResponseCode = 200 then
        let
            InstrumentCommon = Instrument[Instrument_Common],
            FullName = InstrumentCommon[Instrument_Full_Name],
            CFI = InstrumentCommon[CFI_Code]
        in
            [FullName = FullName, CFI_Code = CFI]
    else
        [FullName = "", CFI_Code = ""]
in
    Output

Zagotavljanje celovitosti podatkov s funkcijo Power Query

Uporaba jezika Excel Power Query M

let
    FetchData = (id as text) =>
    let
        Source = Json.Document(Web.Contents("https://example.com/data?Identifier=" & id)),
        Instrument = Source[Instrument]{0}?
        ResponseCode = try Instrument[Data_Flow][Data_Response_Code] otherwise 404,
        Output = if ResponseCode = 200 then
            let
                InstrumentCommon = Instrument[Instrument_Common],
                FullName = InstrumentCommon[Instrument_Full_Name],
                CFI = InstrumentCommon[CFI_Code]
            in
                [FullName = FullName, CFI_Code = CFI]
        else
            [FullName = "", CFI_Code = ""]
    in
        Output,
    Result = Table.AddColumn(YourTableName, "FetchData", each FetchData([Id]))
in
    Result

Razumevanje ukazov Power Query

Obravnava napak pri pridobivanju podatkov v Power Query

Uporaba jezika Power Query M

(id as text)=>
let
    Source = Json.Document(Web.Contents("https://example.com/data?Identifier=" & id)),
    Instrument = Source[Instrument]{0},
    DataFlow = Instrument[Data_Flow],
    ResponseCode = DataFlow[Data_Response_Code],
    Output = if ResponseCode = 200 then
        let
            InstrumentCommon = Instrument[Instrument_Common],
            FullName = InstrumentCommon[Instrument_Full_Name],
            CFI = InstrumentCommon[CFI_Code]
        in
            [FullName = FullName, CFI_Code = CFI]
    else
        [FullName = "", CFI_Code = ""]
in
    Output

Zagotavljanje celovitosti podatkov s funkcijo Power Query

Uporaba jezika Excel Power Query M

let
    FetchData = (id as text) =>
    let
        Source = Json.Document(Web.Contents("https://example.com/data?Identifier=" & id)),
        Instrument = Source[Instrument]{0}?
        ResponseCode = try Instrument[Data_Flow][Data_Response_Code] otherwise 404,
        Output = if ResponseCode = 200 then
            let
                InstrumentCommon = Instrument[Instrument_Common],
                FullName = InstrumentCommon[Instrument_Full_Name],
                CFI = InstrumentCommon[CFI_Code]
            in
                [FullName = FullName, CFI_Code = CFI]
        else
            [FullName = "", CFI_Code = ""]
    in
        Output,
    Result = Table.AddColumn(YourTableName, "FetchData", each FetchData([Id]))
in
    Result

Napredne tehnike za obravnavo napak v Power Queryju

Eden od vidikov obravnavanja napak v Power Queryju je zmožnost elegantnega upravljanja scenarijev, kjer manjkajo pričakovani podatki ali odziv strežnika ni tak, kot je bilo pričakovano. To je lahko še posebej uporabno pri delu z velikimi nabori podatkov iz spletnih virov, kjer lahko pride do občasnih težav. Z uporabo try...otherwise construct ne zagotavlja le, da poizvedba ne bo uspela, ampak ponuja tudi priložnost za beleženje teh napak za nadaljnjo analizo. Beleženje napak je mogoče doseči z ustvarjanjem ločenega stolpca, ki zajame sporočilo o napaki, kar uporabnikom omogoča učinkovito prepoznavanje in odpravljanje vzroka.

Druga zmogljiva funkcija Power Query je zmožnost kombiniranja več poizvedb in podatkovnih virov. Z ustvarjanjem glavne poizvedbe, ki združuje rezultate iz različnih končnih točk, lahko uporabniki poenostavijo potek obdelave podatkov. Ta pristop je še posebej uporaben, ko imate opravka z API-ji, ki zahtevajo ostranjevanje ali več identifikatorjev za pridobivanje celotnih naborov podatkov. Izvedba strukture zanke znotraj Power Query lahko avtomatizira te naloge, zmanjša ročno posredovanje in izboljša natančnost podatkov. To ne samo poveča produktivnost, temveč zagotavlja tudi robustnejši proces integracije podatkov.

Pogosta vprašanja in rešitve za obravnavo napak Power Query

  1. Kaj je try...otherwise konstrukt v Power Query?
  2. The try...otherwise konstrukcija se uporablja za elegantno obravnavanje napak s poskusom operacije in zagotavljanjem alternativnega rezultata, če operacija ne uspe.
  3. Kako lahko beležim napake v Power Query?
  4. Napake lahko zabeležite tako, da ustvarite ločen stolpec, ki zajame sporočilo o napaki z uporabo try...otherwise konstrukcijo, ki omogoča lažjo identifikacijo in odpravljanje težav.
  5. Kakšen je namen Web.Contents funkcijo?
  6. The Web.Contents se uporablja za pridobivanje podatkov iz podanega URL-ja v Power Query.
  7. Kako lahko obravnavam manjkajoče podatke v Power Query?
  8. Manjkajoče podatke je mogoče obravnavati tako, da preverite odzivno kodo in nastavite privzete vrednosti (npr. prazne nize), ko podatki niso na voljo, z uporabo if...then...else zgraditi.
  9. Kaj je Json.Document uporablja za?
  10. The Json.Document se uporablja za razčlenjevanje podatkov JSON, pridobljenih iz spletne storitve.
  11. Ali lahko Power Query obravnava več virov podatkov?
  12. Da, Power Query lahko združi več podatkovnih virov tako, da ustvari glavno poizvedbo, ki združuje rezultate iz različnih končnih točk in s tem izboljša učinkovitost integracije podatkov.
  13. Kako lahko avtomatiziram pridobivanje podatkov v Power Query?
  14. Pridobivanje podatkov je mogoče avtomatizirati z implementacijo strukture zanke, ki obdeluje več identifikatorjev ali paginirane podatke, kar zmanjša ročno posredovanje.
  15. Kaj je Table.Pivot uporablja za?
  16. The Table.Pivot se uporablja za pretvorbo vrstic v stolpce na podlagi različnih vrednosti, kar pomaga pri organizaciji podatkov.
  17. Kako lahko zagotovim celovitost podatkov, ko uporabljam Power Query?
  18. Celovitost podatkov je mogoče zagotoviti s preverjanjem odzivnih kod in ustreznim obravnavanjem napak, s čimer zagotovite, da so obdelani samo točni in popolni podatki.

Zavijanje:

Učinkovito obravnavanje napak v Excel Power Query pri pridobivanju podatkov iz spleta je ključnega pomena za zagotavljanje celovitosti podatkov in izogibanje motnjam pri obdelavi podatkov. Z uporabo ustreznih ukazov in konstruktov, kot sta try...otherwise in Json.Document, lahko elegantno upravljate scenarije, kjer manjkajo podatki ali odgovori niso takšni, kot so pričakovani. Ta pristop ne le pomaga pri ohranjanju natančnosti, ampak tudi izboljša robustnost vaših delovnih tokov podatkov v Excelu.