Kaip priversti „Google“ žemės variklį „JavaScript“ veikti greičiau

„Google“ žemės variklio scenarijų vykdymo laiko optimizavimas

Google Earth Engine (GEE) yra galinga platforma, skirta didelio masto geoerdviniams duomenims analizuoti. Tačiau vartotojai dažnai susiduria su vykdymo laiko problemomis, net kai jų scenarijai atrodo pagrindiniai. Scenarijus, kurio paleidimas trunka keletą minučių, gali paveikti produktyvumą ir uždelsti įžvalgas.

Šiuo atveju vartotojas sukūrė paprastą scenarijų Sentinel ir Landsat 8 duomenims apdoroti. Nepaisant savo paprastumo, scenarijus vykdomas maždaug 3–5 minutes. Norint efektyviai apdoroti duomenis, labai svarbu suprasti, kodėl taip nutinka ir kaip optimizuoti scenarijų.

GEE scenarijaus našumas priklauso nuo kelių veiksnių, įskaitant duomenų dydį, filtravimą ir skaičiavimo sudėtingumą. Sutrumpinant vykdymo laiką reikia nustatyti scenarijaus kliūtis, pvz., nereikalingas operacijas arba didelius duomenų rinkinius, kurie sulėtina apdorojimą.

Šiame straipsnyje bus nagrinėjamos galimos lėto GEE vykdymo laiko priežastys ir pateikiami praktiniai patarimai, kaip optimizuoti nurodytą scenarijų. Įgyvendindami šias strategijas, vartotojai gali žymiai pagerinti savo geoerdvinių duomenų analizės užduočių greitį ir našumą.

GEE scenarijų optimizavimas siekiant didesnio efektyvumo

Pateiktame scenarijuje siekiama išgauti ir apdoroti palydovinius vaizdus iš dviejų skirtingų šaltinių: Sentinel ir Landsat. The „Google“ žemės variklis (GEE) platforma leidžia vartotojams pasiekti daugybę palydovinių duomenų ir taikyti įvairias operacijas, tokias kaip filtravimas, indeksavimas ir vizualizacija. Viena iš pagrindinių šiame scenarijuje naudojamų funkcijų yra normalizuotas skirtumas() funkcija, kuri naudojama svarbiems indeksams, pvz., NDVI, NDWI ir NDSI, apskaičiuoti. Šie rodikliai yra labai svarbūs analizuojant augmeniją, vandenį ir sniego dangą nurodytame regione. Scenarijus pradedamas apibrėžiant lankytiną vietą ir joje centruojamas žemėlapis, naudojant pateiktas koordinates.

Scenarijus taiko kelis filtrus, pvz filtro data () ir filterBounds(), sumažinti apdorojamų duomenų kiekį ir taip pagerinti vykdymo laiką. Pavyzdžiui, filterBounds() užtikrina, kad būtų įtraukti tik vaizdai, kertantys dominančią sritį, o filtro data () apriboja vaizdus iki tam tikros datos sekos. Tai būtina norint apdoroti didelius duomenų rinkinius, tokius kaip „Sentinel“ ir „Landsat“ vaizdai, nes tai sumažina skaičiavimo apkrovą. Be to, filtras Debesų aprėptis padeda atmesti vaizdus, ​​​​kuriuose yra per daug debesų, užtikrinant geresnės kokybės analizę.

Vienas svarbus scenarijaus aspektas yra addBands () funkcija, kuri prideda prie vaizdų apskaičiuotus indeksus (NDVI, NDWI, NDSI), todėl jie tampa prieinami tolesnei analizei. Scenarijus taip pat apima nuolatinę vandens kaukę, naudojant duomenis iš JRC pasaulinio paviršiaus vandens duomenų rinkinio. Vandens kaukė padeda išskirti sritis, kuriose yra daug vandens (daugiau nei 80 %), o tai gali iškreipti augmenijos ir sniego analizės rezultatus. Tai daroma per gt() ir demaskuoti () funkcijos, leidžiančios scenarijui išskirti sritis pagal pikselių reikšmes.

Galiausiai scenarijus naudoja sumažinti () funkcija su procentilių reduktoriumi, kad būtų sukurtas sudėtinis vaizdas, atspindintis 30 procentilių pasirinktų pikselių reikšmių. Tada šis sudėtinis vaizdas iškirptas į dominančią sritį ir vizualizuojamas žemėlapyje naudojant klipas () funkcija. Vaizdiniai parametrai yra apibrėžti tiek Sentinel, tiek Landsat kompozitams, todėl vartotojas gali juos peržiūrėti su atitinkamais spalvų nustatymais. Sujungus įvairius vaizdo apdorojimo veiksmus, pvz., filtravimą, maskavimą ir sudėtinį generavimą, šis scenarijus yra efektyvus būdas analizuoti palydovinius vaizdus, ​​tačiau norint sutrumpinti vykdymo laiką, galima pritaikyti tolesnį optimizavimą.

var pointJSP = ee.Geometry.Point([86.465263, 20.168076]);
Map.centerObject(pointJSP, 14);
// Combine date variables for flexibility
var startDate = '2024-02-01';
var endDate = '2024-03-01';
// Function to add NDVI, NDWI, NDSI
var addIndices = function(image) {
  var ndvi = image.normalizedDifference(['NIR', 'RED']).rename('NDVI');
  var ndwi = image.normalizedDifference(['NIR', 'SWIR1']).rename('NDWI');
  var ndsi = image.normalizedDifference(['SWIR1', 'SWIR2']).rename('NDSI');
  return image.addBands(ndvi).addBands(ndwi).addBands(ndsi);
};
// Use fewer data points by filtering for cloud-free pixels only once
var sentinel = ee.ImageCollection('COPERNICUS/S2_SR')
  .filterBounds(pointJSP)
  .filterDate(startDate, endDate)
  .filter(ee.Filter.lt('CLOUDY_PIXEL_PERCENTAGE', 30));

var landsat8 = ee.ImageCollection('LANDSAT/LC08/C01/T1_SR')
  .filterBounds(pointJSP)
  .filterDate(startDate, endDate)
  .filter(ee.Filter.lt('CLOUD_COVER', 30));
// Apply water mask for permanent water areas
var waterMask = ee.Image('JRC/GSW1_4/GlobalSurfaceWater').select('occurrence').gt(80).unmask();
// Add indices to Landsat 8 imagery
var landsatIndices = landsat8.map(addIndices);
var composite = landsatIndices.reduce(ee.Reducer.percentile([30])).clip(pointJSP).mask(waterMask.eq(0));
Map.addLayer(composite, {bands: ['RED', 'GREEN', 'BLUE'], min: 0, max: 3000}, 'Landsat Composite');
Map.addLayer(waterMask, {min: 0, max: 1, palette: ['white', 'blue']}, 'Water Mask', false);

Nuotolinio stebėjimo scenarijų efektyvumo gerinimas

Vienas iš pagrindinių aspektų dirbant su Google Earth Engine (GEE) scenarijais yra užtikrinti, kad operacijos būtų tvarkomos efektyviai. Nors aplinkos analizėje dažnai naudojami dideli duomenų rinkiniai, tokie kaip Sentinel ir Landsat, didžiulis duomenų kiekis gali sulėtinti scenarijaus vykdymą. Vienas iš būdų pagerinti našumą yra užtikrinti, kad būtų apdorojami tik būtini duomenys. Naudojant tokias komandas kaip filterBounds() ir filtro data () sumažina duomenų rinkinio dydį, o tai padeda supaprastinti skaičiavimus. Pasirinkus konkrečias dienų sekas ir geografinius regionus, vykdymo laikas gali žymiai sutrumpėti.

Kitas aspektas, turintis įtakos GEE scenarijaus veikimui, yra tai, kaip duomenys apdorojami. Scenarijaus pavyzdyje naudojama funkcija svarbiems indeksams, pvz., NDVI, NDWI ir NDSI, apskaičiuoti. Šie indeksai kaip juostos pridedami prie vaizdų kolekcijų, todėl galima atlikti išsamesnę analizę. Tačiau dažna klaida yra tokių funkcijų taikymas visam duomenų rinkiniui iš pradžių nefiltravus. Labai svarbu tokias operacijas taikyti po filtravimo, kad būtų išvengta nereikalingų nesusijusių duomenų skaičiavimų.

Vizualizacija yra dar vienas scenarijaus elementas, kurį galima optimizuoti. Pridėjus per daug sluoksnių ar sudėtingų vizualizacijų, apdorojimo laikas gali sutrumpėti. Scenarijus naudoja iš anksto nustatytus vaizdinius parametrus, kad būtų pateikti kompozitai, tačiau našumą galima pagerinti išjungus tam tikrus sluoksnius, nebent jie yra aiškiai reikalingi. Tai padeda išlaikyti scenarijų lengvą ir išlaikyti jo funkcionalumą. Naudojant klipas () komandos taip pat užtikrina, kad būtų atvaizduojamas tik reikalingas plotas, sumažinant bendrą apdorojimo naštą.