Оптимизација времена извршавања скрипти Гоогле Еартх Енгине-а
Гоогле Еартх Енгине (ГЕЕ) је моћна платформа за анализу великих геопросторних података. Међутим, корисници често наилазе на проблеме са временом извршења, чак и када се њихове скрипте чине основним. Скрипта за коју је потребно неколико минута да се покрене може утицати на продуктивност и одложити увиде.
У овом случају, корисник је направио једноставну скрипту за обраду података Сентинел и Ландсат 8. Упркос својој једноставности, скрипту је потребно око 3-5 минута да се изврши. Разумевање зашто се то дешава и како оптимизовати скрипту је од суштинског значаја за ефикасну обраду података.
Перформансе ГЕЕ скрипте зависе од неколико фактора, укључујући величину података, филтрирање и сложеност рачунара. Смањење времена извршења укључује идентификовање уских грла унутар скрипте, као што су непотребне операције или велики скупови података који успоравају обраду.
Овај чланак ће истражити могуће узроке спорог времена извршавања у ГЕЕ-у и пружити практичне савете за оптимизацију дате скрипте. Применом ових стратегија, корисници могу значајно да побољшају брзину и перформансе својих задатака анализе геопросторних података.
Цомманд | Пример употребе |
---|---|
normalizedDifference() | Ова функција се користи за израчунавање индекса као што су НДВИ, НДВИ и НДСИ тако што се израчунава разлика између два опсега, подељена њиховим збиром. Специфичан је за анализу даљинским испитивањем где су потребни индекси вегетације, воде и снега. |
filterBounds() | Филтрира колекцију слика тако да укључује само слике које секу дату геометрију. У овом случају, он ограничава сателитске податке на подручје око дефинисане тачке интереса, чинећи обраду ефикаснијом искључивањем ирелевантних података. |
filterDate() | Ова команда ограничава колекцију слика на одређени период. За наш проблем, кључно је анализирати разлике између истог временског периода за Сентинел и Ландсат скупове података. |
addBands() | Додаје нове израчунате опсеге (као што су НДВИ, НДВИ и НДСИ) свакој слици у колекцији. Ово је неопходно за примену више индекса на исту колекцију слика без креирања засебних скупова података. |
unmask() | Испуњава маскиране пикселе одређеном вредношћу. У нашем сценарију се користи за демаскирање сталних водних подручја, осигуравајући да се подаци обрађују досљедно у цијелом региону. |
reduce() | Смањује колекцију слика помоћу одређене функције редуктора, као што је ее.Редуцер.перцентиле(). Овде се користи за израчунавање 30. перцентила вредности пиксела, оптимизујући генерисање композитне слике. |
clip() | Исече слику до граница наведеног региона од интереса. Ово осигурава да се обрађују само подаци релевантни за област, што убрзава извршење. |
gt() | Ова команда је скраћеница за 'веће од' и користи се за креирање бинарних слика на основу прага. У овом случају идентификује подручја са појавом воде већом од 80%. |
map() | Примењује функцију на сваку слику у колекцији. У нашем примеру, примењује функцију аддИндицес за израчунавање НДВИ, НДВИ и НДСИ на свим сликама у колекцији, поједностављујући ток посла. |
Оптимизација ГЕЕ скрипти за побољшану ефикасност
У датој скрипти, циљ је издвојити и обрадити сателитске снимке из два различита извора: Сентинел и Ландсат. Тхе Гоогле Еартх Енгине (ГЕЕ) платформа омогућава корисницима да приступе огромним количинама сателитских података и примењују различите операције као што су филтрирање, индексирање и визуелизација. Једна од кључних карактеристика коришћених у овој скрипти је нормализована разлика() функција, која се користи за израчунавање важних индекса као што су НДВИ, НДВИ и НДСИ. Ови индекси су кључни за анализу вегетације, воде и снежног покривача у наведеном региону. Скрипта почиње дефинисањем тачке интересовања и центрира мапу на њој користећи дате координате.
Скрипта примењује више филтера, као што су филтерДате() и филтерБоундс(), да се смањи количина података који се обрађују, чиме се побољшава време извршења. на пример, филтерБоундс() осигурава да су укључене само слике које секу област интересовања, док филтерДате() ограничава слике на одређени период. Ово је неопходно за обраду великих скупова података као што су Сентинел и Ландсат слике, јер минимизира рачунарско оптерећење. Поред тога, тхе филтер за покривеност облаком помаже да се одбаце слике које имају превише облака, обезбеђујући анализу бољег квалитета.
Један важан аспект сценарија је аддБандс() функција, која додаје израчунате индексе (НДВИ, НДВИ, НДСИ) сликама, чинећи их доступним за даљу анализу. Скрипта такође укључује трајну маску за воду користећи податке из скупа података ЈРЦ Глобал Сурфаце Ватер. Водена маска помаже у искључивању подручја са великом појавом воде (већом од 80%), која би иначе могла да искриви резултате анализе вегетације и снега. Ово се ради преко гт() и демаск() функције, које омогућавају скрипти да изолује области на основу вредности пиксела.
Коначно, скрипта користи смањити() функција са редуктором перцентила да генерише композитну слику која представља 30. перцентил изабраних вредности пиксела. Ова композитна слика се затим исече на област од интереса и визуелизује на мапи помоћу цлип() функција. Визуелни параметри су дефинисани и за Сентинел и за Ландсат композите, што омогућава кориснику да их види са одговарајућим поставкама боја. Комбиновањем различитих корака обраде слике као што су филтрирање, маскирање и генерисање композита, ова скрипта пружа ефикасан начин за анализу сателитских снимака, мада би се даља оптимизација могла применити да би се смањило време извршења.
Оптимизација извршавања скрипте Гоогле Еартх Енгине-а за бржу обраду
Ово решење користи Гоогле Еартх Енгине (ГЕЕ) са нагласком на оптимизацији перформанси смањењем времена преузимања података и поједностављивањем операција. ЈаваСцрипт се користи као скриптни језик.
var pointJSP = ee.Geometry.Point([86.465263, 20.168076]);
Map.centerObject(pointJSP, 14);
// Combine date variables for flexibility
var startDate = '2024-02-01';
var endDate = '2024-03-01';
// Function to add NDVI, NDWI, NDSI
var addIndices = function(image) {
var ndvi = image.normalizedDifference(['NIR', 'RED']).rename('NDVI');
var ndwi = image.normalizedDifference(['NIR', 'SWIR1']).rename('NDWI');
var ndsi = image.normalizedDifference(['SWIR1', 'SWIR2']).rename('NDSI');
return image.addBands(ndvi).addBands(ndwi).addBands(ndsi);
};
// Use fewer data points by filtering for cloud-free pixels only once
var sentinel = ee.ImageCollection('COPERNICUS/S2_SR')
.filterBounds(pointJSP)
.filterDate(startDate, endDate)
.filter(ee.Filter.lt('CLOUDY_PIXEL_PERCENTAGE', 30));
Коришћење ефикасне обраде података за ГЕЕ за минимизирање кашњења скрипте
Ово решење интегрише оптимизовано руковање подацима комбиновањем израчунавања индекса и прагова. ЈаваСцрипт се примењује за обраду Гоогле Еартх Енгине-а.
var landsat8 = ee.ImageCollection('LANDSAT/LC08/C01/T1_SR')
.filterBounds(pointJSP)
.filterDate(startDate, endDate)
.filter(ee.Filter.lt('CLOUD_COVER', 30));
// Apply water mask for permanent water areas
var waterMask = ee.Image('JRC/GSW1_4/GlobalSurfaceWater').select('occurrence').gt(80).unmask();
// Add indices to Landsat 8 imagery
var landsatIndices = landsat8.map(addIndices);
var composite = landsatIndices.reduce(ee.Reducer.percentile([30])).clip(pointJSP).mask(waterMask.eq(0));
Map.addLayer(composite, {bands: ['RED', 'GREEN', 'BLUE'], min: 0, max: 3000}, 'Landsat Composite');
Map.addLayer(waterMask, {min: 0, max: 1, palette: ['white', 'blue']}, 'Water Mask', false);
Побољшање ефикасности скрипти за даљинско откривање
Једна кључна ствар при раду са скриптама Гоогле Еартх Енгине-а (ГЕЕ) је да се обезбеди да се операције ефикасно руководе. Док је употреба великих скупова података као што су Сентинел и Ландсат уобичајена у анализи животне средине, сам обим података може успорити извршавање скрипте. Један од метода за побољшање перформанси је да се осигура да се обрађују само потребни подаци. Користећи команде попут филтерБоундс() и филтерДате() минимизира величину скупа података, што помаже да се поједноставе прорачуни. Избор одређених периода и географских региона може значајно смањити време извршења.
Други аспект који утиче на перформансе ГЕЕ скрипте је начин на који се подаци обрађују. Пример скрипте користи функцију за израчунавање важних индекса као што су НДВИ, НДВИ и НДСИ. Ови индекси се додају као траке у колекције слика, што омогућава детаљнију анализу. Међутим, уобичајена грешка је примена таквих функција на цео скуп података без претходног филтрирања. Од кључне је важности да примените такве операције након филтрирања да бисте избегли непотребна израчунавања на нерелевантним подацима.
Визуелизација је још један елемент скрипте који се може оптимизовати. Додавање превише слојева или сложених визуализација може смањити време обраде. Скрипта користи унапред дефинисане визуелне параметре за приказивање композита, али перформансе се могу побољшати онемогућавањем одређених слојева осим ако нису експлицитно потребни. Ово помаже у одржавању скрипте лаганом уз одржавање њене функционалности. Коришћење цлип() команде такође осигурава да се прикаже само неопходна област, смањујући укупни терет обраде.
Често постављана питања о оптимизацији скрипти Гоогле Еартх Енгине-а
- Како да побољшам перформансе својих ГЕЕ скрипти?
- Оптимизујте употребу filterDate(), filterBounds(), и смањите величину скупа података пре обраде.
- Зашто мојој ГЕЕ скрипти треба толико времена да се покрене?
- Велики скупови података и сложени прорачуни могу успорити извршење. Користи reduce() и clip() ограничити обраду на релевантне области.
- Могу ли да смањим број слика обрађених у ГЕЕ-у?
- Да, пријавом filter() за покривеност облаком и filterDate() да се фокусирају на одређене периоде.
- Како могу да поједноставим израчунавање индекса у својој скрипти?
- Користите функцију као што је addBands() да поједноставите додавање више индекса (нпр. НДВИ, НДВИ) у једном кораку.
- Да ли је могуће визуализовати само битне слојеве?
- Да, онемогућите непотребне слојеве и користите поједностављене параметре визуелизације са Map.addLayer() за боље перформансе.
Завршна размишљања о оптимизацији ГЕЕ скрипти
Оптимизација скрипти Гоогле Еартх Енгине-а укључује ефикасно руковање великим скуповима података, рану примену филтера и смањење непотребних операција са подацима. Фокусирање на битне области као што је филтрирање по датум а локација може значајно смањити време обраде.
Уграђивањем функција као што су аддБандс и коришћењем маски прага за елиминисање нерелевантних података, перформансе скрипте се могу додатно побољшати. Ове технике могу да поједноставе извршење, нудећи брже резултате и боље коришћење платформе Гоогле Еартх Енгине.
Извори и референце за оптимизацију скрипти Гоогле Еартх Енгине-а
- Овај чланак је направљен коришћењем садржаја заснованог на званичној документацији Гоогле Еартх Енгине-а, која пружа увид у технике оптимизације скрипте. Гоогле Еартх Енгине водичи
- Додатне информације прикупљене су са форума заједнице ГЕЕ, нудећи дискусије и решења за побољшање перформанси у сложеним скриптама. Гоогле Еартх Енгине заједница
- Најбоље праксе за руковање великим скуповима података су референциране у литератури о даљинском детекцији и упутствима доступним на следећем линку. НАСА земаљска опсерваторија