Daniel Marino
26 новембар 2024
Решавање проблема са СпаркЦонтект-ом са Апацхе Спарк-овим коришћењем УДФ-ова за екстракцију карактеристика слике
Када користите УДФ-ове унутар Апацхе Спарк-а за дистрибуиране операције као што је обрада модела дубоког учења, уобичајено је наићи на Спарков проблем „СпаркЦонтект се може користити само на управљачком програму“. Ово се дешава због строге природе СпаркЦонтект-а везаног за драјвер, који контролише дистрибуцију послова. Спречавањем сукоба у серијализацији у дистрибуираним цевоводима обраде слике и гарантовањем приступа моделу без поновне иницијализације на сваком чвору, решења као што су броадцаст варијабле омогућавају нам да делимо моделе са радничким чворовима у ефикасан начин. Капацитет Спарк-а да се носи са сложеним задацима машинског учења у великом обиму је знатно побољшан приступима емитовања.