Όταν χρησιμοποιείτε UDF εντός του Apache Spark για κατανεμημένες λειτουργίες όπως η επεξεργασία μοντέλων βαθιάς εκμάθησης, είναι σύνηθες να αντιμετωπίζετε το πρόβλημα του Spark "Το SparkContext μπορεί να χρησιμοποιηθεί μόνο στο πρόγραμμα οδήγησης". Αυτό συμβαίνει λόγω της αυστηρής φύσης του SparkContext που δεσμεύεται από προγράμματα οδήγησης, το οποίο ελέγχει την κατανομή των εργασιών. Αποτρέποντας τις συγκρούσεις σειριοποίησης σε κατανεμημένους αγωγούς επεξεργασίας εικόνας και διασφαλίζοντας την πρόσβαση του μοντέλου χωρίς επανεκκίνηση σε κάθε κόμβο, λύσεις όπως οι μεταβλητές μετάδοση μας επιτρέπουν να μοιραζόμαστε μοντέλα με κόμβους εργαζομένων σε ένα αποτελεσματικό τρόπο. Η ικανότητα του Spark να χειρίζεται πολύπλοκες εργασίες μηχανικής μάθησης σε κλίμακα βελτιώνεται σημαντικά από τις προσεγγίσεις εκπομπής.