পাইথনে প্রক্রিয়াগুলির মধ্যে দক্ষতার সাথে বড় নম্পি অ্যারে ভাগ করা

পাইথনে বড় ডেটা ট্রান্সফারের জন্য শেয়ার করা মেমরি আয়ত্ত করা

পাইথনে বড় ডেটাসেটগুলির সাথে কাজ করা প্রায়শই চ্যালেঞ্জের পরিচয় দেয়, বিশেষ করে যখন মাল্টিপ্রসেসিং কার্যকর হয়। ব্যাপক শেয়ারিং নমপি অ্যারে অপ্রয়োজনীয় অনুলিপি ছাড়াই শিশু প্রক্রিয়া এবং পিতামাতার প্রক্রিয়ার মধ্যে একটি বাধা।

কল্পনা করুন আপনি বৈজ্ঞানিক ডেটা, আর্থিক মডেল বা মেশিন লার্নিং ইনপুটগুলি প্রক্রিয়া করছেন এবং প্রতিটি ডেটাসেট উল্লেখযোগ্য মেমরি গ্রহণ করে। 🧠 যদিও পাইথনের মাল্টিপ্রসেসিং মডিউল শিশু প্রক্রিয়াগুলি তৈরি এবং পরিচালনা করার একটি উপায় সরবরাহ করে, তখন নম্পি অ্যারেগুলির মতো দক্ষতার সাথে ডেটা ভাগ করা কঠিন হতে পারে।

আপনি যখন এই বৃহৎ ডেটাসেটগুলিকে একটি HDF5 ফাইলে লেখার কথা বিবেচনা করেন তখন এই বিষয়টি আরও জটিল হয়ে ওঠে, এটি একটি ফরম্যাট যা প্রচুর পরিমাণে স্ট্রাকচার্ড ডেটা পরিচালনা করার জন্য এর দৃঢ়তার জন্য পরিচিত। সঠিক মেমরি ম্যানেজমেন্ট ছাড়া, আপনি মেমরি ফাঁস বা "মেমরি পাওয়া যায়নি" ত্রুটির ঝুঁকিতে পড়েন, আপনার কর্মপ্রবাহকে ব্যাহত করে।

এই নির্দেশিকায়, আমরা আমাদের অ্যাঙ্কর হিসাবে একটি ব্যবহারিক সমস্যা ব্যবহার করে নম্পি অ্যারেগুলির জন্য ভাগ করা মেমরির ধারণাটি অন্বেষণ করব। বাস্তব-বিশ্বের উদাহরণ এবং টিপসের সাহায্যে, আপনি শিখবেন কীভাবে সাধারণ সমস্যাগুলি এড়িয়ে গিয়ে বড় ডেটা দক্ষতার সাথে পরিচালনা করতে হয়। এর মধ্যে ডুব দেওয়া যাক! 🚀

প্রসেসের মধ্যে নম্পি অ্যারে শেয়ারিং অপ্টিমাইজ করা

উপরে প্রদত্ত স্ক্রিপ্টগুলি বড় ভাগ করার চ্যালেঞ্জ সমাধানের উপর ফোকাস করে নমপি অ্যারে ডাটা নকল না করে পাইথনে প্রসেসের মধ্যে। প্রাথমিক লক্ষ্য হল শেয়ার করা মেমরিকে কার্যকরভাবে ব্যবহার করা, দক্ষ যোগাযোগ নিশ্চিত করা এবং সম্পদের ন্যূনতম ব্যবহার নিশ্চিত করা। পাইথন এর ব্যবহার করে মাল্টিপ্রসেসিং এবং শেয়ার্ড মেমরি মডিউল, সমাধানটি চাইল্ড প্রসেসগুলিকে লোড, প্রসেস এবং নম্পি অ্যারেগুলিকে প্যারেন্ট প্রসেসে নির্বিঘ্নে ভাগ করার অনুমতি দেয়।

প্রথম স্ক্রিপ্টে, শিশু প্রক্রিয়াটি ব্যবহার করে শেয়ার করা মেমরি মেমরি বরাদ্দ এবং ডেটা ভাগ করার জন্য ক্লাস। এই পদ্ধতিটি অনুলিপি করার প্রয়োজনীয়তা দূর করে, যা বড় ডেটাসেট পরিচালনার জন্য অপরিহার্য। নম্পি অ্যারেটি শেয়ার্ড মেমরি স্পেসে পুনর্গঠিত হয়, যার ফলে প্যারেন্ট প্রক্রিয়া সরাসরি অ্যারে অ্যাক্সেস করতে পারে। সারিগুলির ব্যবহার পিতামাতা এবং সন্তানের প্রক্রিয়াগুলির মধ্যে সঠিক যোগাযোগ নিশ্চিত করে, যেমন লিক এড়াতে মেমরিটি আনলিঙ্ক করা যেতে পারে তা জানানো।

বিকল্প স্ক্রিপ্ট ব্যবহার করে প্রক্রিয়া পরিচালনাকে সহজ করে তোলে পুল.ম্যাপ ফাংশন, যা প্রক্রিয়া তৈরি এবং যোগদান স্বয়ংক্রিয় করে। প্রতিটি চাইল্ড প্রসেস তার নিজ নিজ ফাইল লোড করে এবং প্যারেন্ট প্রসেসে অ্যারের বিবরণ ফেরত দিতে শেয়ার করা মেমরি ব্যবহার করে। এই পদ্ধতিটি পরিষ্কার এবং আরও রক্ষণাবেক্ষণযোগ্য, বিশেষ করে যখন একাধিক ফাইলের সাথে কাজ করা হয়। এটি বৈজ্ঞানিক ডেটা প্রক্রিয়াকরণ বা চিত্র বিশ্লেষণের মতো কাজের জন্য একটি বাস্তব সমাধান, যেখানে বড় ডেটাসেটগুলি অবশ্যই দক্ষতার সাথে ভাগ করতে হবে।

একটি বাস্তব-বিশ্বের পরিস্থিতি বিবেচনা করুন যেখানে একটি গবেষণা দল বড় টেক্সট ফাইলগুলিতে সঞ্চিত জিনোমিক ডেটা প্রক্রিয়া করে। প্রতিটি ফাইলে লক্ষ লক্ষ সারি থাকে, যা মেমরির সীমাবদ্ধতার কারণে ডুপ্লিকেশনকে অবাস্তব করে তোলে। এই স্ক্রিপ্টগুলি ব্যবহার করে, প্রতিটি শিশু প্রক্রিয়া একটি ফাইল লোড করে, এবং অভিভাবক আরও বিশ্লেষণের জন্য একটি একক HDF5 ফাইলে ডেটা লেখেন। ভাগ করা মেমরির সাথে, দলটি অপ্রয়োজনীয় মেমরি ব্যবহার এড়ায়, মসৃণ ক্রিয়াকলাপ নিশ্চিত করে। 🚀 এই পদ্ধতিটি শুধুমাত্র কর্মক্ষমতাকে অপ্টিমাইজ করে না বরং "মেমরি পাওয়া যায়নি" বা মেমরি ফাঁসের মতো ত্রুটিগুলিও কমিয়ে দেয়, যা এই ধরনের কাজগুলি মোকাবেলা করার সময় সাধারণ সমস্যা। 🧠

from multiprocessing import Process, Queue
from multiprocessing.shared_memory import SharedMemory
import numpy as np
from pathlib import Path
def loadtxt_worker(out_queue, in_queue, filepath):
    dtype = [('chr', 'S10'), ('pos', '<i4'), ('pct', '<f4'), ('c', '<i4'), ('t', '<i4')]
    data = np.loadtxt(filepath, dtype=dtype)
    shm = SharedMemory(create=True, size=data.nbytes)
    shared_array = np.ndarray(data.shape, dtype=dtype, buffer=shm.buf)
    shared_array[:] = data
    out_queue.put({"name": shm.name, "shape": data.shape, "dtype": dtype})
    while True:
        msg = in_queue.get()
        if msg == "done":
            shm.close()
            shm.unlink()
            break
def main():
    filenames = ["data1.txt", "data2.txt"]
    out_queue = Queue()
    in_queue = Queue()
    processes = []
    for file in filenames:
        p = Process(target=loadtxt_worker, args=(out_queue, in_queue, file))
        p.start()
        processes.append(p)
    for _ in filenames:
        msg = out_queue.get()
        shm = SharedMemory(name=msg["name"])
        array = np.ndarray(msg["shape"], dtype=msg["dtype"], buffer=shm.buf)
        print("Array from child:", array)
        in_queue.put("done")
    for p in processes:
        p.join()
if __name__ == "__main__":
    main()

from multiprocessing import Pool, shared_memory
import numpy as np
from pathlib import Path
def load_and_share(file_info):
    filepath, dtype = file_info
    data = np.loadtxt(filepath, dtype=dtype)
    shm = shared_memory.SharedMemory(create=True, size=data.nbytes)
    shared_array = np.ndarray(data.shape, dtype=dtype, buffer=shm.buf)
    shared_array[:] = data
    return {"name": shm.name, "shape": data.shape, "dtype": dtype}
def main():
    dtype = [('chr', 'S10'), ('pos', '<i4'), ('pct', '<f4'), ('c', '<i4'), ('t', '<i4')]
    filenames = ["data1.txt", "data2.txt"]
    file_info = [(file, dtype) for file in filenames]
    with Pool(processes=2) as pool:
        results = pool.map(load_and_share, file_info)
        for res in results:
            shm = shared_memory.SharedMemory(name=res["name"])
            array = np.ndarray(res["shape"], dtype=res["dtype"], buffer=shm.buf)
            print("Shared Array:", array)
            shm.close()
            shm.unlink()
if __name__ == "__main__":
    main()

মাল্টিপ্রসেসিং পরিবেশে ডেটা শেয়ারিং উন্নত করা

সাথে কাজ করার একটি গুরুত্বপূর্ণ দিক বড় numpy অ্যারে মাল্টিপ্রসেসিং-এ ভাগ করা সম্পদের দক্ষ সিঙ্ক্রোনাইজেশন এবং ব্যবস্থাপনা নিশ্চিত করা হয়। যদিও শেয়ার করা মেমরি একটি শক্তিশালী টুল, এটি দ্বন্দ্ব এবং মেমরি ফাঁস প্রতিরোধ করতে সাবধানে পরিচালনার প্রয়োজন। সঠিক নকশা নিশ্চিত করে যে শিশু প্রক্রিয়াগুলি অপ্রয়োজনীয় ডেটা ডুপ্লিকেশন বা ত্রুটি ছাড়াই অভিভাবক প্রক্রিয়ার সাথে অ্যারে ভাগ করতে পারে।

আরেকটি মূল ফ্যাক্টর হল ডেটা প্রকার এবং আকারগুলি ধারাবাহিকভাবে পরিচালনা করা। যখন একটি শিশু প্রক্রিয়া ব্যবহার করে ডেটা লোড করে numpy.loadtxt, এটি প্রক্রিয়া জুড়ে একই কাঠামোতে ভাগ করা আবশ্যক। HDF5-এর মতো ফরম্যাটে লেখার সময় এটি বিশেষভাবে প্রাসঙ্গিক, কারণ ভুল ডেটা স্ট্রাকচারিং অপ্রত্যাশিত ফলাফল বা দূষিত ফাইলের দিকে নিয়ে যেতে পারে। এটি অর্জনের জন্য, অ্যারে সম্পর্কে মেটাডেটা সংরক্ষণ করা — যেমন এর আকৃতি, dtype, এবং শেয়ার করা মেমরির নাম — অভিভাবক প্রক্রিয়ায় নির্বিঘ্ন পুনর্গঠনের জন্য অপরিহার্য।

বাস্তব-বিশ্বের অ্যাপ্লিকেশনগুলিতে, যেমন বড় জলবায়ু ডেটাসেট বা জিনোম সিকোয়েন্সিং ফাইলগুলি প্রক্রিয়াকরণ, এই কৌশলগুলি গবেষকদের আরও দক্ষতার সাথে কাজ করার অনুমতি দেয়। যোগাযোগের জন্য সারিগুলির সাথে ভাগ করা মেমরিকে একত্রিত করে, বড় ডেটাসেটগুলি সিস্টেম মেমরিকে ওভারলোড না করে একযোগে প্রক্রিয়া করা যেতে পারে। উদাহরণস্বরূপ, স্যাটেলাইট ডেটা প্রক্রিয়াকরণের কল্পনা করুন যেখানে প্রতিটি ফাইল সময়ের সাথে একটি অঞ্চলের তাপমাত্রা উপস্থাপন করে। 🚀 সিস্টেমটিকে অবশ্যই বিশৃঙ্খল কাজগুলির জন্য মসৃণ এবং পরিমাপযোগ্য কর্মক্ষমতা নিশ্চিত করে, বাধা ছাড়াই এই বিশাল অ্যারেগুলি পরিচালনা করতে হবে। 🌍