Python のプロセス間で大きな Numpy 配列を効率的に共有する

Numpy 配列をコピーせずにプロセス間で効率的に共有する

Python マルチプロセッシングと共有メモリを使用したバックエンド ソリューション。

from multiprocessing import Process, Queue
from multiprocessing.shared_memory import SharedMemory
import numpy as np
from pathlib import Path
def loadtxt_worker(out_queue, in_queue, filepath):
    dtype = [('chr', 'S10'), ('pos', '<i4'), ('pct', '<f4'), ('c', '<i4'), ('t', '<i4')]
    data = np.loadtxt(filepath, dtype=dtype)
    shm = SharedMemory(create=True, size=data.nbytes)
    shared_array = np.ndarray(data.shape, dtype=dtype, buffer=shm.buf)
    shared_array[:] = data
    out_queue.put({"name": shm.name, "shape": data.shape, "dtype": dtype})
    while True:
        msg = in_queue.get()
        if msg == "done":
            shm.close()
            shm.unlink()
            break
def main():
    filenames = ["data1.txt", "data2.txt"]
    out_queue = Queue()
    in_queue = Queue()
    processes = []
    for file in filenames:
        p = Process(target=loadtxt_worker, args=(out_queue, in_queue, file))
        p.start()
        processes.append(p)
    for _ in filenames:
        msg = out_queue.get()
        shm = SharedMemory(name=msg["name"])
        array = np.ndarray(msg["shape"], dtype=msg["dtype"], buffer=shm.buf)
        print("Array from child:", array)
        in_queue.put("done")
    for p in processes:
        p.join()
if __name__ == "__main__":
    main()

Python のマルチプロセッシング プールを使用した代替アプローチ

マルチプロセッシング プールを利用して管理を簡素化するソリューション。

from multiprocessing import Pool, shared_memory
import numpy as np
from pathlib import Path
def load_and_share(file_info):
    filepath, dtype = file_info
    data = np.loadtxt(filepath, dtype=dtype)
    shm = shared_memory.SharedMemory(create=True, size=data.nbytes)
    shared_array = np.ndarray(data.shape, dtype=dtype, buffer=shm.buf)
    shared_array[:] = data
    return {"name": shm.name, "shape": data.shape, "dtype": dtype}
def main():
    dtype = [('chr', 'S10'), ('pos', '<i4'), ('pct', '<f4'), ('c', '<i4'), ('t', '<i4')]
    filenames = ["data1.txt", "data2.txt"]
    file_info = [(file, dtype) for file in filenames]
    with Pool(processes=2) as pool:
        results = pool.map(load_and_share, file_info)
        for res in results:
            shm = shared_memory.SharedMemory(name=res["name"])
            array = np.ndarray(res["shape"], dtype=res["dtype"], buffer=shm.buf)
            print("Shared Array:", array)
            shm.close()
            shm.unlink()
if __name__ == "__main__":
    main()

Python マルチプロセッシングでの Numpy 配列の共有に関する FAQ

1. 共有メモリ オブジェクトはマルチプロセッシングにどのように役立ちますか?
2. 共有メモリを使用すると、複数のプロセスがデータをコピーせずに同じメモリ ブロックにアクセスできるため、大規模なデータセットの効率が向上します。
3. 目的は何ですか SharedMemory(create=True, size=data.nbytes)?
4. このコマンドは、numpy 配列専用のサイズの共有メモリ ブロックを作成し、プロセス間でのデータ共有を可能にします。
5. 共有メモリでのメモリ リークを回避できますか?
6. はい、を使用して shm.close() そして shm.unlink() 共有メモリが不要になったら解放して削除します。
7. なぜですか np.ndarray 共有メモリで使用されますか?
8. これにより、共有バッファから numpy 配列を再構築し、データが元の構造でアクセスできるようになります。
9. 共有メモリを適切に管理しないとどのようなリスクがありますか?
10. 不適切に管理すると、メモリ リーク、データ破損、または「メモリが見つかりません」などのエラーが発生する可能性があります。

マルチプロセッシングタスクのための効率的なメモリ共有

大きな numpy 配列をプロセス間で効率的に共有することは、大規模なデータセットを扱う Python 開発者にとって重要なスキルです。共有メモリを利用すると、不必要なコピーが回避されるだけでなく、特にデータ サイエンスや機械学習などのメモリを大量に使用するアプリケーションのパフォーマンスも向上します。

Python は、キューや共有メモリなどのツールを使用して、プロセス間通信のための堅牢なソリューションを提供します。気候データを処理する場合でも、ゲノム配列を処理する場合でも、これらの技術により、メモリ リークやデータ破損のないスムーズな動作が保証されます。ベスト プラクティスに従うことで、開発者はプロジェクトで同様の課題に自信を持って取り組むことができます。 🌟