লিনাক্স কি পাওয়ার বিভ্রাটের ঘটনায় অনুক্রমিক ফাইল লেখার প্রতিশ্রুতি দেয়?

পাওয়ার ব্যর্থতার সময় ফাইল লেখার স্থায়িত্ব বোঝা

কল্পনা করুন যে আপনি একটি ফাইলে দুটি সমালোচনামূলক ডেটা লিখছেন এবং হঠাৎ বিদ্যুৎ চলে যায়। লিনাক্স বা আপনার নির্বাচিত ফাইলসিস্টেম কি নিশ্চিত করবে যে প্রথমটি সম্পূর্ণ না হলে আপনার দ্বিতীয় লেখাটি স্টোরেজে প্রদর্শিত হবে না? এটি এমন একটি প্রশ্ন যা অনেক ডেভেলপার দুর্যোগ আঘাত না হওয়া পর্যন্ত উপেক্ষা করে। 🛑

ডেটা অখণ্ডতা পরিচালনা করার সময় ফাইলের স্থায়িত্ব অত্যন্ত গুরুত্বপূর্ণ, বিশেষত যখন পাওয়ার ব্যর্থতা বা ক্র্যাশ ঘটে। POSIX-সঙ্গত সিস্টেম বা ext4 এর মতো সাধারণ ফাইল সিস্টেমের সাথে কাজ করার সময় এই প্রশ্নটি আরও বেশি চাপা হয়ে ওঠে। লেখাগুলি কি অনুক্রমিক এবং পারমাণবিক হওয়ার গ্যারান্টিযুক্ত, নাকি আপনার অতিরিক্ত সতর্কতা প্রয়োজন?

উদাহরণস্বরূপ, দুটি নন-ওভারল্যাপিং অংশে একটি ফাইলে একটি বড় অ্যাপ্লিকেশন লেখা লগ বা কাঠামোগত ডেটা বিবেচনা করুন। সুস্পষ্ট গ্যারান্টি ছাড়া, দ্বিতীয় লেখার অংশটি ডিস্কে লুকিয়ে পড়ার ঝুঁকি রয়েছে, ফাইলটিকে একটি অসামঞ্জস্যপূর্ণ অবস্থায় রেখে। এটি দূষিত ডাটাবেস, হারানো লেনদেন বা অসম্পূর্ণ রেকর্ড হতে পারে। 😓

এই নিবন্ধটি POSIX, Linux, নাকি আধুনিক ফাইল সিস্টেম যেমন ext4 গ্যারান্টি ফাইল লেখার স্থায়িত্ব এবং অর্ডার করার বিষয়ে অনুসন্ধান করে। লেখার মধ্যে fsync() বা fdatasync() ব্যবহার করাই ডেটার অসঙ্গতি রোধ করার একমাত্র নির্ভরযোগ্য সমাধান কিনা তাও আমরা নির্ধারণ করব।

আদেশ	ব্যবহারের উদাহরণ
pwrite	pwrite ফাংশন ফাইল পয়েন্টার পরিবর্তন না করে একটি নির্দিষ্ট অফসেটে একটি নির্দিষ্ট ফাইল বর্ণনাকারীতে ডেটা লেখে। যেমন: pwrite(fd, data1, size1, offset1)। এটি সুনির্দিষ্ট অবস্থানে লেখাগুলি নিশ্চিত করে, অর্ডার করা লেখার জন্য দরকারী।
fsync	fsync কমান্ড একটি ফাইল বর্ণনাকারীর জন্য সমস্ত বাফার করা ডেটা ডিস্কে লিখতে বাধ্য করে। এটি গ্যারান্টি দেয় যে ডেটা নিরাপদে টিকে থাকে। যেমন: fsync(fd)।
O_RDWR	ওপেন সিস্টেম কলে O_RDWR পতাকা একটি ফাইল পড়া এবং লেখা উভয়ের জন্য খোলার অনুমতি দেয়। যেমন: open(path, O_RDWR)।
O_SYNC	O_SYNC নিশ্চিত করে যে ফাইলের প্রতিটি লেখা অবিলম্বে ডিস্কে ডেটা ফ্লাশ করে, স্থায়িত্ব নিশ্চিত করে। যেমন: open(path, O_SYNC)।
errno	errno ভেরিয়েবল একটি ব্যর্থ সিস্টেম কলের সময় ত্রুটি কোড ক্যাপচার করে। এটি প্রায়ই ত্রুটি বার্তা প্রদর্শন করার জন্য perror এর সাথে ব্যবহৃত হয়। উদাহরণ: ভুল ("লিখতে ব্যর্থ")।
off_t	off_t ডেটা টাইপ ফাইল অফসেটগুলিকে উপস্থাপন করে, সাধারণত ফাইল পজিশনিং অপারেশনে ব্যবহৃত হয়। উদাহরণ: off_t অফসেট = 0।
assert	অ্যাসার্ট ফাংশন ইউনিট পরীক্ষায় শর্তগুলিকে যাচাই করে, প্রত্যাশিত ফলাফলগুলি নিশ্চিত করে। উদাহরণ: বিষয়বস্তুতে "ডেটা ব্লক 1" দাবি করুন।
fcntl.h	fcntl.h ফাইল বর্ণনাকারী পরিচালনা এবং নিম্ন-স্তরের I/O সম্পাদনের জন্য অপরিহার্য ফাইল নিয়ন্ত্রণ ক্রিয়াকলাপ অন্তর্ভুক্ত করে। উদাহরণ: #include
O_CREAT	O_CREAT পতাকা একটি ফাইল তৈরি করে যদি এটি খোলার সময় বিদ্যমান না থাকে। উদাহরণ: open(path, O_RDWR | O_CREAT)।
perror	পারর ফাংশন ব্যর্থ সিস্টেম কলের সাথে সম্পর্কিত বর্ণনামূলক ত্রুটি বার্তা প্রিন্ট করে। উদাহরণ: ভুল ("ওপেন ব্যর্থ")।

ফাইল লেখার স্থায়িত্ব বোঝা এবং ডেটা সামঞ্জস্য নিশ্চিত করা

পূর্বে উপস্থাপিত স্ক্রিপ্টগুলিতে, আমরা পাওয়ার ব্যর্থতার মতো অপ্রত্যাশিত ঘটনা ঘটলে লিনাক্স ফাইল লিখতে স্থায়িত্বের গ্যারান্টি সমস্যাটি সম্বোধন করেছি। ফোকাস নিশ্চিত করা হয়েছিল যে ডেটার দ্বিতীয় ব্লক, , প্রথম ব্লক না হলে সঞ্চয়স্থানে টিকে থাকবে না, , ইতিমধ্যে সম্পূর্ণরূপে লেখা হয়েছে. সমাধানটি সাবধানে নির্বাচিত সিস্টেম কলগুলির সংমিশ্রণের উপর নির্ভর করে, যেমন এবং fsync, এবং ফাইল সিস্টেম আচরণ। প্রথম স্ক্রিপ্ট নিযুক্ত fsync দুটি অনুক্রমিক লেখার মধ্যে নিশ্চিত করুন যে data1 ডাটা2 লেখার জন্য এগিয়ে যাওয়ার আগে ডিস্কে ফ্লাশ করা হয়েছে। এটি ডেটা অখণ্ডতা নিশ্চিত করে, এমনকি যদি প্রথম লেখার পরে সিস্টেম ক্র্যাশ হয়।

আসুন এটি আরও ভেঙে দেওয়া যাক: the ফাংশন ফাইল পয়েন্টার পরিবর্তন না করে একটি ফাইলের মধ্যে একটি নির্দিষ্ট অফসেটে লিখে। এটি বিশেষভাবে অ-ওভারল্যাপিং লেখার জন্য উপযোগী, যেমনটি এখানে দেখানো হয়েছে, যেখানে দুটি ডেটা ব্লক আলাদা অফসেটে লেখা হয়। স্পষ্টভাবে ব্যবহার করে প্রথম লেখার পরে, আমরা অপারেটিং সিস্টেমকে ফাইলের বাফার করা বিষয়বস্তু ডিস্কে ফ্লাশ করতে বাধ্য করি, স্থিরতা নিশ্চিত করে। fsync ছাড়া, ডেটা মেমরিতে থাকতে পারে, পাওয়ার ব্যর্থতার সময় ক্ষতির ঝুঁকিতে থাকে। একটি সমালোচনামূলক লগ এন্ট্রি লেখার বা একটি ডাটাবেসের অংশ সংরক্ষণ করার কল্পনা করুন - যদি প্রথম অংশটি অদৃশ্য হয়ে যায়, তবে ডেটা অসঙ্গত হয়ে যায়। 😓

দ্বিতীয় স্ক্রিপ্টে, আমরা এর ব্যবহার অন্বেষণ করেছি মধ্যে পতাকা সিস্টেম কল। এই পতাকা সক্রিয় করা হলে, প্রতিটি লেখার ক্রিয়াকলাপ অবিলম্বে ডেটা সঞ্চয়স্থানে ফ্লাশ করে, ম্যানুয়ালটির প্রয়োজনীয়তা দূর করে কল এটি এখনও স্থায়িত্ব গ্যারান্টি নিশ্চিত করার সাথে সাথে কোডটিকে সরল করে। যাইহোক, একটি ট্রেড-অফ রয়েছে: O_SYNC ব্যবহার করে একটি কার্যক্ষমতা পেনাল্টি প্রবর্তন করে কারণ সিঙ্ক্রোনাস রাইটগুলি বাফার করা লেখার তুলনায় বেশি সময় নেয়। এই পদ্ধতিটি এমন সিস্টেমের জন্য আদর্শ যেখানে নির্ভরযোগ্যতা কর্মক্ষমতা উদ্বেগকে ছাড়িয়ে যায়, যেমন আর্থিক সিস্টেম বা রিয়েল-টাইম ডেটা লগিং। উদাহরণস্বরূপ, আপনি যদি সেন্সর ডেটা বা লেনদেনের লগগুলি সংরক্ষণ করেন তবে আপনার প্রতিটি লেখাকে একেবারে নির্ভরযোগ্য হতে হবে। 🚀

পাইথনে লিখিত ইউনিট টেস্ট স্ক্রিপ্ট সি প্রোগ্রামটি চালানোর পরে ফাইলের বিষয়বস্তু পরীক্ষা করে এই সমাধানগুলিকে বৈধ করে। এটি নিশ্চিত করেছে যে ডেটা1 এবং ডেটা2 উভয়ই প্রত্যাশিত হিসাবে লেখা হয়েছে। এই পদক্ষেপটি বিভিন্ন অবস্থার অধীনে ফাইল অপারেশন পরীক্ষার গুরুত্ব তুলে ধরে। আপনি যদি একটি প্রোডাকশন সার্ভারে একটি অনুরূপ সমাধান স্থাপন করতে চান তবে ইউনিট পরীক্ষাগুলি আপনার লেখার অখণ্ডতা যাচাই করার জন্য গুরুত্বপূর্ণ হবে। পরীক্ষার মাধ্যমে যাচাইকরণের সাথে fsync ব্যবহারের মতো শক্তিশালী কোডিং অনুশীলনগুলিকে একত্রিত করে, আপনি আত্মবিশ্বাসের সাথে POSIX- অনুবর্তী সিস্টেমে আপনার ফাইল লেখার স্থায়িত্ব এবং ধারাবাহিকতা নিশ্চিত করতে পারেন।

#include <stdio.h>
#include <fcntl.h>
#include <unistd.h>
#include <string.h>
#include <errno.h>
int main() {
    int fd;
    const char *path = "example_file.txt";
    const char *data1 = "First write block";
    const char *data2 = "Second write block";
    size_t size1 = strlen(data1);
    size_t size2 = strlen(data2);
    off_t offset1 = 0;
    off_t offset2 = size1;

    // Open the file
    fd = open(path, O_RDWR | O_CREAT, 0666);
    if (fd == -1) {
        perror("Failed to open file");
        return 1;
    }

    // Perform first write
    if (pwrite(fd, data1, size1, offset1) == -1) {
        perror("Failed to write data1");
        close(fd);
        return 1;
    }

    // Use fsync to flush the first write to disk
    if (fsync(fd) == -1) {
        perror("fsync failed after data1");
        close(fd);
        return 1;
    }

    // Perform second write
    if (pwrite(fd, data2, size2, offset2) == -1) {
        perror("Failed to write data2");
        close(fd);
        return 1;
    }

    // Final fsync to ensure data2 is flushed
    if (fsync(fd) == -1) {
        perror("fsync failed after data2");
        close(fd);
        return 1;
    }

    // Close the file
    if (close(fd) == -1) {
        perror("Failed to close file");
        return 1;
    }

    printf("Writes completed and synced successfully.\n");
    return 0;
}

#include <stdio.h>
#include <fcntl.h>
#include <unistd.h>
#include <string.h>
int main() {
    int fd;
    const char *path = "simple_ordered_file.txt";
    const char *data1 = "Data block 1";
    const char *data2 = "Data block 2";
    size_t size1 = strlen(data1);
    size_t size2 = strlen(data2);

    // Open file with O_SYNC for synchronous writes
    fd = open(path, O_RDWR | O_CREAT | O_SYNC, 0666);
    if (fd == -1) {
        perror("Open failed");
        return 1;
    }

    // Write first data
    if (write(fd, data1, size1) == -1) {
        perror("Write data1 failed");
        close(fd);
        return 1;
    }

    // Write second data
    if (write(fd, data2, size2) == -1) {
        perror("Write data2 failed");
        close(fd);
        return 1;
    }

    // Close file
    close(fd);
    printf("Writes completed with O_SYNC.\n");
    return 0;
}

import os
def validate_file_content(path):
    try:
        with open(path, 'r') as f:
            content = f.read()
        assert "Data block 1" in content
        assert "Data block 2" in content
        print("Test passed: Both writes are present.")
    except AssertionError:
        print("Test failed: Writes are inconsistent.")
    except Exception as e:
        print(f"Error: {e}")

# File validation after running a C program
validate_file_content("simple_ordered_file.txt")

লিনাক্সে ডেটা সামঞ্জস্য নিশ্চিত করা: জার্নালিং এবং বাফার করা লেখা

বোঝার একটি গুরুত্বপূর্ণ দিক লিনাক্স ফাইল সিস্টেমে ext4 এর ভূমিকা জার্নালিং। জার্নালিং ফাইল সিস্টেমগুলি প্রধান সঞ্চয়স্থানে প্রতিশ্রুতিবদ্ধ হওয়ার আগে পরিবর্তনের লগ (বা জার্নাল) বজায় রাখার মাধ্যমে পাওয়ার ব্যর্থতার মতো অপ্রত্যাশিত ঘটনাগুলির সময় দুর্নীতি প্রতিরোধ করতে সহায়তা করে। জার্নাল নিশ্চিত করে যে আপনার ডেটা সামঞ্জস্য রেখে অসম্পূর্ণ ক্রিয়াকলাপগুলি ফিরিয়ে আনা হয়েছে। যাইহোক, কল করার মত অতিরিক্ত সতর্কতা ছাড়া জার্নালিং আদেশকৃত লেখার নিশ্চয়তা দেয় না . আমাদের উদাহরণে, জার্নালিং করার সময় ফাইলটি দূষিত না হওয়া নিশ্চিত করতে পারে, এর কিছু অংশ এখনও আগে থেকে যেতে পারে ডেটা1.

আরেকটি বিবেচনা হল কিভাবে লিনাক্স বাফার ফাইল লিখে। আপনি যখন ব্যবহার করেন বা , ডেটা প্রায়ই মেমরি বাফারে লেখা হয়, সরাসরি ডিস্কে নয়। এই বাফারিং কর্মক্ষমতা উন্নত করে কিন্তু বাফার ফ্লাশ করার আগে সিস্টেম ক্র্যাশ হলে ডেটা ক্ষতির ঝুঁকি তৈরি করে। কলিং অথবা দিয়ে ফাইল ওপেন করুন O_SYNC পতাকা নিশ্চিত করে যে বাফার করা ডেটা নিরাপদে ডিস্কে ফ্লাশ করা হয়েছে, অসঙ্গতি রোধ করে। এই ব্যবস্থাগুলি ছাড়া, ডেটা আংশিকভাবে লেখা প্রদর্শিত হতে পারে, বিশেষত পাওয়ার ব্যর্থতার ক্ষেত্রে। ⚡

বড় ফাইল বা সমালোচনামূলক সিস্টেমের সাথে কাজ করা বিকাশকারীদের জন্য, স্থায়িত্বের কথা মাথায় রেখে প্রোগ্রামগুলি ডিজাইন করা অপরিহার্য। উদাহরণ স্বরূপ, কল্পনা করুন একটি এয়ারলাইন রিজার্ভেশন সিস্টেম সিট প্রাপ্যতা ডেটা লিখছে। যদি প্রথম ব্লকটি ফ্লাইটের বিশদ নির্দেশ করে সম্পূর্ণরূপে লেখা না থাকে এবং দ্বিতীয় ব্লকটি টিকে থাকে তবে এটি ডেটা দুর্নীতি বা ডাবল বুকিং হতে পারে। ব্যবহার করে বা জটিল পর্যায়ে এই ক্ষতিগুলি এড়িয়ে যায়। নির্ভরযোগ্যতা নিশ্চিত করতে সর্বদা বাস্তব ব্যর্থতার সিমুলেশনের অধীনে আচরণ পরীক্ষা করুন। 😊

1. কি করে করবেন, এবং কখন আমি এটি ব্যবহার করব?
2. একটি ফাইলের জন্য সমস্ত ডেটা এবং মেটাডেটা মেমরি বাফার থেকে ডিস্কে ফ্লাশ করা হয়েছে তা নিশ্চিত করে। স্থায়িত্ব নিশ্চিত করতে সমালোচনামূলক লেখার পরে এটি ব্যবহার করুন।
3. মধ্যে পার্থক্য কি এবং ?
4. ফাইল সাইজ আপডেটের মত মেটাডেটা বাদ দিয়ে শুধুমাত্র ফাইল ডেটা ফ্লাশ করে। ডেটা এবং মেটাডেটা উভয়ই ফ্লাশ করে।
5. ext4 গ্যারান্টি অর্ডার করা জার্নালিং কি লিখতে পারে?
6. না, ext4 জার্নালিং ধারাবাহিকতা নিশ্চিত করে কিন্তু সুনির্দিষ্টভাবে ব্যবহার না করে লেখাগুলি যে ক্রমানুসারে ঘটে তার নিশ্চয়তা দেয় না বা .
7. কিভাবে করে নিয়মিত ফাইল লেখা থেকে ভিন্ন?
8. সঙ্গে , প্রতিটি লেখা অবিলম্বে ডিস্কে ফ্লাশ করে, স্থায়িত্ব নিশ্চিত করে কিন্তু কার্যক্ষমতার জন্য একটি খরচে।
9. আমি কি আমার সিস্টেমে ফাইল লেখার স্থায়িত্ব পরীক্ষা করতে পারি?
10. হ্যাঁ, আপনি ভার্চুয়াল মেশিন বা এর মতো টুল ব্যবহার করে পাওয়ার ব্যর্থতা অনুকরণ করতে পারেন ফাইল লেখার আচরণ পর্যবেক্ষণ করতে।

পাওয়ার ব্যর্থতার সময় ফাইলের স্থায়িত্ব নিশ্চিত করার জন্য ইচ্ছাকৃত নকশা প্রয়োজন। মত সরঞ্জাম ছাড়া বা , লিনাক্স ফাইলসিস্টেমগুলি অসামঞ্জস্যপূর্ণ অবস্থায় ফাইল ছেড়ে যেতে পারে। সমালোচনামূলক অ্যাপ্লিকেশনের জন্য, মূল পর্যায়ে পরীক্ষা করা এবং ফ্লাশ করা লেখা অপরিহার্য অনুশীলন।

ক্র্যাশের সময় একটি লগ ফাইলের অংশ হারানোর কল্পনা করুন। ডেটা2 দুর্নীতি প্রতিরোধ করার আগে ডেটা1 সম্পূর্ণরূপে সংরক্ষণ করা হয়েছে তা নিশ্চিত করা। সর্বোত্তম অনুশীলনগুলি অনুসরণ করা শক্তিশালী ডেটা অখণ্ডতা নিশ্চিত করে, এমনকি অপ্রত্যাশিত ব্যর্থতার মধ্যেও। ⚡