Kinesis سٹریم میں ریکارڈز شامل کرتے وقت AWS Lambda ٹائم آؤٹ کے مسائل کو ٹھیک کرنا

Kinesis ڈیٹا اسٹریمز کے لیے AWS Lambda ٹائم آؤٹ کا ازالہ کرنا

تصور کریں کہ آپ AWS پر ایک ریئل ٹائم ڈیٹا پائپ لائن بنا رہے ہیں، ایک ایسے سیٹ اپ کے ساتھ جو پیغامات کو SQS سے Lambda فنکشن تک اور بالآخر ایک Kinesis Data Stream میں منتقل کرتا ہے۔ 📨 یہ بہاؤ نظریہ میں بغیر کسی رکاوٹ کے کام کرتا ہے، لیکن بعض اوقات حقیقت کے دوسرے منصوبے ہوتے ہیں۔ بس جب آپ آرام کرنے والے ہوتے ہیں، آپ کے Lambda فنکشن لاگز میں ایک ETIMEDOUT خرابی پیدا ہوجاتی ہے۔

اس غلطی کو دیکھ کر مایوسی ہو سکتی ہے، خاص طور پر جب آپ نے اجازتوں کی تصدیق کی ہو اور فنکشن کا متعدد بار تجربہ کیا ہو۔ درحقیقت، Kinesis سٹریم میں یہ وقفے وقفے سے ETIMEDOUT مسئلہ عام طور پر غیر متوقع طور پر ہوتا ہے، جو آپ کی پیشرفت کو روکتا ہے۔ لامبڈا دوبارہ تعیناتی کے بعد بالکل کام کر سکتا ہے لیکن پھر بظاہر بغیر کسی وجہ کے ناکام ہو جاتا ہے۔

اس طرح کے حالات میں، بہت سے ڈویلپرز کو خفیہ پیغامات جیسے "Runtime.UnhandledPromiseRejection" اور "ERR_HTTP2_STREAM_CANCEL." جب آپ کا کوڈ قابل اعتماد اور فوری ڈیٹا پروسیسنگ پر انحصار کرتا ہے، تو یہ ٹائم آؤٹ کے مسائل ایسے محسوس ہو سکتے ہیں جیسے روڈ بلاک

یہاں، ہم ان ٹائم آؤٹس، ان کو سنبھالنے کے عملی طریقے، اور آپ کی AWS کنفیگریشن میں ایڈجسٹمنٹس کا جائزہ لیں گے جو آپ کے سلسلے کو مستحکم کرنے کی کلید ہو سکتی ہے۔ 🛠️ آخر تک، آپ کو معلوم ہو جائے گا کہ ETIMEDOUT غلطیوں کو کیسے حل کرنا ہے اور اپنے Lambda اور Kinesis کے بہاؤ کو آسانی سے چلانا ہے۔

Kinesis سٹریم کے ساتھ AWS Lambda کی وشوسنییتا کو بڑھانا

فراہم کردہ JavaScript اسکرپٹ کو ایک موثر AWS Lambda فنکشن بنانے کے لیے ڈیزائن کیا گیا ہے جو SQS قطار سے پیغامات کو بازیافت کرتا ہے اور پھر انہیں Amazon Kinesis ڈیٹا اسٹریم میں شائع کرتا ہے۔ اس حل کا بنیادی مقصد لامبڈا فنکشن کے پیغامات کو متضاد طور پر ہینڈل کرنے کی صلاحیت میں ہے جب کہ کنیکٹیویٹی کے مسائل کو حل کیا جاتا ہے جس کے نتیجے میں اکثر ETIMEDOUT غلطیاں اسکرپٹ کا ایک اہم حصہ شروع کرنا ہے۔ KinesisClient، جو ضروری خصوصیات کو ترتیب دیتا ہے جیسے خطہ، دوبارہ کوشش کی گنتی، اور کنکشن ٹائم آؤٹ۔ یہ کنفیگریشنز کلاؤڈ سیٹ اپ میں اہم ہوتی ہیں، کیونکہ یہ ایپلیکیشن کی ردعمل کو کنٹرول کرتی ہیں اور وقت ختم ہونے سے پہلے کتنی دیر تک جڑنے کی کوشش کرے گی۔ اعلیٰ مرتب کرنے سے کنیکٹ ٹائم آؤٹ یا دوبارہ کوشش کی کوششوں کو ایڈجسٹ کرتے ہوئے، ہم نیٹ ورک کی تاخیر کو زیادہ مؤثر طریقے سے سنبھالنے میں فنکشن کی مدد کر سکتے ہیں۔

لیمبڈا ہینڈلر کے اندر، اسکرپٹ فائدہ اٹھاتا ہے۔ Promise.all Settled()متعدد غیر مطابقت پذیر درخواستوں پر کارروائی کرتے وقت ایک انمول ٹول۔ جب متعدد ریکارڈز پر ایک ساتھ کارروائی کی جاتی ہے، تو یہ یقینی بنانا ضروری ہے کہ ہر ایک مکمل ہو، چاہے کامیابی سے ہو یا غلطی کے ساتھ۔ Promise.all Settled() اس بات کو یقینی بناتا ہے کہ اگر ایک درخواست ناکام ہو جاتی ہے تو فنکشن پروسیسنگ نہیں روکتا ہے۔ اس کے بجائے، یہ ہر نتیجہ کو انفرادی طور پر لاگ کرتا ہے۔ یہ نقطہ نظر خاص طور پر ایسے حالات میں مفید ہے جہاں نیٹ ورک کنیکٹیویٹی غیر متوقع ہو سکتی ہے۔ مثال کے طور پر، اگر نیٹ ورک کے مسئلے کی وجہ سے ایک ریکارڈ ناکام ہو جاتا ہے لیکن دوسرے کامیاب ہو جاتے ہیں، تو فنکشن ناکام ریکارڈز کو الگ سے لاگ کر سکتا ہے، جس سے ڈویلپرز کو پیغامات کے پورے بیچ کو ناکام کرنے کے بجائے مسئلہ کی مثالوں کو الگ کرنے کی اجازت دیتا ہے۔ 🛠️

دی عمل کی تقریب اسکرپٹ کے اندر فنکشن ماڈیولر ہے اور اہم ڈیٹا کی تبدیلی اور بھیجنے کے عمل کو سنبھالتا ہے۔ یہ فنکشن SQS پیغام میں لیتا ہے، اسے پارس کرتا ہے، اور اسے بائٹ فارمیٹ میں انکوڈ کرتا ہے جس کی Kinesis کو ضرورت ہوتی ہے۔ یہاں، دی TextEncoder().encode() طریقہ اہم ہے کیونکہ کائینس صرف بائنری ڈیٹا کو قبول کرتا ہے۔ JSON کو ایک ہم آہنگ فارمیٹ میں تبدیل کرنا ضروری ہے۔ فنکشن کا یہ حصہ اس بات کو یقینی بناتا ہے کہ لیمبڈا ڈیٹا کو صحیح طریقے سے بھیجتا ہے، جس سے ڈیٹا کے غیر مماثل فارمیٹس سے پیدا ہونے والی غلطیوں کے امکانات کم ہوتے ہیں۔ فنکشن ایک حسب ضرورت پارٹیشن کلید جنریٹر فنکشن کا بھی استعمال کرتا ہے، جو کائنیسس اسٹریم کے شارڈز میں ریکارڈ تقسیم کرتا ہے۔ متحرک پارٹیشن کیز (جیسے بے ترتیب کیز) کا استعمال کرتے ہوئے، اسکرپٹ ایک ہی شارڈ کو بار بار مارنے کے امکانات کو کم کرتا ہے، جو "ہاٹ شارڈز" کو روک سکتا ہے جو رکاوٹوں کا باعث بنتے ہیں۔

آخر میں، اس سیٹ اپ کو مختلف منظرناموں میں درست طریقے سے کام کرنے کو یقینی بنانے کے لیے، اسکرپٹس کو شامل کیا جاتا ہے یونٹ ٹیسٹ Jest کا استعمال کرتے ہوئے. یونٹ ٹیسٹ لائیو AWS وسائل کی ضرورت کے بغیر Kinesis کلائنٹ کے رویے کی نقالی کرنا ممکن بناتے ہیں، جس سے لیمبڈا کی ٹائم آؤٹ یا ڈیٹا کی تبدیلی کے مسائل کو کنٹرول شدہ ماحول میں سنبھالنے کی صلاحیت کو جانچنے کا ایک قابل اعتماد طریقہ پیش کیا جاتا ہے۔ مثال کے طور پر، اگر Kinesis کلائنٹ رابطہ قائم کرنے سے قاصر ہے، تو Jest mocks ایک ٹائم آؤٹ ایرر کی نقل کر سکتا ہے، اس بات کی تصدیق کرتے ہوئے کہ غلطی کو اندر ہینڈلنگ عمل کی تقریب ارادے کے مطابق کام کرتا ہے۔ یہ حکمت عملی مضبوط توثیق کی اجازت دیتی ہے، اس بات کو یقینی بناتی ہے کہ لیمبڈا نیٹ ورک کے متعدد حالات میں قابل اعتماد ہے۔ 🧪 ان عناصر کو ملا کر، Lambda فنکشن SQS سے Kinesis تک ڈیٹا کو مؤثر طریقے سے سنبھال سکتا ہے جبکہ ٹائم آؤٹ اور دیگر عام سٹریمنگ کی خرابیوں کو کم سے کم کر سکتا ہے۔

import { KinesisClient, PutRecordCommand } from "@aws-sdk/client-kinesis";
const KINESIS_CLIENT = new KinesisClient({
  region: 'us-west-2',
  maxRetries: 3,
  requestHandler: {
    connectionTimeout: 5000, // Lower timeout for quicker retries
  },
});
export const handler = async (event) => {
  const promises = event.Records.map(record => processEvent(record.body));
  const results = await Promise.allSettled(promises);
  results.forEach(result => {
    if (result.status !== "fulfilled") {
      console.error("Failed:", result.reason);
    }
  });
};
async function processEvent(body) {
  const data = JSON.parse(body);
  const partitionKey = generatePartitionKey(data);
  const encodedData = new TextEncoder().encode(JSON.stringify(data));
  try {
    await KINESIS_CLIENT.send(new PutRecordCommand({
      Data: encodedData,
      StreamName: 'InputEventStream',
      PartitionKey: partitionKey
    }));
  } catch (error) {
    console.error("Error putting record:", error);
    throw error;
  }
}
function generatePartitionKey(data) {
  return data.userId ? data.userId.toString() : Date.now().toString();
}

import { KinesisClient, PutRecordCommand } from "@aws-sdk/client-kinesis";
const KINESIS_CLIENT = new KinesisClient({
  region: 'us-west-2',
  maxRetries: 5,
  httpOptions: {
    connectTimeout: 15000, // Extended timeout
    timeout: 20000 // Total request timeout
  }
});
export const handler = async (event) => {
  const results = await Promise.allSettled(event.Records.map(async (record) => {
    await processEvent(record.body);
  }));
  results.forEach((result) => {
    if (result.status !== "fulfilled") {
      console.log("Unsuccessful attempt:", result.reason);
    }
  });
};
async function processEvent(body) {
  const parsedData = JSON.parse(body);
  const partitionKey = `pk-${Math.random()}`;
  try {
    await KINESIS_CLIENT.send(new PutRecordCommand({
      StreamName: "InputEventStream",
      Data: new TextEncoder().encode(JSON.stringify(parsedData)),
      PartitionKey: partitionKey
    }));
  } catch (err) {
    if (err.name === "TimeoutError") {
      console.warn("Retry on timeout:", err);
    }
    throw err;
  }
}

import { handler, processEvent } from './your-lambda-file.js';
import { KinesisClient } from "@aws-sdk/client-kinesis";
jest.mock("@aws-sdk/client-kinesis");
describe('Lambda Handler and Kinesis Integration', () => {
  it('should call processEvent for each record in the event', async () => {
    const mockEvent = {
      Records: [{ body: '{"userId": 1, "data": "test"}' }]
    };
    await handler(mockEvent);
    expect(KinesisClient.prototype.send).toHaveBeenCalledTimes(1);
  });
  it('should handle timeout errors gracefully', async () => {
    KinesisClient.prototype.send.mockRejectedValueOnce(new Error('TimeoutError'));
    await expect(processEvent('{"userId": 2}')).rejects.toThrow('TimeoutError');
  });
});

AWS Lambda-Kinesis انٹیگریشن میں ٹائم آؤٹ کی خرابیوں کو سمجھنا

ٹائم آؤٹ کی غلطیاں جیسے ETIMEDOUT AWS Lambda میں فنکشنز اکثر مایوس کن ہو سکتے ہیں، خاص طور پر Amazon Kinesis کے ساتھ ڈیٹا سٹریمنگ کے انضمام میں۔ زیادہ تر معاملات میں، یہ خرابیاں لیمبڈا فنکشن کے نیٹ ورک کنکشن کے وقت کی حد سے تجاوز کرنے کی وجہ سے ہوتی ہیں، عام طور پر KinesisClient درخواست Lambda میں پہلے سے طے شدہ ترتیبات ہمیشہ اس قسم کی نیٹ ورک کی درخواستوں کو ایڈجسٹ نہیں کرسکتی ہیں، خاص طور پر جب ہائی تھرو پٹ اسٹریمز یا بڑی مقدار میں ڈیٹا سے نمٹ رہے ہوں۔ مثال کے طور پر، ایڈجسٹ کرنا connectTimeout یا maxRetries کنفیگریشنز اس مسئلے کو کم کرنے میں مدد کر سکتی ہیں، جس سے لیمبڈا کو Kinesis سے کامیاب کنکشن کی کوشش کرنے کے لیے مزید وقت مل سکتا ہے۔ اس قسم کی اصلاح اکثر ایسے منظرناموں میں ضروری ہوتی ہے جن میں متغیر نیٹ ورک میں تاخیر ہو یا زیادہ مانگ ہو۔ 🛠️

ٹائم آؤٹ کی غلطیوں کو کم کرنے کا ایک اور اہم پہلو ڈیٹا انکوڈنگ اور پارٹیشننگ کو مؤثر طریقے سے منظم کرنا ہے۔ AWS Kinesis کو بائنری فارمیٹ میں ڈیٹا کی ضرورت ہوتی ہے، جس کے ذریعے حاصل کیا جا سکتا ہے۔ TextEncoder().encode(). یہ تبدیلی Kinesis میں ڈیٹا کی منتقلی کی مطابقت اور ہمواری کو یقینی بناتی ہے۔ مزید برآں، سوچ سمجھ کر تقسیم کی کلید کا انتظام بہت ضروری ہے۔ ایک مستقل یا متحرک طور پر تیار کردہ پارٹیشن کلید کا استعمال Kinesis شارڈز میں ڈیٹا کو یکساں طور پر تقسیم کرنے میں مدد کرتا ہے، "ہاٹ شارڈز" سے گریز کرتے ہوئے، جو شارڈز غیر متناسب تعداد میں ریکارڈ حاصل کرتے ہیں۔ ہائی فریکوئنسی اسٹریمنگ کے منظرناموں میں، متحرک کلیدیں رکاوٹوں کو روک سکتی ہیں اور کنیکٹیویٹی کے مسائل کے امکان کو کم کرسکتی ہیں، خاص طور پر بڑے ڈیٹا سیٹس کو سنبھالنے کے دوران مفید۔

ان Lambda-Kinesis تعاملات کی قابل اعتمادی کو حل کرنے اور بہتر بنانے کے لیے، یونٹ ٹیسٹ کا اضافہ ضروری ہے۔ یونٹ ٹیسٹ آپ کو ممکنہ نیٹ ورک کے مسائل کی نقل کرنے، ڈیٹا انکوڈنگ کی توثیق کرنے، اور اس بات کو یقینی بنانے کی اجازت دیتے ہیں کہ فنکشن دوبارہ کوششوں کو صحیح طریقے سے سنبھال سکتا ہے۔ مثلاً طعنہ زنی سے KinesisClient یونٹ ٹیسٹ میں، آپ Kinesis کے جوابات کی ایک رینج کی نقل کر سکتے ہیں، جیسے وقت ختم غلطیاں یا کامیابی کے معاملات، جو لیمبڈا کوڈ کے اندر غلطی سے نمٹنے اور کنکشن کے انتظام کو ٹھیک کرنے میں مدد کرتا ہے۔ ترقی میں اس طرح کے خرابی کے معاملات کی جانچ زیادہ لچکدار تعیناتی کا باعث بن سکتی ہے، جس سے پیداوار میں ٹائم آؤٹ کے امکانات کم ہوتے ہیں اور آپ کی ترتیب میں کمزور پوائنٹس کی نشاندہی کرنا آسان ہو جاتا ہے۔