JavaScript에서 바이트 길이에 따라 항목 배열을 세그먼트로 효과적으로 나누기

Node.js에서 바이트 크기로 객체 배열 분할

이 접근 방식은 Buffer.byteLength와 함께 Node.js를 사용하여 객체 배열을 청크로 분할합니다. 각 청크의 크기는 최대 메모리 크기(바이트)를 기반으로 합니다.

// Approach 1: Basic Solution using a loop and Buffer.byteLength<code>const data = [ { id: 1, name: 'Alice' }, { id: 2, name: 'Bob' }];
const maxSizeInBytes = 100; // Maximum size per chunk
function chunkArrayBySize(arr, maxSize) {
  let chunks = [];
  let currentChunk = [];
  let currentChunkSize = 0;

  arr.forEach(obj => {
    const objSize = Buffer.byteLength(JSON.stringify(obj));
    if (currentChunkSize + objSize > maxSize) {
      chunks.push(currentChunk);
      currentChunk = [];
      currentChunkSize = 0;
    }
    currentChunk.push(obj);
    currentChunkSize += objSize;
  });
  if (currentChunk.length) chunks.push(currentChunk);
  return chunks;
}

console.log(chunkArrayBySize(data, maxSizeInBytes));

Array.reduce()를 사용하여 최적화된 메모리 청킹

이 솔루션은 Node.js에서 더욱 깔끔하고 기능적인 접근 방식을 위해 Array.reduce()를 활용합니다.

// Approach 2: Using Array.reduce() for a more functional style<code>function chunkArrayWithReduce(arr, maxSize) {
  return arr.reduce((chunks, obj) => {
    const objSize = Buffer.byteLength(JSON.stringify(obj));
    let lastChunk = chunks[chunks.length - 1];

    if (!lastChunk || Buffer.byteLength(JSON.stringify(lastChunk)) + objSize > maxSize) {
      chunks.push([obj]);
    } else {
      lastChunk.push(obj);
    }

    return chunks;
  }, []);
}

console.log(chunkArrayWithReduce(data, maxSizeInBytes));

오류 처리 및 검증 기능을 갖춘 고급 모듈식 솔루션

이 고급 방법에는 모듈성, 오류 처리 및 입력 검증이 포함되어 있어 프로덕션 환경에 이상적입니다.

// Approach 3: Modular and robust solution with error handling<code>function isValidArray(arr) {
  return Array.isArray(arr) && arr.length > 0;
}

function chunkArrayWithValidation(arr, maxSize) {
  if (!isValidArray(arr)) throw new Error("Invalid input array");
  if (typeof maxSize !== 'number' || maxSize <= 0) throw new Error("Invalid max size");

  let chunks = [], currentChunk = [], currentChunkSize = 0;
  arr.forEach(obj => {
    const objSize = Buffer.byteLength(JSON.stringify(obj));
    if (currentChunkSize + objSize > maxSize) {
      chunks.push(currentChunk);
      currentChunk = [];
      currentChunkSize = 0;
    }
    currentChunk.push(obj);
    currentChunkSize += objSize;
  });

  if (currentChunk.length) chunks.push(currentChunk);
  return chunks;
}

try {
  console.log(chunkArrayWithValidation(data, maxSizeInBytes));
} catch (error) {
  console.error("Error:", error.message);
}

JavaScript의 메모리 크기별 배열 청크에 대해 자주 묻는 질문

1. 어떻게 Buffer.byteLength() 청킹 배열에 도움이 되나요?
2. 그만큼 Buffer.byteLength() 함수는 문자열의 크기를 바이트 단위로 계산합니다. 이 기능을 사용하면 각 청크의 크기가 메모리 제한 내에서 유지되도록 할 수 있습니다.
3. 목적은 무엇입니까? JSON.stringify() 이런 맥락에서?
4. JSON.stringify() JavaScript 개체를 JSON 문자열로 변환합니다. 이는 다음과 같은 이유로 필요합니다. Buffer.byteLength() 객체가 아닌 문자열의 크기만 측정합니다.
5. 바이트 크기 대신 객체 속성을 기반으로 배열을 청크할 수 있나요?
6. 예, ID 또는 타임스탬프와 같은 객체 속성을 기반으로 청크를 분할할 수 있지만 바이트 크기를 사용하면 엄격한 제한이 있는 애플리케이션에서 메모리 사용량을 보다 정확하게 제어할 수 있습니다.
7. 배열을 청크할 때 오류를 어떻게 처리할 수 있나요?
8. 사용 try...catch 블록을 생성하여 청킹 프로세스 중에 오류를 포착하고 다음과 같은 기능을 사용하여 입력 유효성 검사를 보장합니다. Array.isArray().
9. 어떤 청크에 비해 객체가 너무 크면 어떻게 되나요?
10. 큰 개체를 더 세분화하거나 이러한 경우를 구체적으로 처리해야 할 수도 있습니다. 예를 들어 오류를 기록하거나 청크 프로세스에서 해당 개체를 거부합니다.

효율적인 배열 청킹에 대한 최종 생각

바이트 크기를 기준으로 객체 배열을 분할하는 것은 특히 동적 객체 크기를 처리할 때 JavaScript에서 메모리를 관리하는 효과적인 방법입니다. 다음과 같은 기능을 사용하여 버퍼.바이트길이() 메모리 제한을 초과하지 않고 배열을 청크할 수 있습니다.

배열을 반복하거나 다음을 사용하는 등 다양한 접근 방식을 채택합니다. 배열.감소(), 유연하고 강력한 솔루션을 구축할 수 있습니다. 이 기술은 대규모 데이터 세트를 효율적으로 처리하고 메모리 오버플로를 방지하며 애플리케이션 성능을 향상시키는 Node.js에서 특히 유용합니다.