Didelių „Excel“ failų apdorojimo ir saugojimo optimizavimas MERN Stack žiniatinklio programoje

1 sprendimas: „Excel“ failo saugojimas kaip JSON „MongoDB“ (priekinėje ir galinėje programoje)

Šiame sprendime naudojamas pagrindinis metodas, kai „Excel“ duomenis konvertuojame į JSON sąsajoje ir saugome „MongoDB“. Šis scenarijus padeda mažiems failams, bet gali būti netinkamas dideliems failams (daugiau nei 16 MB). Tai tinka pagrindinėms sąrankoms, kai mastelio keitimas nėra problema.

// Frontend: Handle File Upload and Convert to JSONconst handleFileUpload = (event) => {    const file = event.target.files[0];    if (file) {        const reader = new FileReader();        reader.onload = async (e) => {            const data = new Uint8Array(e.target.result);            const workbook = XLSX.read(data, { type: 'array' });            const json = XLSX.utils.sheet_to_json(workbook.Sheets[workbook.SheetNames[0]]);                        // Send JSON data to backend            await fetch('/api/uploadExcel', {                method: 'POST',                headers: { 'Content-Type': 'application/json' },                body: JSON.stringify({ fileData: json })            });        };        reader.readAsArrayBuffer(file);    }};// Backend: Express API to Store Data in MongoDBconst express = require('express');const mongoose = require('mongoose');const app = express();mongoose.connect('mongodb://localhost:27017/exceldb', { useNewUrlParser: true, useUnifiedTopology: true });const fileSchema = new mongoose.Schema({ data: Array });const File = mongoose.model('File', fileSchema);app.use(express.json());app.post('/api/uploadExcel', async (req, res) => {    try {        const newFile = new File({ data: req.body.fileData });        await newFile.save();        res.status(200).send('File uploaded successfully!');    } catch (error) {        res.status(500).send('Error uploading file');    }});app.listen(5000, () => {    console.log('Server running on port 5000');});

2 sprendimas: „GridFS“ naudojimas dideliems „Excel“ failams saugoti „MongoDB“.

Taikydami šį metodą, mes naudojame „GridFS“, kad saugotume didelius „Excel“ failus kaip „MongoDB“ dalis. Tai leidžia tvarkyti didesnius nei 16 MB failus. Išsaugojus failą, sąsaja jį nuskaito ir konvertuoja į JSON apdorojimui.

// Frontend: Handle File Upload Using FormDataconst handleFileUpload = async (event) => {    const file = event.target.files[0];    if (file) {        const formData = new FormData();        formData.append('file', file);                // Send file to backend        await fetch('/api/uploadExcel', {            method: 'POST',            body: formData        });    }};// Backend: Express API to Store Excel File in GridFSconst express = require('express');const mongoose = require('mongoose');const multer = require('multer');const { GridFSBucket } = require('mongodb');const app = express();mongoose.connect('mongodb://localhost:27017/exceldb', { useNewUrlParser: true, useUnifiedTopology: true });const storage = multer.memoryStorage();const upload = multer({ storage: storage });app.post('/api/uploadExcel', upload.single('file'), (req, res) => {    const bucket = new GridFSBucket(mongoose.connection.db, { bucketName: 'excelFiles' });    const uploadStream = bucket.openUploadStream(req.file.originalname);    uploadStream.end(req.file.buffer);        res.status(200).send('File uploaded successfully!');});// Backend: Retrieve and Convert Excel File to JSONapp.get('/api/getExcel/:filename', (req, res) => {    const bucket = new GridFSBucket(mongoose.connection.db, { bucketName: 'excelFiles' });    const downloadStream = bucket.openDownloadStreamByName(req.params.filename);    const chunks = [];    downloadStream.on('data', (chunk) => chunks.push(chunk));    downloadStream.on('end', () => {        const buffer = Buffer.concat(chunks);        const workbook = XLSX.read(buffer, { type: 'buffer' });        const json = XLSX.utils.sheet_to_json(workbook.Sheets[workbook.SheetNames[0]]);        res.json(json);    });});app.listen(5000, () => {    console.log('Server running on port 5000');});

3 sprendimas: serverio pusės apdorojimas, siekiant optimizuoti našumą

Šis sprendimas pagerina našumą perkeldamas JSON konversiją iš priekinės sistemos į užpakalinę. Tai užtikrina, kad sąsaja nenukentėtų nuo didelių failų apdorojimo laiko ir leidžia greičiau konvertuoti didelius duomenų rinkinius.

// Backend: Express API to Handle File Conversion and Calculationconst express = require('express');const mongoose = require('mongoose');const { GridFSBucket } = require('mongodb');const XLSX = require('xlsx');const app = express();mongoose.connect('mongodb://localhost:27017/exceldb', { useNewUrlParser: true, useUnifiedTopology: true });app.post('/api/uploadExcel', upload.single('file'), (req, res) => {    const bucket = new GridFSBucket(mongoose.connection.db, { bucketName: 'excelFiles' });    const uploadStream = bucket.openUploadStream(req.file.originalname);    uploadStream.end(req.file.buffer);        res.status(200).send('File uploaded successfully!');});// Backend: Retrieve, Convert, and Process Excel Fileapp.get('/api/getProcessedExcel/:filename', (req, res) => {    const bucket = new GridFSBucket(mongoose.connection.db, { bucketName: 'excelFiles' });    const downloadStream = bucket.openDownloadStreamByName(req.params.filename);    const chunks = [];    downloadStream.on('data', (chunk) => chunks.push(chunk));    downloadStream.on('end', () => {        const buffer = Buffer.concat(chunks);        const workbook = XLSX.read(buffer, { type: 'buffer' });        const sheet = workbook.Sheets[workbook.SheetNames[0]];        const json = XLSX.utils.sheet_to_json(sheet);                // Process data to calculate sum, average, etc.        const processedData = json.map(row => ({            ...row,            sum: row.values.reduce((a, b) => a + b, 0),            average: row.values.reduce((a, b) => a + b, 0) / row.values.length        }));        res.json(processedData);    });});app.listen(5000, () => {    console.log('Server running on port 5000');});

Dažnai užduodami klausimai apie didelių Excel failų tvarkymą MERN Stack

1. Kaip išvengti BSON dydžio apribojimo MongoDB, kai saugome didelius failus?
2. Norėdami apeiti BSON dydžio apribojimą MongoDB, galite naudoti GridFS, kuri leidžia saugoti didelius failus dalimis, efektyviai tvarkydami failus, viršijančius 16 MB BSON dydžio ribą.
3. Kokia geriausia praktika optimizuojant sąsajos našumą apdorojant didelius „Excel“ failus?
4. Norėdami optimizuoti sąsajos našumą, apsvarstykite galimybę perkelti failų apdorojimo ir skaičiavimo užduotis į užpakalinę programą. Tai sumažins kliento naršyklės apkrovą ir užtikrins sklandesnę vartotojo patirtį.
5. Kaip padidinti didelių „Excel“ failų konvertavimo į JSON greitį?
6. Vienas iš būdų pagreitinti konvertavimo procesą yra suskaidyti failą į mažesnius gabalus ir apdoroti juos asinchroniškai. Be to, naudojant efektyvias bibliotekas arba naudojant foninę paslaugą konvertavimui, laikas gali žymiai sutrumpėti.
7. Ar yra būdas atlikti didelių „Excel“ failų skaičiavimus realiuoju laiku?
8. Skaičiavimai realiuoju laiku gali būti atliekami naudojant serverio apdorojimą duomenų agregavimui (suma, vidurkis, maks., min.). Tai sumažintų laiką, praleistą apdoroti duomenis priekinėje dalyje, ir pagerintų reagavimą.
9. Koks yra geriausias būdas saugoti didelius „Excel“ failus, kurie dažnai pasiekiami?
10. Jei jūsų „Excel“ failai yra dideli ir juos reikia dažnai pasiekti, GridFS yra puikus pasirinkimas. Jis užtikrina veiksmingą saugojimą ir gavimą, suskaidydamas failus į mažesnius, valdomus gabalus.
11. Ar galiu savo žiniatinklio programoje įdiegti didelių Excel failų puslapius?
12. Taip, puslapių rūšiavimo įdiegimas gali padėti optimizuoti našumą. Galite gauti ir apdoroti mažesnius duomenų pogrupius, todėl programa greičiau reaguoja ir sumažina pradinio įkėlimo laiką.
13. Kaip „MongoDB GridFS“ pagerina didelių „Excel“ failų tvarkymą?
14. GridFS saugo failus mažais gabalėliais, todėl galima saugoti failus, didesnius nei MongoDB nustatyta 16 MB riba. Tai ypač naudinga dirbant su dideliais duomenų rinkiniais, pvz., „Excel“ failais.
15. Kokių veiksmų turėčiau imtis, kad apdorojant didelius „Excel“ failus nesibaigtų laikas?
16. Norėdami išvengti skirtojo laiko, galite suskaidyti failų apdorojimą į mažesnes užduotis, apdoroti foninius darbuotojus arba eiles ir optimizuoti serverio kodą, kad duomenys būtų tvarkomi efektyviai.
17. Kaip galiu sumažinti priekinės atminties naudojimą tvarkant didelius „Excel“ failus?
18. Norėdami sumažinti priekinės atminties naudojimą, galite įdiegti „Excel“ failo srautinį perdavimą ir skaidymą, vienu metu apdorojant mažesnes failo dalis, o ne įkeliant viską į atmintį iš karto.

Didelių Excel failų tvarkymo optimizavimas MERN Stack programoje

Norėdami efektyviai saugoti ir gauti didelius „Excel“ failus MERN kamino programoje, turėtumėte apsvarstyti galimybę naudoti GridFS skirta MongoDB, kuri tvarko didesnius nei 16 MB BSON dydžio failus. „Excel“ failų konvertavimas tiesiai į JSON ir jų saugojimas gali sukelti našumo kliūtis, ypač dirbant su dideliais duomenų rinkiniais. Failų apdorojimo ir skaičiavimų perkėlimas į užpakalinę programą sumažins sąsajos apkrovą ir suteiks vartotojui greitesnį apdorojimo laiką.

Be to, įdiegus tokius metodus kaip duomenų grupavimas ir puslapių rūšiavimas priekinėje sistemoje gali užtikrinti, kad bet kuriuo metu būtų apdorojama tik tvarkoma duomenų dalis. Tai sumažina atminties suvartojimą ir padeda išvengti skirtojo laiko. Optimizavus ir vidinę saugyklą, ir priekinės sistemos duomenų tvarkymą, jūsų MERN stack žiniatinklio programa gali efektyviai tvarkyti didelius „Excel“ failus su tūkstančiais eilučių. 🚀