SQL சேவையகத்தில் ஒரு நெடுவரிசை மற்றும் புதுப்பிப்பு வரிசைகளை எவ்வாறு திறம்பட சேர்ப்பது

SQL சர்வரில் மேஸ்டரிங் டேபிள் மாற்றங்கள்: ஒரு படி-படி-படி வழிகாட்டி

சில நேரங்களில், பெரிய தரவுத்தொகுப்புகளுடன் பணிபுரிவது, ஒரே நேரத்தில் நூறு பணிகளை ஏமாற்றுவது போல் உணரலாம். சமீபத்தில், ஒரு மில்லியனுக்கும் அதிகமான வரிசைகளைக் கொண்ட அட்டவணையில் ஒரு நெடுவரிசையைச் சேர்க்க வேண்டிய சூழ்நிலையில் நான் என்னைக் கண்டேன். மேலோட்டமாக இது ஒரு எளிய பணியாகத் தோன்றினாலும், பல SQL சர்வர் பயனர்கள் எதிர்கொள்ளும் ஒரு சாலைத் தடுப்பில் நான் விரைவாக ஓடினேன்: பயங்கரமான "தவறான நெடுவரிசைப் பெயர்" பிழை. 🧐

எனது ALTER TABLE மற்றும் UPDATE கட்டளைகளை ஒன்றாகச் செயல்படுத்த பல முயற்சிகளை இயக்கிய பிறகு, பிரச்சனை தர்க்கத்தில் இல்லை, ஆனால் எனது வினவல்களின் வரிசையில் உள்ளது என்பதை உணர்ந்தேன். SQL சேவையகத்திற்கு நீங்கள் முதலில் நெடுவரிசையைச் சேர்த்து, எந்தத் தரவையும் புதுப்பிக்கும் முன் அந்த மாற்றத்தைச் செய்ய வேண்டும். அவ்வாறு செய்யத் தவறினால், புதுப்பிப்பு செயல்படுத்தப்படும் நேரத்தில் புதிதாக சேர்க்கப்பட்ட நெடுவரிசையை கணினி அடையாளம் காணாததால் பிழை ஏற்படுகிறது.

எடுத்துக்காட்டாக, ஒரு பெரிய வாடிக்கையாளர் தரவுத்தளத்திற்கான குறிப்பிட்ட தேதி வரம்பின் அடிப்படையில் "IS_CURRENT" கொடியைப் புதுப்பிக்கும் பணியை நீங்கள் பெற்றுள்ளீர்கள் என்று கற்பனை செய்து பாருங்கள். நீங்கள் நெடுவரிசையைச் சேர்த்து, வரிசைகளை ஒற்றை ஸ்கிரிப்ட்டில் புதுப்பிக்க முயற்சித்தால், SQL சர்வர் "தவறான நெடுவரிசைப் பெயர்" பிழையை ஏற்படுத்தக்கூடும். புதுப்பிப்பு வினவல் அதைப் பயன்படுத்த முயற்சிக்கும் முன், நெடுவரிசை முழுமையாகச் செயல்படாததே இதற்குக் காரணம். 🚀

இந்தக் கட்டுரையில், நெடுவரிசையைச் சேர்ப்பதற்கும் வரிசைகளைப் புதுப்பிப்பதற்கும் சரியான வரிசையில் நடப்போம், பெரிய தரவுத்தொகுப்புகளுடன் கூட சீரான செயல்பாட்டை உறுதிசெய்வோம். மில்லியன் கணக்கான வரிசைகளை திறம்பட கையாள, SQL ஸ்கிரிப்ட்களை மேம்படுத்துவதற்கான உதவிக்குறிப்புகளில் நாங்கள் மூழ்குவோம், உங்கள் தரவு செயல்பாடுகள் தடையின்றி இயங்குவதை உறுதிசெய்கிறோம். நாங்கள் படிகளை ஆராய்ந்து, பொதுவான சிக்கல்களைச் சரிசெய்வதால், காத்திருங்கள்!

அட்டவணைகளை மாற்றுவதற்கும் வரிசைகளைப் புதுப்பிப்பதற்கும் SQL சர்வர் கட்டளைகளைப் புரிந்துகொள்வது

SQL சேவையகத்துடன் பணிபுரியும் போது, ​​குறிப்பாக பெரிய தரவுத்தொகுப்புகளைக் கொண்ட அட்டவணைகளுடன், அட்டவணையை மாற்றுவதற்கும் அதன் வரிசைகளைப் புதுப்பிப்பதற்கும் ஒரு ஒழுங்கான அணுகுமுறையைப் பின்பற்றுவது முக்கியம். ஒரு பொதுவான சூழ்நிலையில், அட்டவணையில் புதிய நெடுவரிசையைச் சேர்த்து, தேதிகளின் அடிப்படையில் கொடியை அமைப்பது போன்ற குறிப்பிட்ட நிபந்தனைகளின் அடிப்படையில் வரிசைகளைப் புதுப்பிக்க வேண்டும். நான் வழங்கிய ஸ்கிரிப்ட் இதற்கான எளிய அணுகுமுறையை நிரூபிக்கிறது, ஆனால் இந்த பணிகளை திறம்பட அடைவதற்கு அவசியமான முக்கிய SQL சர்வர் கட்டளைகளை இது எடுத்துக்காட்டுகிறது. தி மாற்று அட்டவணை அட்டவணையில் புதிய நெடுவரிசையைச் சேர்க்க கட்டளை பயன்படுத்தப்படுகிறது. உதாரணமாக, `ALTER TABLE dbo.sample ADD IS_CURRENT BIT;` ஐ இயக்கும்போது, ​​`BIT` வகையின் `IS_CURRENT` என்ற புதிய நெடுவரிசையை அறிமுகப்படுத்த அட்டவணை அமைப்பை மாற்றுகிறோம் (பூலியன் வகை, 0 அல்லது 1).

நெடுவரிசையைச் சேர்த்த பிறகு, அடுத்த கட்டமாக சில நிபந்தனைகளின் அடிப்படையில் அட்டவணையில் உள்ள வரிசைகளைப் புதுப்பிக்க வேண்டும். இதைப் பயன்படுத்தி அடையப்படுகிறது புதுப்பிக்கவும் கட்டளை. எடுத்துக்காட்டாக, வினவல் `UPDATE dbo.sample SET IS_CURRENT = 0 WHERE LOAD_DATE

சில சந்தர்ப்பங்களில், குறிப்பாக மில்லியன் கணக்கான வரிசைகளைக் கொண்ட பெரிய அட்டவணைகளைக் கையாளும் போது, ​​SQL கட்டளைகள் திறமையாக செயல்படுத்தப்படுவதை உறுதி செய்வது முக்கியம். இது போன்ற செயல்பாடுகள் DATEADD மற்றும் DATEDIFF நாடகத்திற்கு வாருங்கள். இந்த செயல்பாடுகள் தேதிகளை துல்லியமாக கையாளவும் ஒப்பிடவும் உங்களை அனுமதிக்கின்றன. இரண்டாவது புதுப்பிப்பு வினவலில், `DATEADD(மாதம், DATEDIFF(மாதம், 0, DATEADD(DAY, -60, GETDATE())), 0)` தற்போதைய தேதியிலிருந்து (`GETDATE()`) 60 நாட்களைக் கழித்து, மீட்டமைக்கிறது மாதத்தின் தொடக்க நேரம். இந்தச் செயல்பாடுகளைப் பயன்படுத்துவதன் மூலம், காலப்போக்கில் மாற்றியமைக்கும் அதிக ஆற்றல்மிக்க தேதி வரம்புகளை நாம் வரையறுக்கலாம், மேலும் தரவு வயதாகும்போதும் தற்போதைய நிலையில் இருப்பதை உறுதிசெய்யலாம்.

இருப்பினும், `ALTER TABLE` மற்றும் `UPDATE` அறிக்கைகள் இரண்டையும் ஒரே ஸ்கிரிப்ட்டில் இணைக்கும்போது, ​​SQL சர்வர் சில சமயங்களில் "தவறான நெடுவரிசைப் பெயர்" பிழையை ஏற்படுத்தலாம். `ALTER TABLE` ஆல் சேர்க்கப்பட்ட நெடுவரிசையானது SQL சர்வரால் முழுமையாக உறுதிப்படுத்தப்படாமல் இருக்கலாம் அல்லது அதே தொகுப்பில் அடுத்தடுத்த வினவல்களைச் செயல்படுத்தும் போது இது நிகழலாம். இந்தச் சிக்கலுக்கான தீர்வாக `ALTER TABLE` அறிக்கை மற்றும் `UPDATE` கட்டளைகளைப் பிரித்து, மேம்படுத்தல்களைச் செய்வதற்கு முன் அட்டவணை மாற்றத்தை முழுமையாகச் செய்திருப்பதை உறுதிசெய்கிறது. அவ்வாறு செய்வதன் மூலம், SQL சேவையகம் புதிய நெடுவரிசையை அதன் திட்டத்தில் சரியாகப் பதிவுசெய்து, அட்டவணையை சீராகப் புதுப்பிக்க அனுமதிக்கிறது. பெரிய தரவுத்தொகுப்புகளைக் கையாளும் போது, ​​இந்தச் செயல்பாடுகளை தொகுப்பாகச் செயல்படுத்துவது அல்லது பரிவர்த்தனைகளைப் பயன்படுத்தி செயல்முறை முடிந்தவரை திறமையாக இருப்பதை உறுதிசெய்து, சாத்தியமான காலக்கெடு அல்லது பூட்டுகளைத் தவிர்க்கவும். 🚀

ALTER TABLE dbo.sample ADD IS_CURRENT BIT;
GO
UPDATE dbo.sample
SET IS_CURRENT = 0
WHERE LOAD_DATE < '2025-01-01';
GO
UPDATE dbo.sample
SET IS_CURRENT = 0
WHERE LOAD_DATE >= CAST(DATEADD(month, DATEDIFF(month, 0, DATEADD(DAY, -60, GETDATE())), 0) AS DATE);
GO

BEGIN TRANSACTION;
ALTER TABLE dbo.sample ADD IS_CURRENT BIT;
UPDATE dbo.sample
SET IS_CURRENT = 0
WHERE LOAD_DATE < '2025-01-01';
UPDATE dbo.sample
SET IS_CURRENT = 0
WHERE LOAD_DATE >= CAST(DATEADD(month, DATEDIFF(month, 0, DATEADD(DAY, -60, GETDATE())), 0) AS DATE);
COMMIT TRANSACTION;

DECLARE @BatchSize INT = 10000;
DECLARE @RowCount INT;
SELECT @RowCount = COUNT(*) FROM dbo.sample WHERE IS_CURRENT IS ;
WHILE @RowCount > 0
BEGIN
    UPDATE TOP (@BatchSize) dbo.sample
    SET IS_CURRENT = 0
    WHERE LOAD_DATE < '2025-01-01' AND IS_CURRENT IS ;
    SET @RowCount = @RowCount - @BatchSize;
END

CREATE VIEW dbo.Sample_View AS
SELECT LOAD_DATE, IS_CURRENT
FROM dbo.sample
WHERE LOAD_DATE < '2025-01-01';
GO
CREATE UNIQUE CLUSTERED INDEX idx_sample_view ON dbo.Sample_View (LOAD_DATE);
GO
UPDATE dbo.sample
SET IS_CURRENT = 0
FROM dbo.Sample_View v
WHERE dbo.sample.LOAD_DATE = v.LOAD_DATE;
GO

EXEC msdb.dbo.sp_add_job @job_name = 'Update IS_CURRENT Job';
EXEC msdb.dbo.sp_add_jobstep @job_name = 'Update IS_CURRENT Job',
@step_name = 'Update IS_CURRENT Step',
@subsystem = 'TSQL',
@command = 'UPDATE dbo.sample SET IS_CURRENT = 0 WHERE LOAD_DATE < ''2025-01-01'';',
@retry_attempts = 5, @retry_interval = 5;
EXEC msdb.dbo.sp_add_schedule @schedule_name = 'Daily Schedule',
@enabled = 1, @freq_type = 4, @freq_interval = 1, @active_start_time = 010000;
EXEC msdb.dbo.sp_attach_schedule @job_name = 'Update IS_CURRENT Job', @schedule_name = 'Daily Schedule';
EXEC msdb.dbo.sp_start_job @job_name = 'Update IS_CURRENT Job';

ஸ்கிரிப்ட்களில் பயன்படுத்தப்படும் குறிப்பிட்ட SQL கட்டளைகளின் விளக்கம்

பெரிய அட்டவணைகளுக்கு SQL சர்வர் ஸ்கிரிப்ட்களை மேம்படுத்துதல்

SQL சர்வரில் பெரிய டேபிள்களுடன் பணிபுரியும் போது, ​​டேபிள் கட்டமைப்பை மாற்றும் போது மற்றும் ஏற்கனவே உள்ள வரிசைகளை புதுப்பிக்கும் போது செயல்திறன் மேம்படுத்தல் நுட்பங்களைக் கருத்தில் கொள்வது அவசியம். பெரிய டேபிள்களில் ஸ்கிரிப்ட்களை இயக்கும் போது எதிர்கொள்ளும் பொதுவான சிக்கல்களில் ஒன்று, இந்த செயல்பாடுகளை முடிக்க எடுக்கும் நேரம், குறிப்பாக ஒரு அட்டவணையில் ஒரு மில்லியன் வரிசைகள் இருக்கும் போது. உடன் நெடுவரிசையைச் சேர்ப்பது போன்ற கேள்விக்குரிய செயல்பாடுகள் மாற்று அட்டவணை குறிப்பிட்ட தேதி நிபந்தனைகளின் அடிப்படையில் கட்டளை மற்றும் வரிசைகளை புதுப்பித்தல், கணிசமான அளவு நேரம் எடுக்கும். செயல்திறன் முன்னுரிமையாக இருக்கும் உற்பத்தி தரவுத்தளங்களில் நீங்கள் பணிபுரியும் போது இந்த செயல்பாடுகளை மேம்படுத்துவது மிகவும் முக்கியமானது. ஒரு ஒற்றை ஸ்கிரிப்ட் நீண்ட காலத்திற்கு அட்டவணையை பூட்டலாம், இது மற்ற வினவல்கள் மற்றும் பயனர்களை பாதிக்கிறது.

செயல்திறன் சிக்கல்களைத் தணிக்க, பணிகளைச் சிறிய படிகளாகப் பிரிப்பதே சிறந்த அணுகுமுறைகளில் ஒன்றாகும். எடுத்துக்காட்டாக, ஒரு நெடுவரிசையைச் சேர்த்து அனைத்து வரிசைகளையும் ஒரே ஸ்கிரிப்ட்டில் புதுப்பிப்பதை விட, அதை இயக்குவதைக் கவனியுங்கள் மாற்று அட்டவணை தனித்தனியாக கட்டளையிடவும் UPDATE செயல்பாடுகள். சிறிய துண்டுகளாக பதிவுகளை புதுப்பிப்பதன் மூலம், ஸ்கிரிப்ட் சர்வரை மூழ்கடிக்காது. நீங்கள் பயன்படுத்த முடியும் UPDATE TOP ஒவ்வொரு பரிவர்த்தனையிலும் பாதிக்கப்பட்ட வரிசைகளின் எண்ணிக்கையைக் கட்டுப்படுத்த கட்டளை. கூடுதலாக, உங்களில் பயன்படுத்தப்படும் நெடுவரிசைகளில் குறியீடுகளை உருவாக்குவதும் நல்லது WHERE உட்பிரிவுகள் (போன்ற LOAD_DATE) தேடல் செயல்முறையை விரைவுபடுத்த. பெரிய தரவுத்தொகுப்புகளுக்கு, தேதி வரம்புகளின் அடிப்படையில் வரிசைகளை வடிகட்ட எடுக்கும் நேரத்தை குறியீடுகள் குறைக்கின்றன.

மற்றொரு முக்கியமான கருத்தில் பரிவர்த்தனைகளின் பயன்பாடு மற்றும் செயல்பாடுகள் அணுவாக செயல்படுத்தப்படுவதை உறுதிசெய்யும் பிழை கையாளுதல் ஆகும். உங்கள் போர்த்தி மூலம் UPDATE உள்ளே அறிக்கைகள் a BEGIN TRANSACTION மற்றும் COMMIT, மாற்றங்கள் பாதுகாப்பான மற்றும் சீரான முறையில் செய்யப்படுவதை உறுதிசெய்கிறீர்கள். செயல்முறையின் எந்தப் பகுதியும் தோல்வியுற்றால், நீங்கள் பயன்படுத்தலாம் ROLLBACK மாற்றங்களை மாற்றியமைக்க, பகுதி புதுப்பிப்புகளைத் தடுக்கிறது. கூடுதலாக, நெரிசல் இல்லாத நேரங்களில் ஸ்கிரிப்ட்களை இயக்குவது அல்லது இந்த செயல்பாடுகளை திட்டமிட SQL சர்வர் ஏஜென்டைப் பயன்படுத்துவது கணினி செயல்திறனில் குறைந்த தாக்கத்தை உறுதி செய்கிறது. இந்த மேம்படுத்தல்கள் மூலம், கணினி ஒருமைப்பாட்டை பராமரிக்கும் போது, ​​பெரிய அட்டவணைகளில் சிக்கலான மாற்றங்களை நீங்கள் பாதுகாப்பாக செயல்படுத்தலாம். 🖥️