উবুন্টু 24.04.1 এর SOLR 9.6.1 এবং Zookeeper 3.8.1-এ SSL কনফিগারেশন সমস্যার সমাধান করা

জুকিপার ইন্টিগ্রেশনের সাথে SOLR-এর জন্য SSL সক্ষম করার চ্যালেঞ্জ

SOLR-Zookeeper সেটআপে SSL সক্ষম করা কঠিন হতে পারে, বিশেষ করে যখন Ubuntu 24.04.1 সার্ভারের সাথে কাজ করে। এই কনফিগারেশন প্রক্রিয়াটি নোডগুলির মধ্যে সুরক্ষিত যোগাযোগ নিশ্চিত করে, তবে একটি ছোটখাট ভুল কনফিগারেশনও SOLR অ্যাডমিন UI-এর মতো পরিষেবাগুলিকে সঠিকভাবে কাজ করা থেকে আটকাতে পারে। আপনি যদি সম্প্রতি SSL সক্ষম করার চেষ্টা করে থাকেন এবং সমস্যার সম্মুখীন হন তবে আপনি একা নন৷

এই নিবন্ধে, আমরা স্থানীয় উবুন্টু সার্ভারে Zookeeper 3.8.1 এর সাথে একীভূত করার সময় SOLR 9.6.1-এ SSL অ্যাক্টিভেশনের সময় মুখোমুখি হওয়া একটি সাধারণ সমস্যার মধ্য দিয়ে হেঁটে যাব। প্রশ্নে থাকা সেটআপে একটি একক শার্ড, একাধিক প্রতিলিপি এবং মৌলিক প্রমাণীকরণ সহ একই সার্ভারে SOLR এবং Zookeeper চালানো জড়িত। SSL সেটিংস আপডেট করার পরে যে ত্রুটিগুলি দেখা দেয় সেগুলি সমাধান করার দিকে ফোকাস করা হবে৷

SSL ভুল কনফিগারেশনের ফলে প্রায়ই লগ ফাইলে "অ্যাডমিন UI চালু হচ্ছে না" বা "ব্রোকেন পাইপ" বার্তার মতো ত্রুটি দেখা দেয়, যা সমস্যার সমাধান করা কঠিন হতে পারে। এই ত্রুটিগুলি সাধারণত শংসাপত্রের সমস্যা বা SOLR বা Zookeeper নোডের মধ্যে SSL সংযোগ ব্যর্থতা থেকে উদ্ভূত হয়, যার ফলে পরিষেবাগুলির মধ্যে যোগাযোগ বিচ্ছিন্ন হয়৷

নিম্নলিখিত বিভাগগুলিতে, আমরা লগ ফাইলগুলির গভীরে প্রবেশ করব, এই SSL-সম্পর্কিত ত্রুটিগুলির সম্ভাব্য কারণগুলি বিশ্লেষণ করব এবং আপনার SOLR এবং Zookeeper সেটআপের জন্য একটি মসৃণ SSL কনফিগারেশন নিশ্চিত করতে ধাপে ধাপে সমাধানগুলি অফার করব৷

SOLR এবং Zookeeper-এর জন্য SSL কনফিগারেশন এবং স্ক্রিপ্টিং বিশ্লেষণ করা

প্রথম স্ক্রিপ্টটি SOLR এবং Zookeeper পুনরায় চালু করার প্রক্রিয়াটিকে স্বয়ংক্রিয় করে যখন SSL কনফিগারেশনগুলি সঠিকভাবে প্রয়োগ করা হয়েছে তা নিশ্চিত করে। এটি Zookeeper দৃষ্টান্তগুলি লুপ করতে এবং আপডেট করা SSL সেটিংসের সাথে পুনরায় চালু করতে ব্যাশ স্ক্রিপ্টিং ব্যবহার করে। এই স্ক্রিপ্টের গুরুত্ব একাধিক Zookeeper নোড পরিচালনার মধ্যে নিহিত, কারণ SSL কনফিগারেশনগুলি অবশ্যই সমগ্র ক্লাস্টার জুড়ে সমানভাবে প্রয়োগ করতে হবে। `zkServer.sh রিস্টার্ট` ব্যবহার নিশ্চিত করে যে প্রতিটি Zookeeper নোড তার নিজ নিজ কনফিগারেশন ফাইলের সাথে সঠিকভাবে পুনরায় চালু হয়েছে, যাতে স্ক্রিপ্টকে মাল্টি-নোড সেটআপে ক্লাস্টার পরিচালনার জন্য দক্ষ করে তোলে।

স্ক্রিপ্টটি `solr রিস্টার্ট` ব্যবহার করে SOLR ইন্সট্যান্সের পুনঃসূচনাকেও সম্বোধন করে। HTTPS অনুরোধগুলি পরিচালনা করার জন্য SOLR জেটির উপর নির্ভর করে এবং স্ক্রিপ্ট নিশ্চিত করে যে SSL- সম্পর্কিত সেটিংস যেমন কীস্টোর এবং ট্রাস্টস্টোর পাথগুলি সঠিকভাবে পুনরায় লোড করা হয়েছে। এটি SOLR অ্যাডমিন UI অ্যাক্সেস করার সময় সম্ভাব্য SSL হ্যান্ডশেক ব্যর্থতা প্রতিরোধ করে, যা পুরানো বা ভুল কনফিগার করা SSL শংসাপত্র থেকে উদ্ভূত হতে পারে। এই কাজগুলিকে স্বয়ংক্রিয় করার মাধ্যমে, স্ক্রিপ্টটি ম্যানুয়াল ত্রুটি কমিয়ে দেয়, বিশেষ করে যখন একই সার্ভারে একাধিক পরিষেবা জুড়ে SSL সার্টিফিকেট পরিচালনা করা হয়।

দ্বিতীয় স্ক্রিপ্টটি SOLR এবং Zookeeper উভয় ক্ষেত্রে SSL-এর জন্য জাভা কীস্টোর তৈরি এবং পরিচালনা করতে ব্যবহৃত হয়। জাভার কীটুল ইউটিলিটি কী জোড়া তৈরি করতে এবং কীস্টোরে শংসাপত্র আমদানি করতে নিযুক্ত করা হয়। কমান্ড `keytool -genkeypair` প্রয়োজনীয় SSL সার্টিফিকেট তৈরি করে, যখন `keytool -import` বিশ্বস্ত রুট এবং মধ্যবর্তী সার্টিফিকেট যোগ করতে ব্যবহৃত হয়। এই শংসাপত্রগুলি নিশ্চিত করে যে নোডগুলির মধ্যে SSL যোগাযোগ বিশ্বস্ত এবং সুরক্ষিত। এই স্ক্রিপ্টটি সঠিকভাবে SSL সার্টিফিকেট সেট আপ এবং পরিচালনার জন্য অত্যন্ত গুরুত্বপূর্ণ, যা পরিষেবাগুলির মধ্যে নিরাপদ যোগাযোগ সক্ষম করতে কেন্দ্রীয় ভূমিকা পালন করে।

অবশেষে, পাইথন স্ক্রিপ্টটি লগ মনিটরিং টুল হিসাবে কাজ করে যা বিশেষভাবে SSL হ্যান্ডশেক ত্রুটি সনাক্ত করার জন্য ডিজাইন করা হয়েছে। রিয়েল টাইমে SSL লগগুলি ক্রমাগত পড়ার মাধ্যমে, এই স্ক্রিপ্টটি SSL-সম্পর্কিত সমস্যাগুলি যেমন `SSL হ্যান্ডশেক ব্যর্থ হয়েছে' সনাক্ত করতে পারে৷ জটিল পরিবেশে সমস্যা নির্ণয়ের জন্য এই স্তরের লগিং অপরিহার্য যেখানে Zookeeper এবং SOLR এর মতো পরিষেবাগুলি এনক্রিপ্ট করা চ্যানেলগুলির মাধ্যমে যোগাযোগ করে৷ রিয়েল-টাইম মনিটরিং দ্রুত SSL ব্যর্থতার মূল কারণ সনাক্ত করতে সাহায্য করে, যা শংসাপত্রের অমিল, ভুল কনফিগারেশন বা মেয়াদোত্তীর্ণ শংসাপত্র থেকে উদ্ভূত হতে পারে। এই সমস্যা সমাধানের টুলটি একাধিক নোড এবং SSL জটিলতা সহ পরিবেশে বিশেষভাবে মূল্যবান।

#!/bin/bash
# Script to automate SOLR and Zookeeper restart with SSL configuration
# Paths to configuration files
ZOOKEEPER_DIR="/opt/zookeeper"
SOLR_DIR="/opt/solr"
SSL_KEYSTORE="/opt/solr-9.6.1/server/etc/solr-ssl.jks"
ZOOKEEPER_CONFIG="$ZOOKEEPER_DIR/conf/zoo.cfg"
SOLR_CONFIG="$SOLR_DIR/server/etc/jetty-ssl.xml"

# Restart Zookeeper with SSL configuration
echo "Restarting Zookeeper..."
for i in {1..3}; do
    /bin/bash $ZOOKEEPER_DIR/bin/zkServer.sh restart $ZOOKEEPER_DIR/data/z$i/zoo.cfg
done

# Restart SOLR with SSL configuration
echo "Restarting SOLR..."
/bin/bash $SOLR_DIR/bin/solr restart -c -p 8983 -z localhost:2181,localhost:2182,localhost:2183 -m 5g -force

#!/bin/bash
# Generate a keystore with a self-signed certificate
keytool -genkeypair -alias solr -keyalg RSA -keystore /opt/solr-9.6.1/server/etc/solr-ssl.jks

# Import intermediate and root certificates
keytool -import -trustcacerts -alias root -file /path/to/rootCA.pem -keystore /opt/solr-9.6.1/server/etc/solr-ssl.jks
keytool -import -trustcacerts -alias intermediate -file /path/to/intermediateCA.pem -keystore /opt/solr-9.6.1/server/etc/solr-ssl.jks

# Configure Zookeeper SSL settings
echo "ssl.client.enable=true" >> $ZOOKEEPER_DIR/conf/zoo.cfg
echo "ssl.quorum.keyStore.location=/opt/solr-9.6.1/server/etc/solr-ssl.jks" >> $ZOOKEEPER_DIR/conf/zoo.cfg
echo "ssl.quorum.trustStore.location=/opt/solr-9.6.1/server/etc/solr-ssl.jks" >> $ZOOKEEPER_DIR/conf/zoo.cfg

import subprocess
import time

def monitor_ssl_logs(log_file):
    with open(log_file, 'r') as f:
        f.seek(0, 2)  # Move to the end of file
        while True:
            line = f.readline()
            if not line:
                time.sleep(0.1)
                continue
            if "SSL handshake failed" in line:
                print(f"Error: {line.strip()}")

# Start monitoring Zookeeper SSL logs
monitor_ssl_logs("/opt/zookeeper/logs/zookeeper.log")

SSL হ্যান্ডশেক এবং SOLR এবং Zookeeper-এ কনফিগারেশন জটিলতা

SOLR এবং Zookeeper-এ SSL সক্রিয় করার সময় একটি গুরুত্বপূর্ণ দিক হল কিভাবে SSL হ্যান্ডশেক প্রক্রিয়া কাজ করে। হ্যান্ডশেক ক্লায়েন্ট এবং সার্ভারের মধ্যে সার্টিফিকেট বিনিময় জড়িত, এনক্রিপ্ট করা ডেটা ট্রান্সমিশন শুরু হওয়ার আগে বিশ্বাস যাচাই করা। SOLR এবং Zookeeper উভয় কনফিগারেশনে সার্টিফিকেট সঠিকভাবে সেট করা না থাকলে প্রায়ই সমস্যা দেখা দেয়। উদাহরণস্বরূপ, অমিল সার্টিফিকেট চেইন বা কীস্টোর পাসওয়ার্ড সিস্টেমটিকে সফলভাবে একটি SSL সংযোগ শুরু করা থেকে আটকাতে পারে। SSL কমিউনিকেশন পরিচালনার জন্য SOLR জেটির উপর নির্ভর করে, জেটি কনফিগারেশন আপনার কীস্টোর সেটিংসের সাথে সিঙ্ক করা হয়েছে তা নিশ্চিত করা গুরুত্বপূর্ণ করে তোলে।

আরেকটি সাধারণ চ্যালেঞ্জ হল একাধিক নোড জুড়ে SSL সেট আপ করা, বিশেষ করে একটি Zookeeper কোরামে। একাধিক জুকিপার নোডের সাথে, নিরাপদ ক্লায়েন্ট-টু-সার্ভার এবং সার্ভার-টু-সার্ভার যোগাযোগ সক্ষম করতে SSL কনফিগারেশন সব সার্ভারে সামঞ্জস্যপূর্ণ হতে হবে। প্রতিটি নোডে অবশ্যই একই কীস্টোর এবং ট্রাস্টস্টোর সেটআপ থাকতে হবে, সেইসাথে অভিন্ন SSL প্রোটোকল যেমন TLSv1.2. এই কনফিগারেশনগুলি `zoo.cfg` ফাইলে পাওয়া যায়। নোডের মধ্যে যেকোন অমিলের কারণে "ভাঙা পাইপ" বা "সকেট বন্ধ আছে" ত্রুটির মতো সমস্যা দেখা দিতে পারে, যেমনটি সমস্যা পরিস্থিতিতে দেখা গেছে।

চিড়িয়াখানা কিভাবে SSL সক্ষম করে কোরাম যোগাযোগ পরিচালনা করে তা বিবেচনা করাও অপরিহার্য। `ssl.quorum.enabledProtocols` সেট করে, আপনি নিশ্চিত করুন যে জুকিপার নোডের মধ্যে নিরাপদ যোগাযোগ TLS-এর মতো বিশ্বস্ত প্রোটোকলের মাধ্যমে ঘটে। অতিরিক্তভাবে, `ssl.quorum.hostnameVerification=false` রাখা প্রয়োজন হতে পারে এমন ক্ষেত্রে যেখানে Zookeeper নোডগুলি হোস্টনামের পরিবর্তে IP দ্বারা উল্লেখ করা হয়, কারণ হোস্টনামের অমিল SSL হ্যান্ডশেককে বাধা দিতে পারে। এই সেটিংস সূক্ষ্ম-টিউনিং আপনার বিতরণ সেটআপ জুড়ে নিরাপদ যোগাযোগের উল্লেখযোগ্যভাবে উন্নতি করতে পারে।