Rješavanje problema s konfiguracijom SSL-a u Ubuntu 24.04.1 SOLR 9.6.1 i Zookeeper 3.8.1

Izazovi u omogućavanju SSL-a za SOLR s integracijom Zookeepera

Omogućavanje SSL-a u SOLR-Zookeeper postavkama može biti nezgodno, posebno kada radite s Ubuntu 24.04.1 poslužiteljima. Ovaj konfiguracijski proces osigurava sigurnu komunikaciju između čvorova, ali čak i manja pogrešna konfiguracija može spriječiti usluge kao što je SOLR Admin UI da ispravno funkcioniraju. Ako ste nedavno pokušali omogućiti SSL i naišli ste na probleme, niste jedini.

U ovom ćemo članku proći kroz uobičajeni problem s kojim se suočavamo tijekom aktivacije SSL-a u SOLR-u 9.6.1 kada je integriran sa Zookeeperom 3.8.1 na lokalnom Ubuntu poslužitelju. Dotično postavljanje uključuje pokretanje SOLR-a i Zookeepera na istom poslužitelju s jednim shardom, više replika i osnovnom autentifikacijom. Fokus će biti na rješavanju grešaka koje se javljaju nakon ažuriranja SSL postavki.

Pogrešne konfiguracije SSL-a često rezultiraju pogreškama poput poruka "Administratorsko sučelje se ne pokreće" ili "Broken pipe" u datotekama zapisnika, što može biti teško riješiti. Ove pogreške obično proizlaze iz problema s certifikatom ili kvarova SSL veze unutar čvorova SOLR ili Zookeeper, što dovodi do prekida komunikacije između usluga.

U sljedećim odjeljcima zaronit ćemo dublje u datoteke dnevnika, analizirati potencijalne uzroke ovih pogrešaka povezanih sa SSL-om i ponuditi rješenja korak po korak kako bismo osigurali glatku konfiguraciju SSL-a za vaše postavke SOLR-a i Zookeepera.

Analiza SSL konfiguracije i skriptiranja za SOLR i Zookeeper

Prva skripta automatizira proces ponovnog pokretanja SOLR-a i Zookeepera, istovremeno osiguravajući pravilnu primjenu SSL konfiguracija. Koristi Bash skriptiranje za prolazak kroz Zookeeper instance i njihovo ponovno pokretanje s ažuriranim SSL postavkama. Važnost ove skripte leži u upravljanju više Zookeeper čvorova, budući da se SSL konfiguracije moraju jednoobrazno primijeniti na cijeli klaster. Korištenje `zkServer.sh ponovnog pokretanja` osigurava da se svaki Zookeeper čvor pravilno ponovno pokreće sa svojom odgovarajućom konfiguracijskom datotekom, čineći skriptu učinkovitom za upravljanje klasterom u postavljanju s više čvorova.

Skripta također rješava ponovno pokretanje SOLR instance pomoću `solr restart`. SOLR se oslanja na Jetty za rukovanje HTTPS zahtjevima, a skripta osigurava da se postavke povezane sa SSL-om kao što su staze za skladište ključeva i spremište povjerenja pravilno ponovno učitavaju. Ovo sprječava potencijalne kvarove SSL rukovanja prilikom pristupa SOLR Admin UI, koji mogu nastati zbog zastarjelih ili pogrešno konfiguriranih SSL certifikata. Automatizacijom ovih zadataka, skripta smanjuje ručne pogreške, posebno pri upravljanju SSL certifikatima na više usluga na istom poslužitelju.

Druga skripta koristi se za stvaranje i upravljanje Java KeyStores za SSL u SOLR-u i Zookeeperu. Javin uslužni program Keytool koristi se za generiranje parova ključeva i uvoz certifikata u spremište ključeva. Naredba `keytool -genkeypair` generira potrebne SSL certifikate, dok se `keytool -import` koristi za dodavanje pouzdanih korijenskih i posrednih certifikata. Ovi certifikati osiguravaju da je SSL komunikacija između čvorova pouzdana i sigurna. Ova skripta ključna je za ispravno postavljanje i upravljanje SSL certifikatima, koji imaju središnju ulogu u omogućavanju sigurne komunikacije između usluga.

Naposljetku, isporučena Python skripta djeluje kao alat za praćenje dnevnika posebno dizajniran za otkrivanje pogrešaka SSL rukovanja. Kontinuiranim čitanjem SSL zapisa u stvarnom vremenu, ova skripta može identificirati probleme povezane sa SSL-om kao što je `SSL rukovanje nije uspjelo`. Ova razina zapisivanja ključna je za dijagnosticiranje problema u složenim okruženjima u kojima usluge poput Zookeepera i SOLR-a komuniciraju preko šifriranih kanala. Praćenje u stvarnom vremenu pomaže u brzom prepoznavanju glavnog uzroka kvarova SSL-a, koji mogu proizaći iz nepodudarnosti certifikata, netočne konfiguracije ili isteklih certifikata. Ovaj alat za rješavanje problema posebno je vrijedan u okruženjima s višestrukim čvorovima i SSL složenošću.

#!/bin/bash
# Script to automate SOLR and Zookeeper restart with SSL configuration
# Paths to configuration files
ZOOKEEPER_DIR="/opt/zookeeper"
SOLR_DIR="/opt/solr"
SSL_KEYSTORE="/opt/solr-9.6.1/server/etc/solr-ssl.jks"
ZOOKEEPER_CONFIG="$ZOOKEEPER_DIR/conf/zoo.cfg"
SOLR_CONFIG="$SOLR_DIR/server/etc/jetty-ssl.xml"

# Restart Zookeeper with SSL configuration
echo "Restarting Zookeeper..."
for i in {1..3}; do
    /bin/bash $ZOOKEEPER_DIR/bin/zkServer.sh restart $ZOOKEEPER_DIR/data/z$i/zoo.cfg
done

# Restart SOLR with SSL configuration
echo "Restarting SOLR..."
/bin/bash $SOLR_DIR/bin/solr restart -c -p 8983 -z localhost:2181,localhost:2182,localhost:2183 -m 5g -force

#!/bin/bash
# Generate a keystore with a self-signed certificate
keytool -genkeypair -alias solr -keyalg RSA -keystore /opt/solr-9.6.1/server/etc/solr-ssl.jks

# Import intermediate and root certificates
keytool -import -trustcacerts -alias root -file /path/to/rootCA.pem -keystore /opt/solr-9.6.1/server/etc/solr-ssl.jks
keytool -import -trustcacerts -alias intermediate -file /path/to/intermediateCA.pem -keystore /opt/solr-9.6.1/server/etc/solr-ssl.jks

# Configure Zookeeper SSL settings
echo "ssl.client.enable=true" >> $ZOOKEEPER_DIR/conf/zoo.cfg
echo "ssl.quorum.keyStore.location=/opt/solr-9.6.1/server/etc/solr-ssl.jks" >> $ZOOKEEPER_DIR/conf/zoo.cfg
echo "ssl.quorum.trustStore.location=/opt/solr-9.6.1/server/etc/solr-ssl.jks" >> $ZOOKEEPER_DIR/conf/zoo.cfg

import subprocess
import time

def monitor_ssl_logs(log_file):
    with open(log_file, 'r') as f:
        f.seek(0, 2)  # Move to the end of file
        while True:
            line = f.readline()
            if not line:
                time.sleep(0.1)
                continue
            if "SSL handshake failed" in line:
                print(f"Error: {line.strip()}")

# Start monitoring Zookeeper SSL logs
monitor_ssl_logs("/opt/zookeeper/logs/zookeeper.log")

SSL rukovanje i složenost konfiguracije u SOLR-u i Zookeeperu

Jedan od ključnih aspekata kojima se treba pozabaviti prilikom omogućavanja SSL-a u SOLR-u i Zookeeperu je kako SSL rukovanje proces radi. Rukovanje uključuje razmjenu certifikata između klijenta i poslužitelja, provjeravajući povjerenje prije nego što započne prijenos šifriranih podataka. Često se pojavljuju problemi ako certifikati nisu ispravno postavljeni u konfiguracijama SOLR-a i Zookeeper-a. Na primjer, neusklađeni lanci certifikata ili lozinke spremišta ključeva mogu spriječiti sustav da uspješno pokrene SSL vezu. SOLR se oslanja na Jetty za upravljanje SSL komunikacijom, zbog čega je važno osigurati da Jetty konfiguracija bude sinkronizirana s vašim postavkama spremišta ključeva.

Još jedan uobičajeni izazov je postavljanje SSL-a na više čvorova, posebno u kvorumu Zookeepera. S više Zookeeper čvorova, SSL konfiguracija mora biti dosljedna na svim poslužiteljima kako bi se omogućila sigurna komunikacija klijent-poslužitelj i poslužitelj-poslužitelj. Svaki čvor mora imati isto spremište ključeva i postavku skladišta povjerenja, kao i identične SSL protokole kao što su TLSv1.2. Ove se konfiguracije nalaze u datoteci `zoo.cfg`. Svako odstupanje između čvorova može dovesti do problema poput pogreške "pukla cijev" ili "utičnica je zatvorena", kao što se vidi u scenariju problema.

Također je bitno razmotriti kako Zookeeper upravlja komunikacijom kvoruma s omogućenim SSL-om. Postavljanjem `ssl.quorum.enabledProtocols`, osiguravate da se sigurna komunikacija između Zookeeper čvorova odvija preko pouzdanog protokola kao što je TLS. Osim toga, zadržavanje `ssl.quorum.hostnameVerification=false` može biti potrebno u slučajevima kada se čvorovi Zookeepera referiraju prema IP-u, a ne prema nazivima hostova, jer nepodudaranje imena hosta može prekinuti SSL rukovanje. Fino podešavanje ovih postavki može značajno poboljšati sigurnu komunikaciju u vašoj distribuiranoj postavci.