Løse SSL-konfigurasjonsproblemer i Ubuntu 24.04.1s SOLR 9.6.1 og Zookeeper 3.8.1

Utfordringer med å aktivere SSL for SOLR med Zookeeper-integrasjon

Å aktivere SSL i et SOLR-Zookeeper-oppsett kan være vanskelig, spesielt når du arbeider med Ubuntu 24.04.1-servere. Denne konfigurasjonsprosessen sikrer sikker kommunikasjon mellom noder, men selv en mindre feilkonfigurasjon kan forhindre tjenester som SOLR Admin UI fra å fungere ordentlig. Hvis du nylig har prøvd å aktivere SSL og har støtt på problemer, er du ikke alene.

I denne artikkelen vil vi gå gjennom et vanlig problem som står overfor under SSL-aktivering i SOLR 9.6.1 når det er integrert med Zookeeper 3.8.1 på en lokal Ubuntu-server. Det aktuelle oppsettet innebærer å kjøre SOLR og Zookeeper på samme server med en enkelt shard, flere replikaer og grunnleggende autentisering. Fokus vil være på å løse feilene som oppstår etter oppdatering av SSL-innstillinger.

SSL-feilkonfigurasjoner resulterer ofte i feil som "Admin UI starter ikke" eller "Broken pipe"-meldinger i loggfiler, noe som kan være utfordrende å feilsøke. Disse feilene oppstår vanligvis fra sertifikatproblemer eller SSL-tilkoblingsfeil i SOLR- eller Zookeeper-nodene, noe som fører til ødelagt kommunikasjon mellom tjenester.

I de følgende delene vil vi dykke dypere inn i loggfilene, analysere de potensielle årsakene til disse SSL-relaterte feilene og tilby trinnvise løsninger for å sikre en jevn SSL-konfigurasjon for ditt SOLR- og Zookeeper-oppsett.

Analyserer SSL-konfigurasjon og skripting for SOLR og Zookeeper

Det første skriptet automatiserer prosessen med å starte SOLR og Zookeeper på nytt, samtidig som det sikrer at SSL-konfigurasjonene er riktig brukt. Den bruker Bash-skripting for å gå gjennom Zookeeper-forekomstene og starte dem på nytt med oppdaterte SSL-innstillinger. Viktigheten av dette skriptet ligger i å administrere flere Zookeeper-noder, ettersom SSL-konfigurasjoner må brukes jevnt over hele klyngen. Bruken av `zkServer.sh restart` sikrer at hver Zookeeper-node omstartes riktig med sin respektive konfigurasjonsfil, noe som gjør skriptet effektivt for klyngeadministrasjon i et multi-node-oppsett.

Skriptet adresserer også omstart av SOLR-forekomsten ved å bruke "solr restart". SOLR er avhengig av Jetty for håndtering av HTTPS-forespørsler, og skriptet sikrer at SSL-relaterte innstillinger som nøkkellager- og truststore-baner lastes inn på nytt. Dette forhindrer potensielle SSL-håndtrykkfeil ved tilgang til SOLR Admin UI, som kan oppstå fra utdaterte eller feilkonfigurerte SSL-sertifikater. Ved å automatisere disse oppgavene, minimerer skriptet manuelle feil, spesielt når du administrerer SSL-sertifikater på tvers av flere tjenester på samme server.

Det andre skriptet brukes til å lage og administrere Java KeyStores for SSL i både SOLR og Zookeeper. Javas Keytool-verktøy brukes til å generere nøkkelpar og importere sertifikater til nøkkellageret. Kommandoen `keytool -genkeypair` genererer de nødvendige SSL-sertifikatene, mens `keytool -import` brukes til å legge til pålitelige rot- og mellomsertifikater. Disse sertifikatene sikrer at SSL-kommunikasjon mellom noder er klarert og sikker. Dette skriptet er avgjørende for riktig oppsett og administrasjon av SSL-sertifikater, som spiller en sentral rolle for å muliggjøre sikker kommunikasjon mellom tjenestene.

Til slutt fungerer Python-skriptet som et loggovervåkingsverktøy spesielt utviklet for å oppdage SSL-håndtrykkfeil. Ved kontinuerlig å lese SSL-logger i sanntid, kan dette skriptet identifisere SSL-relaterte problemer som "SSL-håndtrykk mislyktes". Dette nivået av logging er avgjørende for å diagnostisere problemer i komplekse miljøer der tjenester som Zookeeper og SOLR kommuniserer over krypterte kanaler. Sanntidsovervåking hjelper til med å raskt identifisere årsaken til SSL-feil, som kan stamme fra sertifikatfeil, feil konfigurasjon eller utløpte sertifikater. Dette feilsøkingsverktøyet er spesielt verdifullt i miljøer med flere noder og SSL-kompleksitet.

#!/bin/bash
# Script to automate SOLR and Zookeeper restart with SSL configuration
# Paths to configuration files
ZOOKEEPER_DIR="/opt/zookeeper"
SOLR_DIR="/opt/solr"
SSL_KEYSTORE="/opt/solr-9.6.1/server/etc/solr-ssl.jks"
ZOOKEEPER_CONFIG="$ZOOKEEPER_DIR/conf/zoo.cfg"
SOLR_CONFIG="$SOLR_DIR/server/etc/jetty-ssl.xml"

# Restart Zookeeper with SSL configuration
echo "Restarting Zookeeper..."
for i in {1..3}; do
    /bin/bash $ZOOKEEPER_DIR/bin/zkServer.sh restart $ZOOKEEPER_DIR/data/z$i/zoo.cfg
done

# Restart SOLR with SSL configuration
echo "Restarting SOLR..."
/bin/bash $SOLR_DIR/bin/solr restart -c -p 8983 -z localhost:2181,localhost:2182,localhost:2183 -m 5g -force

#!/bin/bash
# Generate a keystore with a self-signed certificate
keytool -genkeypair -alias solr -keyalg RSA -keystore /opt/solr-9.6.1/server/etc/solr-ssl.jks

# Import intermediate and root certificates
keytool -import -trustcacerts -alias root -file /path/to/rootCA.pem -keystore /opt/solr-9.6.1/server/etc/solr-ssl.jks
keytool -import -trustcacerts -alias intermediate -file /path/to/intermediateCA.pem -keystore /opt/solr-9.6.1/server/etc/solr-ssl.jks

# Configure Zookeeper SSL settings
echo "ssl.client.enable=true" >> $ZOOKEEPER_DIR/conf/zoo.cfg
echo "ssl.quorum.keyStore.location=/opt/solr-9.6.1/server/etc/solr-ssl.jks" >> $ZOOKEEPER_DIR/conf/zoo.cfg
echo "ssl.quorum.trustStore.location=/opt/solr-9.6.1/server/etc/solr-ssl.jks" >> $ZOOKEEPER_DIR/conf/zoo.cfg

import subprocess
import time

def monitor_ssl_logs(log_file):
    with open(log_file, 'r') as f:
        f.seek(0, 2)  # Move to the end of file
        while True:
            line = f.readline()
            if not line:
                time.sleep(0.1)
                continue
            if "SSL handshake failed" in line:
                print(f"Error: {line.strip()}")

# Start monitoring Zookeeper SSL logs
monitor_ssl_logs("/opt/zookeeper/logs/zookeeper.log")

SSL-håndtrykk og konfigurasjonskompleksiteter i SOLR og Zookeeper

Et kritisk aspekt å ta tak i når du aktiverer SSL i SOLR og Zookeeper er hvordan SSL-håndtrykk prosessen fungerer. Håndtrykket involverer utveksling av sertifikater mellom klient og server, verifisering av tillit før kryptert dataoverføring begynner. Problemer oppstår ofte hvis sertifikatene ikke er riktig satt i både SOLR- og Zookeeper-konfigurasjoner. For eksempel kan mismatchede sertifikatkjeder eller nøkkellagerpassord hindre systemet i å starte en SSL-tilkobling. SOLR er avhengig av Jetty for å administrere SSL-kommunikasjon, noe som gjør det viktig å sikre at Jetty-konfigurasjonen er synkronisert med nøkkellagerinnstillingene.

En annen vanlig utfordring er å sette opp SSL på tvers av flere noder, spesielt i et Zookeeper-quorum. Med flere Zookeeper-noder, må SSL-konfigurasjonen være konsistent på tvers av alle servere for å muliggjøre sikker klient-til-server- og server-til-server-kommunikasjon. Hver node må ha samme nøkkellager og truststore oppsett, samt identiske SSL-protokoller som f.eks. TLSv1.2. Disse konfigurasjonene finnes i filen `zoo.cfg`. Eventuelle avvik mellom nodene kan føre til problemer som "brudd i røret" eller "socket er lukket" feil, som vi ser i problemscenarioet.

Det er også viktig å vurdere hvordan Zookeeper håndterer quorumskommunikasjon med SSL aktivert. Ved å sette `ssl.quorum.enabledProtocols` sikrer du at sikker kommunikasjon mellom Zookeeper-noder skjer over en klarert protokoll som TLS. I tillegg kan det være nødvendig å beholde `ssl.quorum.hostnameVerification=false` i tilfeller der Zookeeper-noder refereres til av IP i stedet for vertsnavn, ettersom vertsnavnsfeil kan avbryte SSL-håndtrykket. Finjustering av disse innstillingene kan forbedre sikker kommunikasjon betraktelig på tvers av det distribuerte oppsettet ditt.