Oprava problémů s konfigurací SSL v Ubuntu 24.04.1's SOLR 9.6.1 a Zookeeper 3.8.1

Výzvy v aktivaci SSL pro SOLR s integrací Zookeeper

Povolení SSL v nastavení SOLR-Zookeeper může být složité, zejména při práci se servery Ubuntu 24.04.1. Tento konfigurační proces zajišťuje bezpečnou komunikaci mezi uzly, ale i malá nesprávná konfigurace může zabránit správnému fungování služeb, jako je SOLR Admin UI. Pokud jste nedávno zkusili povolit SSL a narazili na problémy, nejste sami.

V tomto článku projdeme běžným problémem, kterému čelíme během aktivace SSL v SOLR 9.6.1 při integraci se Zookeeper 3.8.1 na místním serveru Ubuntu. Dotyčné nastavení zahrnuje spuštění SOLR a Zookeeper na stejném serveru s jedním fragmentem, více replikami a základním ověřováním. Zaměříme se na řešení chyb, které se vyskytnou po aktualizaci nastavení SSL.

Nesprávné konfigurace protokolu SSL často vedou k chybám, jako jsou zprávy „Uživatelské rozhraní správce se nespouští“ nebo zprávy „Broken pipe“ v souborech protokolu, jejichž odstraňování může být náročné. Tyto chyby obvykle pocházejí z problémů s certifikáty nebo selhání připojení SSL v uzlech SOLR nebo Zookeeper, což vede k přerušení komunikace mezi službami.

V následujících částech se ponoříme hlouběji do souborů protokolu, analyzujeme potenciální příčiny těchto chyb souvisejících s SSL a nabídneme řešení krok za krokem, která zajistí hladkou konfiguraci SSL pro vaše nastavení SOLR a Zookeeper.

Analýza konfigurace a skriptování SSL pro SOLR a Zookeeper

První skript automatizuje proces restartování SOLR a Zookeeper a zároveň zajišťuje správné použití konfigurací SSL. Používá skriptování Bash k procházení instancí Zookeeper a jejich restartování s aktualizovaným nastavením SSL. Důležitost tohoto skriptu spočívá ve správě více uzlů Zookeeper, protože konfigurace SSL musí být aplikovány jednotně v celém clusteru. Použití `zkServer.sh restart` zajišťuje, že každý uzel Zookeeper je restartován správně s příslušným konfiguračním souborem, díky čemuž je skript efektivní pro správu clusteru v nastavení s více uzly.

Skript také řeší restart instance SOLR pomocí `solr restart`. SOLR se při zpracovávání požadavků HTTPS spoléhá na Jetty a skript zajišťuje, že nastavení související s SSL, jako jsou cesty úložiště klíčů a důvěryhodného úložiště, budou správně znovu načtena. To zabraňuje potenciálním selháním handshake SSL při přístupu k uživatelskému rozhraní SOLR Admin, které mohou vzniknout ze zastaralých nebo špatně nakonfigurovaných certifikátů SSL. Automatizací těchto úloh skript minimalizuje ruční chyby, zejména při správě certifikátů SSL napříč více službami na stejném serveru.

Druhý skript se používá k vytváření a správě Java KeyStores pro SSL v SOLR i Zookeeper. Ke generování párů klíčů a importu certifikátů do úložiště klíčů se používá nástroj Java's Keytool. Příkaz `keytool -genkeypair` vygeneruje potřebné certifikáty SSL, zatímco příkaz `keytool -import` se používá k přidání důvěryhodných kořenových a zprostředkujících certifikátů. Tyto certifikáty zajišťují, že komunikace SSL mezi uzly je důvěryhodná a bezpečná. Tento skript je klíčový pro správné nastavení a správu SSL certifikátů, které hrají ústřední roli při umožnění bezpečné komunikace mezi službami.

A konečně poskytnutý skript Python funguje jako nástroj pro monitorování protokolů speciálně navržený pro detekci chyb handshake SSL. Nepřetržitým čtením protokolů SSL v reálném čase může tento skript identifikovat problémy související s SSL, jako je „SSL handshake failed“. Tato úroveň protokolování je nezbytná pro diagnostiku problémů ve složitých prostředích, kde služby jako Zookeeper a SOLR komunikují přes šifrované kanály. Monitorování v reálném čase pomáhá rychle identifikovat hlavní příčinu selhání SSL, která může pocházet z neshod certifikátů, nesprávné konfigurace nebo certifikátů s prošlou platností. Tento nástroj pro odstraňování problémů je zvláště cenný v prostředích s více uzly a složitostí SSL.

#!/bin/bash
# Script to automate SOLR and Zookeeper restart with SSL configuration
# Paths to configuration files
ZOOKEEPER_DIR="/opt/zookeeper"
SOLR_DIR="/opt/solr"
SSL_KEYSTORE="/opt/solr-9.6.1/server/etc/solr-ssl.jks"
ZOOKEEPER_CONFIG="$ZOOKEEPER_DIR/conf/zoo.cfg"
SOLR_CONFIG="$SOLR_DIR/server/etc/jetty-ssl.xml"

# Restart Zookeeper with SSL configuration
echo "Restarting Zookeeper..."
for i in {1..3}; do
    /bin/bash $ZOOKEEPER_DIR/bin/zkServer.sh restart $ZOOKEEPER_DIR/data/z$i/zoo.cfg
done

# Restart SOLR with SSL configuration
echo "Restarting SOLR..."
/bin/bash $SOLR_DIR/bin/solr restart -c -p 8983 -z localhost:2181,localhost:2182,localhost:2183 -m 5g -force

#!/bin/bash
# Generate a keystore with a self-signed certificate
keytool -genkeypair -alias solr -keyalg RSA -keystore /opt/solr-9.6.1/server/etc/solr-ssl.jks

# Import intermediate and root certificates
keytool -import -trustcacerts -alias root -file /path/to/rootCA.pem -keystore /opt/solr-9.6.1/server/etc/solr-ssl.jks
keytool -import -trustcacerts -alias intermediate -file /path/to/intermediateCA.pem -keystore /opt/solr-9.6.1/server/etc/solr-ssl.jks

# Configure Zookeeper SSL settings
echo "ssl.client.enable=true" >> $ZOOKEEPER_DIR/conf/zoo.cfg
echo "ssl.quorum.keyStore.location=/opt/solr-9.6.1/server/etc/solr-ssl.jks" >> $ZOOKEEPER_DIR/conf/zoo.cfg
echo "ssl.quorum.trustStore.location=/opt/solr-9.6.1/server/etc/solr-ssl.jks" >> $ZOOKEEPER_DIR/conf/zoo.cfg

import subprocess
import time

def monitor_ssl_logs(log_file):
    with open(log_file, 'r') as f:
        f.seek(0, 2)  # Move to the end of file
        while True:
            line = f.readline()
            if not line:
                time.sleep(0.1)
                continue
            if "SSL handshake failed" in line:
                print(f"Error: {line.strip()}")

# Start monitoring Zookeeper SSL logs
monitor_ssl_logs("/opt/zookeeper/logs/zookeeper.log")

SSL Handshake a složitost konfigurace v SOLR a Zookeeper

Jedním kritickým aspektem, který je třeba řešit při povolení SSL v SOLR a Zookeeper, je způsob SSL handshake proces funguje. Handshake zahrnuje výměnu certifikátů mezi klientem a serverem, ověření důvěryhodnosti před zahájením šifrovaného přenosu dat. Problémy často nastávají, pokud certifikáty nejsou správně nastaveny v konfiguraci SOLR i Zookeeper. Například neshodné řetězce certifikátů nebo hesla úložiště klíčů mohou systému zabránit v úspěšném zahájení připojení SSL. SOLR se při správě komunikace SSL spoléhá na Jetty, takže je důležité zajistit, aby konfigurace Jetty byla synchronizována s nastavením úložiště klíčů.

Dalším běžným problémem je nastavení SSL pro více uzlů, zejména v kvoru Zookeeper. S více uzly Zookeeper musí být konfigurace SSL konzistentní na všech serverech, aby byla umožněna zabezpečená komunikace mezi klienty a servery a servery. Každý uzel musí mít stejné nastavení úložiště klíčů a úložiště důvěryhodnosti a také identické protokoly SSL, jako je např TLSv1.2. Tyto konfigurace naleznete v souboru `zoo.cfg`. Jakákoli nesrovnalost mezi uzly může vést k problémům, jako jsou chyby „přerušené potrubí“ nebo „zásuvka je uzavřena“, jak je vidět ve scénáři problému.

Je také důležité zvážit, jak Zookeeper zpracovává komunikaci kvora s povoleným SSL. Nastavením `ssl.quorum.enabledProtocols` zajistíte, že zabezpečená komunikace mezi uzly Zookeeper bude probíhat přes důvěryhodný protokol, jako je TLS. Kromě toho může být nutné zachovat hodnotu `ssl.quorum.hostnameVerification=false` v případech, kdy se na uzly Zookeeper odkazují spíše IP než názvy hostitelů, protože neshody názvů hostitelů mohou přerušit navázání spojení SSL. Jemné vyladění těchto nastavení může výrazně zlepšit zabezpečenou komunikaci napříč vaším distribuovaným nastavením.