Naprawianie problemów z konfiguracją SSL w SOLR 9.6.1 i Zookeeper 3.8.1 Ubuntu 24.04.1

Wyzwania związane z włączeniem SSL dla SOLR z integracją Zookeepera

Włączenie protokołu SSL w konfiguracji SOLR-Zookeeper może być trudne, szczególnie podczas pracy z serwerami Ubuntu 24.04.1. Ten proces konfiguracji zapewnia bezpieczną komunikację między węzłami, ale nawet drobna błędna konfiguracja może uniemożliwić prawidłowe działanie usług takich jak SOLR Admin UI. Jeśli ostatnio próbowałeś włączyć SSL i napotkałeś problemy, nie jesteś sam.

W tym artykule omówimy typowy problem występujący podczas aktywacji SSL w SOLR 9.6.1 po integracji z Zookeeper 3.8.1 na lokalnym serwerze Ubuntu. Omawiana konfiguracja obejmuje uruchomienie SOLR i Zookeeper na tym samym serwerze z jednym fragmentem, wieloma replikami i podstawowym uwierzytelnianiem. Nacisk zostanie położony na rozwiązanie błędów występujących po aktualizacji ustawień SSL.

Błędne konfiguracje protokołu SSL często skutkują błędami, takimi jak „Nie uruchamia się interfejs administratora” lub komunikatami „Uszkodzony potok” w plikach dziennika, których rozwiązanie może być trudne. Błędy te zazwyczaj wynikają z problemów z certyfikatami lub błędów połączenia SSL w węzłach SOLR lub Zookeeper, co prowadzi do zerwania komunikacji między usługami.

W poniższych sekcjach zagłębimy się w pliki dziennika, przeanalizujemy potencjalne przyczyny błędów związanych z SSL i zaoferujemy rozwiązania krok po kroku, aby zapewnić płynną konfigurację SSL dla konfiguracji SOLR i Zookeeper.

Analiza konfiguracji SSL i skryptów dla SOLR i Zookeeper

Pierwszy skrypt automatyzuje proces ponownego uruchamiania SOLR i Zookeepera, zapewniając jednocześnie prawidłowe zastosowanie konfiguracji SSL. Używa skryptów Bash do przeglądania instancji Zookeepera i ponownego uruchamiania ich ze zaktualizowanymi ustawieniami SSL. Znaczenie tego skryptu polega na zarządzaniu wieloma węzłami Zookeepera, ponieważ konfiguracje SSL muszą być stosowane jednolicie w całym klastrze. Użycie `zkServer.sh restart` gwarantuje, że każdy węzeł Zookeeper zostanie poprawnie zrestartowany z odpowiednim plikiem konfiguracyjnym, dzięki czemu skrypt będzie wydajny w zarządzaniu klastrem w konfiguracji wielowęzłowej.

Skrypt dotyczy także ponownego uruchomienia instancji SOLR za pomocą polecenia `solr restart`. SOLR opiera się na Jetty w zakresie obsługi żądań HTTPS, a skrypt zapewnia prawidłowe ponowne załadowanie ustawień związanych z SSL, takich jak ścieżki magazynu kluczy i magazynu zaufanych certyfikatów. Zapobiega to potencjalnym błędom uzgadniania SSL podczas uzyskiwania dostępu do interfejsu administratora SOLR, które mogą wynikać z nieaktualnych lub błędnie skonfigurowanych certyfikatów SSL. Automatyzując te zadania, skrypt minimalizuje błędy ręczne, szczególnie podczas zarządzania certyfikatami SSL w wielu usługach na tym samym serwerze.

Drugi skrypt służy do tworzenia i zarządzania magazynami kluczy Java dla SSL zarówno w SOLR, jak i Zookeeper. Narzędzie Java Keytool służy do generowania par kluczy i importowania certyfikatów do magazynu kluczy. Komenda `keytool -genkeypair` generuje niezbędne certyfikaty SSL, natomiast `keytool -import` służy do dodawania zaufanych certyfikatów głównych i pośrednich. Certyfikaty te zapewniają, że komunikacja SSL pomiędzy węzłami jest zaufana i bezpieczna. Skrypt ten jest kluczowy dla prawidłowego ustawienia i zarządzania certyfikatami SSL, które odgrywają kluczową rolę w umożliwieniu bezpiecznej komunikacji pomiędzy usługami.

Wreszcie dostarczony skrypt Pythona działa jako narzędzie do monitorowania dziennika, zaprojektowane specjalnie do wykrywania błędów uzgadniania SSL. Poprzez ciągłe odczytywanie dzienników SSL w czasie rzeczywistym, skrypt ten może zidentyfikować problemy związane z SSL, takie jak „niepowodzenie uzgadniania SSL”. Ten poziom rejestrowania jest niezbędny do diagnozowania problemów w złożonych środowiskach, w których usługi takie jak Zookeeper i SOLR komunikują się za pośrednictwem szyfrowanych kanałów. Monitorowanie w czasie rzeczywistym pomaga szybko zidentyfikować pierwotną przyczynę niepowodzeń SSL, która może wynikać z niezgodności certyfikatów, nieprawidłowej konfiguracji lub wygasłych certyfikatów. To narzędzie do rozwiązywania problemów jest szczególnie przydatne w środowiskach z wieloma węzłami i złożonością protokołu SSL.

#!/bin/bash
# Script to automate SOLR and Zookeeper restart with SSL configuration
# Paths to configuration files
ZOOKEEPER_DIR="/opt/zookeeper"
SOLR_DIR="/opt/solr"
SSL_KEYSTORE="/opt/solr-9.6.1/server/etc/solr-ssl.jks"
ZOOKEEPER_CONFIG="$ZOOKEEPER_DIR/conf/zoo.cfg"
SOLR_CONFIG="$SOLR_DIR/server/etc/jetty-ssl.xml"

# Restart Zookeeper with SSL configuration
echo "Restarting Zookeeper..."
for i in {1..3}; do
    /bin/bash $ZOOKEEPER_DIR/bin/zkServer.sh restart $ZOOKEEPER_DIR/data/z$i/zoo.cfg
done

# Restart SOLR with SSL configuration
echo "Restarting SOLR..."
/bin/bash $SOLR_DIR/bin/solr restart -c -p 8983 -z localhost:2181,localhost:2182,localhost:2183 -m 5g -force

#!/bin/bash
# Generate a keystore with a self-signed certificate
keytool -genkeypair -alias solr -keyalg RSA -keystore /opt/solr-9.6.1/server/etc/solr-ssl.jks

# Import intermediate and root certificates
keytool -import -trustcacerts -alias root -file /path/to/rootCA.pem -keystore /opt/solr-9.6.1/server/etc/solr-ssl.jks
keytool -import -trustcacerts -alias intermediate -file /path/to/intermediateCA.pem -keystore /opt/solr-9.6.1/server/etc/solr-ssl.jks

# Configure Zookeeper SSL settings
echo "ssl.client.enable=true" >> $ZOOKEEPER_DIR/conf/zoo.cfg
echo "ssl.quorum.keyStore.location=/opt/solr-9.6.1/server/etc/solr-ssl.jks" >> $ZOOKEEPER_DIR/conf/zoo.cfg
echo "ssl.quorum.trustStore.location=/opt/solr-9.6.1/server/etc/solr-ssl.jks" >> $ZOOKEEPER_DIR/conf/zoo.cfg

import subprocess
import time

def monitor_ssl_logs(log_file):
    with open(log_file, 'r') as f:
        f.seek(0, 2)  # Move to the end of file
        while True:
            line = f.readline()
            if not line:
                time.sleep(0.1)
                continue
            if "SSL handshake failed" in line:
                print(f"Error: {line.strip()}")

# Start monitoring Zookeeper SSL logs
monitor_ssl_logs("/opt/zookeeper/logs/zookeeper.log")

Uzgadnianie SSL i złożoność konfiguracji w SOLR i Zookeeper

Jednym z kluczowych aspektów, które należy uwzględnić podczas włączania protokołu SSL w SOLR i Zookeeperze, jest sposób, w jaki Uzgadnianie SSL proces działa. Uzgadnianie polega na wymianie certyfikatów pomiędzy klientem a serwerem, weryfikując zaufanie przed rozpoczęciem transmisji zaszyfrowanych danych. Często pojawiają się problemy, jeśli certyfikaty nie są poprawnie ustawione zarówno w konfiguracjach SOLR, jak i Zookeeper. Na przykład niedopasowane łańcuchy certyfikatów lub hasła magazynu kluczy mogą uniemożliwić systemowi pomyślne zainicjowanie połączenia SSL. SOLR opiera się na Jetty do zarządzania komunikacją SSL, dlatego ważne jest, aby upewnić się, że konfiguracja Jetty jest zsynchronizowana z ustawieniami magazynu kluczy.

Innym częstym wyzwaniem jest skonfigurowanie protokołu SSL w wielu węzłach, zwłaszcza w kworum Zookeepera. W przypadku wielu węzłów Zookeeper konfiguracja SSL musi być spójna na wszystkich serwerach, aby umożliwić bezpieczną komunikację klient-serwer i serwer-serwer. Każdy węzeł musi mieć tę samą konfigurację magazynu kluczy i magazynu zaufanych certyfikatów, a także identyczne protokoły SSL, takie jak TLSv1.2. Konfiguracje te znajdują się w pliku `zoo.cfg`. Jakakolwiek rozbieżność między węzłami może prowadzić do problemów, takich jak błędy „pęknięta rura” lub „zamknięte gniazdo”, co widać w scenariuszu problemu.

Istotne jest również rozważenie, w jaki sposób Zookeeper obsługuje komunikację kworum z włączonym protokołem SSL. Ustawiając `ssl.quorum.enabledProtocols`, masz pewność, że bezpieczna komunikacja między węzłami Zookeepera odbywa się za pośrednictwem zaufanego protokołu, takiego jak TLS. Dodatkowo zachowanie parametru `ssl.quorum.hostnameVerification=false` może być konieczne w przypadkach, gdy do węzłów Zookeepera odwołuje się adres IP, a nie nazwa hosta, ponieważ niezgodność nazw hostów może przerwać uzgadnianie SSL. Dostosowanie tych ustawień może znacznie poprawić bezpieczną komunikację w konfiguracji rozproszonej.