Jak načíst poslední zprávy protokolování Pythonu během chyb

Optimalizace protokolování Pythonu pro zpracování chyb

Přihlášení v Pythonu je nezbytné pro sledování událostí a diagnostiku problémů během provádění programu. Některé moduly však mohou produkovat nadměrné trasovací informace, které by mohly zaplnit protokoly. V takových případech nastavení vhodné úrovně protokolování, jako je např CHYBA, může pomoci odfiltrovat nepotřebné podrobnosti.

Ve scénářích, kdy jeden modul generuje nadměrné množství protokolů, ale chyby se vyskytnou v jiném modulu, který jej volá, je velmi důležité získat přístup k nedávným zprávám protokolu. To je často případ při sledování hlavní příčiny chyby. Je potřeba najít rovnováhu mezi ignorováním nadměrných protokolů a zachycováním důležitých.

Knihovny jako spdlog v C++ mají vestavěnou podporu pro zpětné sledování prostřednictvím kruhové vyrovnávací paměti, což umožňuje vývojářům zkontrolovat nedávné protokoly vedoucí k chybě. Pythonův těžba dřeva knihovna však tuto funkci nenabízí hned po vybalení, což vyvolává otázku, jak implementovat podobný mechanismus.

Tento článek zkoumá, jak můžete přizpůsobit systém protokolování Pythonu tak, aby zachycoval poslední zprávy protokolu, když dojde k chybě, a zajistíte tak kritické informace z dáma modul je k dispozici pro diagnostiku bez zahlcení protokolů trasovacími daty.

Efektivní zachycení posledních protokolů o chybě v Pythonu

První prezentovaný skript používá vlastní popisovač protokolování s a deque struktura z Pythonu sbírky modul. Tento deque funguje jako kruhová vyrovnávací paměť, která obsahuje pevný počet posledních zpráv protokolu. Obsluhující osoba přepíše vysílat metoda, která se volá pokaždé, když je vygenerován protokol. Při této metodě je každá zpráva protokolu naformátována a poté připojena k deque. Protože deque má maximální délku, automaticky zahodí nejstarší zprávy, když dosáhne kapacity. Toto řešení efektivně sleduje nejnovější protokoly a zajišťuje, že nadměrné zprávy o ladění z kontrolního modulu nezahlcují výstup protokolu, ale jsou stále dostupné, když dojde k chybě v modulu runner.

Když je v modulu runner zjištěna chyba, skript zavolá vlastní metodu get_logs k načtení zpráv protokolu uložených v deque. To vám umožní zkontrolovat zprávy protokolu z kontroly, které bezprostředně předcházely chybě. Myšlenkou tohoto přístupu je, že zprávy protokolu poskytují zásadní kontext pro odstraňování problémů při zachování rovnováhy mezi podrobností protokolu a užitečností. Toto je jednoduchý a efektivní způsob, jak vytvořit kruhový log buffer v Pythonu, podobný zpětná stopa funkce nalezená v knihovně spdlog C++.

Druhé řešení využívá vestavěné MemoryHandler z logovacího modulu Pythonu. MemoryHandler funguje tak, že ukládá zprávy protokolu do vyrovnávací paměti a vyprázdní je pouze tehdy, když je zjištěna určitá úroveň protokolu, jako je např. CHYBA. V tomto případě je obslužná rutina nakonfigurována tak, aby ukládala do vyrovnávací paměti až 10 zpráv protokolu a vyprázdnila je, když dojde k chybě. Tento přístup je podobný technice kruhové vyrovnávací paměti, ale využívá existující protokolovací infrastrukturu Pythonu, což zjednodušuje implementaci. MemoryHandler je ideální pro scénáře, kde chcete zachytit snímek zpráv protokolu, které vedou k chybě, aniž byste protokoly zaplňovali během normálních operací.

Obě řešení jsou optimalizována pro výkon a navržena tak, aby omezovala spotřebu paměti. Omezením počtu protokolů uložených v paměti a vyprázdněním vyrovnávací paměti pouze během kritických událostí pomáhají udržovat čisté a spravovatelné protokoly. To umožňuje vývojářům soustředit se na ladění skutečné chyby, spíše než probírat obrovské množství zbytečných informací. Každý skript lze snadno integrovat do existujících konfigurací protokolování Pythonu jednoduchým přidáním vlastních nebo paměťových ovladačů do příslušného zapisovače a oba jsou dostatečně flexibilní, aby je bylo možné přizpůsobit různým formátům protokolů a úrovním.

# Approach 1: Using a custom handler with a deque (ring buffer) to store recent logs
import logging
from collections import deque
# Custom log handler to store recent log messages
class BufferingHandler(logging.Handler):
    def __init__(self, capacity):
        super().__init__()
        self.log_buffer = deque(maxlen=capacity)  # Circular buffer
    def emit(self, record):
        self.log_buffer.append(self.format(record))  # Store formatted log messages
    def get_logs(self):
        return list(self.log_buffer)  # Retrieve recent log messages
# Configure logging with custom handler
logger = logging.getLogger('checker')
buffer_handler = BufferingHandler(capacity=10)
logger.addHandler(buffer_handler)
logger.setLevel(logging.DEBUG)
# Example log generation
for i in range(20):
    logger.debug(f"Debug message {i}")
# Simulate an error in runner and print the last few log messages
try:
    1 / 0  # Simulate error
except ZeroDivisionError:
    print("Error occurred, recent log messages:")
    for log in buffer_handler.get_logs():
        print(log)

# Approach 2: Using MemoryHandler to buffer log messages
import logging
# MemoryHandler buffers log records in memory and flushes them when conditions are met
memory_handler = logging.handlers.MemoryHandler(capacity=10, flushLevel=logging.ERROR)
# Configuring logging with a stream handler for output
stream_handler = logging.StreamHandler()
formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s')
stream_handler.setFormatter(formatter)
# Attach the memory handler and stream handler to logger
logger = logging.getLogger('checker')
logger.setLevel(logging.DEBUG)
memory_handler.setTarget(stream_handler)
logger.addHandler(memory_handler)
# Generating some debug messages
for i in range(15):
    logger.debug(f"Debug message {i}")
# Simulate an error that will trigger the buffer to flush
logger.error("An error occurred in runner")
# The memory handler will now flush its buffer and show the last 10 messages

Zkoumání alternativních způsobů, jak zachytit zprávy protokolu v Pythonu

Další přístup k zachycení nedávných zpráv protokolu v Pythonu zahrnuje použití knihovny třetích stran, jako je loguru. Na rozdíl od vestavěného logovacího modulu Pythonu nabízí Loguru flexibilnější a uživatelsky přívětivější rozhraní. Obsahuje vestavěnou podporu pro rotaci protokolů, filtrování úrovní protokolů a zachycování protokolů v různých formátech. Tato knihovna může být užitečná zejména při práci s aplikacemi, které generují nadměrné množství protokolů, protože zjednodušuje správu protokolů a zároveň zajišťuje, že během zpracování chyb nebudou chybět kritické zprávy.

Loguru umožňuje nastavení jímek protokolů, které lze upravit tak, aby ukládaly protokoly do paměti, souborů nebo dokonce externích služeb. Můžete vytvořit dočasnou vyrovnávací paměť v paměti pomocí vlastní jímky, kterou lze poté vyprázdnit, když dojde k chybě. Díky tomu je Loguru výkonnou alternativou pro ty, kteří chtějí mít větší kontrolu nad svým logovacím systémem, aniž by museli ručně konfigurovat handlery jako ve standardní logovací knihovně.

Další výhodou Loguru je, že umožňuje snadnou integraci se stávajícími protokolovacími systémy, což znamená, že můžete přejít na Loguru bez přepracování celého nastavení protokolování. To může být užitečné zejména při práci se složitými aplikacemi, kde je rozhodující výkon a správa protokolů. V konečném důsledku, zatímco protokolovací modul Pythonu je dostatečný pro většinu případů použití, prozkoumávání knihoven, jako je Loguru, poskytuje další flexibilitu a snadné použití pro efektivní zachycení a správu protokolových zpráv.