Як отримати останні повідомлення журналу Python під час помилок

Оптимізація журналювання Python для обробки помилок

Вхід у Python необхідний для відстеження подій і діагностики проблем під час виконання програми. Однак певні модулі можуть створювати надмірну інформацію трасування, яка може захаращувати журнали. У таких випадках встановлення відповідного рівня журналювання, наприклад ПОМИЛКА, може допомогти відфільтрувати непотрібні деталі.

У сценаріях, коли один модуль створює надмірну кількість журналів, але виникають помилки в іншому модулі, який викликає його, стає критично важливим отримати доступ до останніх повідомлень журналу. Це часто буває під час відстеження першопричини помилки. Потрібен баланс між ігноруванням надмірних журналів і записом важливих.

Бібліотеки люблять spdlog у C++ є вбудована підтримка зворотного відстеження через кільцевий буфер, що дозволяє розробникам переглядати останні журнали, що призводять до помилки. Python лісозаготівля бібліотека, однак, не пропонує цю функцію з коробки, що піднімає питання про те, як реалізувати подібний механізм.

У цій статті досліджується, як адаптувати систему журналювання Python для запису останніх повідомлень журналу, коли виникає помилка, забезпечуючи критичну інформацію з шашка модуль доступний для діагностики, не перевантажуючи журнали даними трасування.

Ефективне захоплення останніх журналів у разі помилки в Python

Перший представлений сценарій використовує спеціальний обробник журналу з a дек структура з Python колекції модуль. Цей deque діє як кільцевий буфер, зберігаючи фіксовану кількість останніх повідомлень журналу. Обробник замінює випромінювати метод, який викликається кожного разу, коли генерується журнал. У цьому методі кожне повідомлення журналу форматується, а потім додається до deque. Оскільки двочерга має максимальну довжину, вона автоматично відкидає найстаріші повідомлення, коли досягає ємності. Це рішення ефективно відстежує найновіші журнали, гарантуючи, що надмірні повідомлення про налагодження від модуля перевірки не переповнюють вихідні дані журналу, але залишаються доступними, коли в модулі бігуна виникає помилка.

Коли в модулі запуску виявляється помилка, скрипт викликає спеціальний метод get_logs щоб отримати повідомлення журналу, що зберігаються в deque. Це дозволяє перевіряти повідомлення журналу від засобу перевірки, які безпосередньо передували помилці. Ідея цього підходу полягає в тому, що повідомлення журналу забезпечують важливий контекст для усунення несправностей, зберігаючи при цьому баланс між детальністю журналу та корисністю. Це простий і ефективний спосіб створити циклічний буфер журналу в Python, подібний до зворотне трасування функція знайдена в бібліотеці spdlog C++.

Друге рішення використовує вбудований MemoryHandler з модуля журналювання Python. MemoryHandler працює шляхом буферизації повідомлень журналу в пам’яті та очищення їх лише тоді, коли зустрічається певний рівень журналу, наприклад ПОМИЛКА. У цьому випадку обробник налаштовано на буферизацію до 10 повідомлень журналу та очищення їх у разі виникнення помилки. Цей підхід схожий на техніку кільцевого буфера, але використовує існуючу інфраструктуру журналювання Python, що спрощує реалізацію. MemoryHandler ідеально підходить для сценаріїв, коли потрібно зробити знімок повідомлень журналу, які призводять до помилки, не захаращуючи журнали під час звичайних операцій.

Обидва рішення оптимізовані для підвищення продуктивності та призначені для обмеження споживання пам’яті. Обмежуючи кількість журналів, що зберігаються в пам’яті, і очищаючи буфер лише під час критичних подій, вони допомагають підтримувати чисті, керовані журнали. Це дозволяє розробникам зосередитися на виправленні фактичної помилки, а не на відсіюванні величезних обсягів непотрібної інформації. Кожен сценарій можна легко інтегрувати в існуючі конфігурації ведення журналів Python, просто додавши користувальницькі обробники або обробники пам’яті до відповідного реєстратора, і обидва є достатньо гнучкими, щоб адаптуватися до різних форматів і рівнів журналу.

# Approach 1: Using a custom handler with a deque (ring buffer) to store recent logs
import logging
from collections import deque
# Custom log handler to store recent log messages
class BufferingHandler(logging.Handler):
    def __init__(self, capacity):
        super().__init__()
        self.log_buffer = deque(maxlen=capacity)  # Circular buffer
    def emit(self, record):
        self.log_buffer.append(self.format(record))  # Store formatted log messages
    def get_logs(self):
        return list(self.log_buffer)  # Retrieve recent log messages
# Configure logging with custom handler
logger = logging.getLogger('checker')
buffer_handler = BufferingHandler(capacity=10)
logger.addHandler(buffer_handler)
logger.setLevel(logging.DEBUG)
# Example log generation
for i in range(20):
    logger.debug(f"Debug message {i}")
# Simulate an error in runner and print the last few log messages
try:
    1 / 0  # Simulate error
except ZeroDivisionError:
    print("Error occurred, recent log messages:")
    for log in buffer_handler.get_logs():
        print(log)

# Approach 2: Using MemoryHandler to buffer log messages
import logging
# MemoryHandler buffers log records in memory and flushes them when conditions are met
memory_handler = logging.handlers.MemoryHandler(capacity=10, flushLevel=logging.ERROR)
# Configuring logging with a stream handler for output
stream_handler = logging.StreamHandler()
formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s')
stream_handler.setFormatter(formatter)
# Attach the memory handler and stream handler to logger
logger = logging.getLogger('checker')
logger.setLevel(logging.DEBUG)
memory_handler.setTarget(stream_handler)
logger.addHandler(memory_handler)
# Generating some debug messages
for i in range(15):
    logger.debug(f"Debug message {i}")
# Simulate an error that will trigger the buffer to flush
logger.error("An error occurred in runner")
# The memory handler will now flush its buffer and show the last 10 messages

Вивчення альтернативних способів захоплення повідомлень журналу в Python

Інший підхід для захоплення останніх повідомлень журналу в Python передбачає використання бібліотеки третьої сторони, наприклад loguru. На відміну від вбудованого модуля журналювання Python, Loguru пропонує більш гнучкий і зручний інтерфейс. Він включає вбудовану підтримку ротації журналів, фільтрації рівнів журналів і запису журналів у різних форматах. Ця бібліотека може бути особливо корисною під час роботи з програмами, які створюють надмірну кількість журналів, оскільки вона спрощує керування журналами, гарантуючи, що критичні повідомлення не пропускаються під час обробки помилок.

Loguru дозволяє налаштовувати приймачі журналів, які можна налаштувати для зберігання журналів у пам’яті, файлах або навіть зовнішніх службах. Ви можете створити тимчасовий буфер у пам’яті за допомогою спеціального приймача, який потім можна скинути, коли виникне помилка. Це робить Loguru потужною альтернативою для тих, хто хоче більше контролювати свою систему журналювання без ручного налаштування обробників, як у стандартній бібліотеці журналювання.

Ще одна перевага Loguru полягає в тому, що він забезпечує легку інтеграцію з існуючими системами журналювання, тобто ви можете перейти на Loguru без капітального перегляду всіх налаштувань журналювання. Це може бути особливо корисним при роботі зі складними програмами, де продуктивність і керування журналами є вирішальними. Зрештою, хоча модуля журналювання Python достатньо для більшості випадків використання, вивчення бібліотек, таких як Loguru, забезпечує додаткову гнучкість і легкість у використанні для ефективного збору повідомлень журналу та керування ними.