Astra Monitoring – программная система для мониторинга

Вигель Антонов

Программные системы и «цифровые» сервисы, реализуемые в непрерывном цикле разработки и функционирующие в составе развитой информационной инфраструктуры, требуют надежных методов контроля их функционирования в реальном времени. Комплексный контроль технического состояния инфраструктуры на программном уровне может быть реализован на основе концепции наблюдаемости сложной системы — observability, которая предполагает прозрачное и достоверное понимание, обладающее необходимой полнотой сведений о состоянии информационной системы в процессе ее функционирования, которое достигается на основе внешних проявлений и текущих параметров среды ее окружения.

В контексте DevOps подхода к разработке прикладных программ и «цифровых» сервисов концепция observability предполагает совместное использование инструментов контроля в рамках всего технологического стека. Это необходимо для понимания уровня доступности и соответствия предоставляемых сервисов задачам и потребностям клиентов.

В отличии от традиционного мониторинга ИТ-инфраструктуры реализация систем контроля класса observability характеризуется следующими особенностями:

• комплексирование данных контроля из различных источников и сочетание различной информации о процессе функционирования;
• контроль всего технологического стека в оперативном режиме, близком к реальному времени;
• поддержка контроля сложно структурированных и распределенных информационных систем, с динамическими изменениями структуры и состава;
• развитые инструменты аналитики, автоматизация выявления аномалий, регистрация и обработка событий.

Современные платформы, использующие подходы наблюдаемости, должны соответствовать лучшим практикам, сложившимся в данной области, а также, стандартам сбора, хранения и представления данных.

Решение Astra Monitoring от «Группы Астра» рекомендовано к использованию в составе корпоративных информационных инфраструктур для импортозамещения следующих известных систем:

• IBM Instana Observability — платформа обеспечения наблюдаемости комплексного технологического стека приложений, сервисов и оптимизации инфраструктуры;
• ManageEngine Applications Manager — платформа обеспечения комплексной наблюдаемости приложений;
• Datadog — платформа обеспечения наблюдаемости для «облачных» приложений;
• Dynatrace — платформа обеспечения комплексной наблюдаемости информационной инфраструктуры и приложений;
• Splunk Observability Cloud — платформа обеспечения комплексной наблюдаемости информационной инфраструктуры и приложений.

Astra Monitoring внесен в Единый реестр российских программ для электронных вычислительных машин и баз данных, реестровая запись № 22777 от 06.06.2024.

Функциональность Astra Monitoring

Astra Monitoring объединяет в себе комплексный подход к мониторингу, постоянному и непрерывному контролю технического состояния информационной инфраструктуры на всех уровнях от физического и виртуального, до уровня приложений и сервисов. Astra Monitoring дает возможность оценки текущего состояния инфраструктуры степенью детализации, а также предоставляет возможность оперативного информирования топ-менеджмента и целевых специалистов об изменениях состояния и нарушениях качества функционирования сервисов.

ПО Astra Monitoring объединяет в себе функциональность в трех целевых областях:

• централизованный мониторинг информационной инфраструктуры по характерным наборам числовых параметров (метрик) её элементов, прикладных приложений и сервисов;
• комплексный сбор, анализ, трансформация и представление журналов функционирования приложений и сервисов;
• автоматизированное формирование событий по определенным статусам, триггерам, пороговым значениям по результатам оценки метрик и анализа журналов, а также создание и отправка оперативных уведомлений.

Платформа предоставляет возможность визуального представления метрик и анализируемых журналов в удобном, обобщенном или детализированном виде в соответствии с задачами и потребностями пользователей.

В части мониторинга платформа предоставляет возможности работы с метриками и логами в рамках включенных в ее состав экспортеров типовых параметров для следующих продуктов:

• операционной системы Astra Linux;
• службы каталогов FreeIPA для сред на основе операционной системы Linux;
• службы каталогов и домена ALD Pro для сред на основе операционной системы Linux;
• платформы виртуализации «СВ Брест»;
• инфраструктуры виртуальных рабочих мест и удаленного доступа Termidesk;
• корпоративной почтовой системы RuPost;
• системы резервного копирования RuBackup;
• система создания виртуальных рабочих мест Termidesk;
• платформа для внутреннего биллинга BillManager.

Astra Monitoring имеет предустановленные инструментальные панели для мониторинга и экспертного контроля всех параметров программных продуктов экосистемы «Группы Астра»: необходимый функционал для сбора и обработки системных журналов, приложений и сервисов для регистрации событий, протоколирования ошибок и отклонений функционирования по заданным правилам.

Функциональность подсистемы оперативных оповещений позволяет проводить анализ сохраненных за определенный период метрик по заданным триггерам, а также проводит анализ журналов по ключевым значениям и правилам, помогает с формированием сообщений обнаружения событий, соответствующих заданным критериям. Подсистема позволяет обрабатывать сообщения о событиях, группируя их определенным образом и передавать уведомления о событиях по различным каналам:

• электронная почта;
• Telegram;
• систем текстовых коммуникаций Mattermost;
• Jira;
• Webhook;
• SMS.

Функциональные возможности визуализации метрик и представления журналов систем, прикладных приложений и сервисов используют возможности программного обеспечения визуализации данных Grafana.

Интерфейс платформы Astra Monitoring. Инструментальные панели метрик

Платформа Astra Monitoring поддерживает сбор метрик для серверных и пользовательских операционных систем семейств MS Windows, Linux, Unix систем, MacOS. метрик платформы оркестрации контейнезированных приложений Kubernetes, Docker Compose, систем управления базами данных SQL-ориентированных и NoSQL-ориентированных, а также метрик IPMI, серверных платформ и метрик сетевого оборудования SNMP v2c/v3, SNMP Trap, SNMP Poll.

Преимущества Astra Monitoring

Программное обеспечение платформы удовлетворяет следующим требованиям:

1. централизация и унификация сервисов и процессов мониторинга, комплексного решения задач журналирования;
2. автоматизация процессов контроля технического состояния и функционирования систем и прикладного программного обеспечения, повышение оперативности оповещений и уведомлении;
3. переход к технологической независимости и импортозамещению.

Astra Monitoring предоставляет единую консоль мониторинга, общий ресурс с информацией о состоянии всех контролируемых систем, прикладных приложений и сервисов. Система дает возможность гибкой пользовательской настройки отображения для адаптации инструментальных панелей, графиков и диаграмм через выделенный графический интерфейс в соответствии с задачами пользователей.

Платформа реализует распределенный мониторинг в сложных многоуровневых средах, а также оптимизирует нагрузку на центральный узел платформы за счет распределенного сбора метрик и логов. Платформа может интегрироваться с внешними системами для обмена данными и централизованной обработки информации. Есть возможность интеграции с системами управления задачами для автоматизации процессов обработки инцидентов.

Масштабируемость и отказоустойчивость платформы Astra Monitoring основываются на возможностях управления отказоустойчивостью и масштабируемостью за счет готовых пакетов развертывания Helm Charts для Kubernetes, кластерных и реплицируемых средств хранения метрик, журналов и событий.

Применение платформы позволяет достичь:

• прозрачности принятия решений на основе объективного контроля за состоянием сервисов и качеством предоставления услуг, понятного представления данных для различных групп пользователей;
• сокращения времени диагностики инцидентов и расследования причин аварий на основе глубины контроля, полноты и достоверности информации, журналирования и доступности данных, протоколирования ошибок;
• повышения оперативности реагирования на инциденты на основе постоянного и непрерывного контроля, а также оперативного оповещения по каналам связи;
• перехода от реакции на инциденты к их предотвращению на основе ранней диагностики потенциальных причин, внедрения проактивных методов подержания готовности информационной инфраструктуры.

Применение Astra Monitoring и внедрения автоматизированных процессов создает условия для снижения трудозатрат на поддержку и сопровождение информационной инфраструктуры, а также оптимизирует работу подразделений поддержки и снижает непрофильную нагрузку на команды разработки. Кроме того, платформа предоставляет следующие преимущества Российского продукта, разрабатываемого на современном технологическом стеке:

• возможность развертывания в отказоустойчивых кластерных конфигурациях;
• архитектура, поддерживающая горизонтальное масштабирование;
• режим обслуживания для объектов мониторинга;
• поиск и автоматическое добавление новых объектов мониторинга;
• поддержка базовой ролевой модели;
• использование встроенного резервного копирования собственных баз данных;
• наличие единой web-консоли управления;
• собственная технологически независимая разработка компании;
• постоянное развитие и расширение возможностей в рамках непрерывного процесса безопасной разработки ПО;
• предоставлении технической поддержки и оперативных обновлений со стороны разработчика.

Структура Astra Monitoring

Платформа предназначена для выполнения мониторинга всей ИТ-инфраструктуры и ее компонентов: физических и виртуальных серверов, операционных систем, сервисов и приложений. Серверная составляющая системы отвечает непосредственно за выполнение функций мониторинга, журналирования, анализа событий и оповещения. Она построена на основе использования программного обеспечения, разрабатываемого ведущими сообществами и являющегося стандартом «де факто» в области контроля технического состоянии программных систем и информационной технологической инфраструктуры.

Программные компоненты входящие в состав решения:

• Victoria Metrics — программное обеспечение высокопроизводительного и масштабируемого долговременного хранилища метрик, отвечает за хранение метрик, предоставления данных для визуализации и анализа событий;
• Vector — программное обеспечение извлечения, преобразования, обработки и сохранения журналов приложений и систем, отвечает за доставку журналов и передачу их на хранение в базу данных;
• ClickHouse — программное обеспечение колоночной аналитической СУБД, отвечает за хранение в структурированном виде и проведение всех видов анализа журналов приложении и систем;
• AlertManager — программное обеспечение обработки и отправки оповещений о событиях, передачи уведомлений, отвечает за группировку, маршрутизацию и сохранение оповещений, в также за передачу уведомлений по требуемым каналам связи;
• PostgreSQL — программное обеспечение реляционной СУБД, отвечает за хранение данных конфигурации объектов контроля, информации о событиях мониторинга и т.д.

Интерфейс платформы предоставляет возможность пользователям работать с визуализацией данных, настаивать требуемые панели индикаторов и графики параметров, анализировать информацию о событиях мониторинга, кроме того, администраторы системы могут формировать состав объектов контроля и конфигурировать отправку уведомлений.

Единый агент Astra Monitoring соответствует применяемой серверной составляющей и включает в себя компоненты передачи метрик и отправки логов приложений и систем и комплекса ИТ-инфраструктуры. Клиентские компоненты устанавливаются на объектах контроля, в соответствии с их типом и задачами мониторинга:

1. Exporters обеспечивает сбор параметров контролируемой системы определенного типа и передачу их в стандарте Prometheus;
2. Vector обеспечивает обработку и отправку журналов на платформу Astra Monitoring.

Платформа может быть развернута в виде конвейеризированного приложения на платформе оркестрации Kubernetes или в Docker Compose. При развертывании в кластере платформы оркестрации Kubernetes реализовано автоматическое резервное копирование собственных баз данных: СУБД ClickHouse и СУБД PostgreSQL. Резервная копия сохраняется в PVC Kubernetes.

Дальнейшее развитие платформы для расширения возможностей работы с метриками событий и объектами предполагает:

• получение событий от внешних систем мониторинга;
• мониторинг сетевых служб и сервисов;
• проактивный мониторинг;
• адаптивную настройку порогов;
• выявление аномалий на основе исторических данных.

Для повышения удобства работы с платформой Astra Monitoring и улучшения интерфейса пользователя предполагаются:

• расширенные возможности настройки инструментальных панелей и представлений журналов;
• формирование отчетов по выбранным критериям;
• расширенная ролевая модель доступа;
• настройка правил эскалации;
• настройка режима обслуживания для объектов мониторинга;
• настройка зависимостей объектов мониторинга и событий.

Применение Astra Monitoring

Платформа решает задачу своевременного получения достоверной информации о техническом состоянии сложной информационной инфраструктуры и качестве функционирования «цифровых» сервисов, разрабатываемых распределенными командами. Решение реализует концепцию наблюдаемости в комплексной системе с унифицированными автоматизированными сервисами, обеспечивая импортозамещение аналогичных систем западных разработчиков.

Актуально использование программного обеспечения в составе платформ DevOps при разработке и мониторинге «цифровых» сервисов, инфраструктурных программных продуктов для наблюдаемости (observability) высоконагруженных приложений, использующих микросервисные, монолитные архитектурные паттерны и требующих высокой эффективности поддержки. Astra Monitoring также могут использовать поставщики «облачных» услуг по модели SaaS для предоставления, соответствующего управляемого технологического информационного сервиса широкого применения.

Достоинство программного обеспечения Astra Monitoring заключается в возможности его применения для решения задач технологической независимости в корпоративных применениях, для информационных систем и сервисов государственных и муниципальных органов управления, а также в составе объектов критической информационной инфраструктуры.

Продукты «Группы Астра» доступны в Merlion. На виртуальном полигоне дистрибьютора развернут Astra Monitoring — можно детально ознакомиться продуктом и записаться на демонстрацию.

Материал предоставлен директором технического центра Вигелем Антоновым.