19 просмотров

Визуализация данных с Kibana и Elasticsearch: новое модное бизнес-решение

Визуализация бизнес-данных сегодня очень популярна, и это вполне объяснимо. Визуализация данных дает множество бизнес-преимуществ, таких как данные всегда в режиме реального времени — самые свежие, насколько это возможно, единовременные инвестиции, которые сэкономят человеческие ресурсы и уберегут от человеческих ошибок.

Кроме того, это большая проблема вести и развивать свой бизнес без учета. И, конечно же, что бы вы ни делали, все ищут инновации для улучшения бизнес-процессов и создания решений по снижению затрат.

Наверное, было бы здорово иметь универсальное приложение, интеллектуальную машину, которая самостоятельно ведет отчеты по данным. Может быть, собрать их из разных систем на свой компьютер, скомбинировать и сравнить. И, в конце концов, проходит время для перепроверки отчетов, часть свежих данных для этого не используется. Только после этого бизнес может видеть все стороны своих процессов.

Звучит как «Это история о далеком далеком будущем и репортаж стал приносить удовольствие…». Поэтому KindGeeks решили принять такой вызов и создать его. В результате мы приобрели большой опыт в этой области.

Нашим основным инструментом, фундаментом и кирпичиками был Elasticsearch — база данных SQL, которая сохраняет и агрегирует всю информацию с разных устройств. Это очень эффективный и гибкий способ подготовки данных для визуализации. Главной особенностью Elasticsearch является глобальный анализ данных и оперативные ответы на различные запросы пользователей.

Статья в тему:  Какие удивительные примеры искусственного интеллекта вы знаете?

И вторая часть, крыша, посвящена использованию плагина Kibana для визуализации.

Сначала это звучит как аналог Google Analytics, но нет. Эти две системы дополняют друг друга и образуют прекрасный дом.

Это компиляция большого количества бизнес-данных с разных устройств (опционально), возможность выбрать объем данных для анализа и отображения на диаграмме, автоматическая синхронизация.

Единственная ахиллесова пята — уделить внимание первой настройке системы на устройствах, но KindGeek успешно работает с различными клиентами.

Пока другие компании тратят тысячи долларов на визуализацию данных в год, мы нашли способ сделать это в сотни раз дешевле, проще и отразили это на одной странице.

Это наш системный подход и простое решение для бизнеса.

Углубляясь в техническую часть, одним из наиболее распространенных случаев для аналитики является обработка логов. У нас было несколько клиентов с такими требованиями. У одного из наших клиентов есть большие веб-сервисы, работающие по всей территории США, которые производят около 1 ГБ журналов каждый день. Нашей целью было собрать все логи в одном месте и показать их как в необработанном виде, так и визуализировать с помощью различных диаграмм.

Проект призван предоставить удобный способ управления и просмотра данных журналов. В конце концов, данные журнала результатов будут доступны с инструментальными панелями Kibana, где каждая информационная панель соответствует определенному источнику данных (журналы приложений, журналы базы данных и т. д.). Таким образом, панель инструментов содержит набор визуализаций и диаграмм, которые можно создавать или настраивать с помощью функций Kibana. Кроме того, пользователь может выбрать период времени для фильтрации журналов, а также просмотреть необработанные журналы.Кроме того, пользователь может просматривать старые журналы до одного года назад. Однако журналы старше одного года архивируются.

Статья в тему:  Эксперты прогнозируют, когда искусственный интеллект превзойдет человеческий...

Ориентировочное время доставки данных — 5 секунд. Это означает, что как только запись журнала появляется в системе, она доставляется на плату Kibana в течение 5 секунд.

Мы позаботились обо всех типах источников. По факту были: логи файла приложения, логи файла apache2, логи из пользовательского интерфейса, метрики с работающего сервера (память, процессор и т.д.)

Журналы файлов обрабатываются с помощью Filebeat. Он отслеживает изменения в файлах журнала и отправляет все новые записи журнала, как только они появляются в файле. Журналы из пользовательского интерфейса не могут быть сохранены в файле. Вот почему они отправляются на наш хост с HTTP-запросами. После этого он сохраняется в Elasticsearch.

Также очень ценными для нас были IP-адреса каждого запроса. Каждый адрес мы конвертируем в соответствующие географические координаты и разбираем на карте.

И, наконец, серверные метрики. Метрики сервера собираются с помощью отправителя Metricbeat. Мы просто настраиваем, какую метрику брать и куда отправлять.

Затем мы должны отправить данные с каждого сервера в одно место. Для этого на каждом сервере приложений должны быть установлены эластичные биты. Каждый сервер приложений отправляет журналы на сервер ELK с эластичными битами. Logstash анализирует и конвертирует журналы. После этого логи отправляются в elasticsearch. Amazon Elastic Block Store используется как том для хранения журналов.

В результате Elasticsearch, Logstash и Kibana устанавливаются в один экземпляр EC2. Также для обеспечения безопасности и функций оповещения необходимо установить X-Pack.

Статья в тему:  Как искусственный интеллект штата Орегон

В заключение список технологий, которые мы использовали для реализации этого прекрасного процесса: Elasticsearch, Logstash, Kibana, Elastic beats, Elastic X-Pack, AWS EC2, AWS EBS, AWS Glacier.

Это может показаться запутанным, но разве теперь результат не прекрасен?

Автор Александра Денисенко

голоса
Рейтинг статьи
Ссылка на основную публикацию
0
Оставьте комментарий! Напишите, что думаете по поводу статьи.x