OLAP-кубы в Alpha BI для многомерного анализа данных

Получите консультацию
по импортозамещению
BI-системы для вашей компании

Получите консультацию по внедрению
BI-системы для вашей компании
Российская компания Alpha BI, являющаяся разработчиком корпоративных аналитических решений, уделяет особое внимание поддержке и развитию OLAP-технологий. Понимая преимущества работы с кубами, Alpha BI не только сохраняет поддержку OLAP, но и активно совершенствует это направление.

В решении используется собственный OLAP-сервер, основанный на Mondrian, который был значительно усовершенствован за годы эксплуатации. Были добавлены механизмы вертикального масштабирования, переработана модель доступа к данным, повышена производительность. Кроме того, не просто поддерживаются все функции MDX, но и разрабатываются новые.

Одним из ключевых преимуществ OLAP-сервера Alpha BI является эффективная система кэширования. При первом запросе к данным результаты вычислений записываются в оперативную память сервера, а элементы размерностей загружаются в кэш. Это позволяет существенно ускорить последующие аналитические запросы, минимизируя нагрузку на базу данных.

Важно отметить, что OLAP-кубы в Alpha BI могут строиться на различных хранилищах данных, при условии, что они управляются СУБД PostgreSQL, Oracle или ClickHouse. Это обеспечивает возможность создавать кубы, работающие в режиме реального времени с внешними источниками данных, без необходимости дополнительной миграции информации во внутреннее хранилище.

Создание OLAP-кубов в Alpha BI


Создание OLAP-кубов (многомерных моделей данных) в Alpha BI разбивается на несколько этапов

Создание физической модели данных

Так как факты кубов хранятся в РСУБД, то сначала описывается физическая модель их хранения. В качестве физической модели хранения могут использоваться таблицы (table), представления (view) и результаты произвольных SQL запросов (queries). Поверх таблиц, представлений или SQL-запросов в AlphaBI создаются «Бизнес-объекты», которые являются программным слоем для работы с объектами СУБД.

Создание логической модели данных


Логическая модель, описывающая бизнес-показатели в терминах многомерного анализа, за основу берет слой «Бизнес-объектов» и добавляет бизнес составляющую.

Основные сущности логической модели

  • «Источник данных» — содержит информацию о подключении к субд, в которой хранятся показатели (факты) и измерения (размерности). Один «Источник данных» — одна СУБД. В рамках одного «Источника данных» может быть множество «Кубов».
  • «Общая размерность» - содержит в себе справочные значения, сгруппированные по иерархиям и уровням. Могут быть переиспользованы в нескольких кубах.
  • «Куб» — содержит транзакционные значения (факты) и информацию о способах их агрегации, ссылки на общие размерности или описание локальных размерностей.
  • «Виртуальный куб» — объединение нескольких «Кубов» по «Общим размерностям», позволяет проводить кросс аналитику
Рисунок 1 — Пример отражения объектов многомерной модели в документации проекта

Построение OLAP-представлений


Следующий шаг — создание OLAP-представлений (оперативные отчеты), которые удовлетворяют требованиям вашего бизнес-анализа. OLAP-представление это способ работы с многомерным кубом в двумерном пространстве — в плоскости экрана монитора.

  • Для управления структурой отчета OLAP-представление содержит область строк, столбцов, значений и фильтров, куда необходимо перемещать элементы структуры куба;
  • Для создания расчетных показателей (мер) и элементов измерений (элементов размерностей) существует редактор MDX выражений. Уровень поддержки MDX в AlphaBI позволяет осуществлять глубокую ad-hoc аналитику;
  • Для управления форматированием отчета существует функционал условного форматирования, задания стилей и правил разметки;
  • Для поддержки глубокой ad-hoc аналитики OLAP-представления поддерживают использование MDX-выражений и позволяют осуществлять операции типа drill-up, drill-down, drill-throw.

Результат этапа: готовые OLAP-представления в Alpha BI, которые полностью соответствуют функциональным требованиям к отчету.
Рисунок 2 — Пример отражения OLAP-представлений в документации проекта

Сценарии построения АХД в зависимости от бизнес-вводных


Alpha BI как конструктор корпоративных аналитических решений поддерживает разные сценарии построения аналитического хранилища в зависимости от бизнес-вводных и условий проекта.

Реализация «Полная»


Область применения: Аналитическое хранилище данных (АХД) для решения регулярных задач бизнеса, предполагающих развитие и наращивание функционала, потенциально большой объем данных.

Преимущества подхода:
  • Гибкость, при появлении у заказчика потребности в новых отчетах, или аналитических разрезах, их реализация не должна приводить к глобальным изменениям АХД;
  • Легче в поддержке в силу достаточно глубокой аналитической проработки на начальном этапе;
  • Если физическое хранилище нормализовано (хотя бы частично), упрощаются задачи:
  • инкрементального обновления — данные можно обновлять частями с учетом частоты их изменения — снижение нагрузки на интеграционные механизмы (ETL и пр.);
  • Создания и поддержки ETL-процессов обновления данных.
Недостатки подхода:
  • Большие временные затраты на реализацию;
  • Привлечение различных специалистов, в том числе со стороны заказчика;
  • Затраты на полноценное тестирование.

Реализация «Здесь и сейчас»


Область применения: АХД для решения задач бизнеса, близких к одноразовым (1−3 такта обновления данных) на произвольных объемах данных.

Бизнес-вводные для подхода «Здесь и сейчас»: заказчик предоставляет шаблоны отчетов, справочную информацию (excel и другие письменные источники или наименование таблицы в БД), view для получения данных отчета (структура соответствует шаблону отчета). Допустим, у заказчика нет возможности дать все в разложенном на сущности виде, и он не хочет погружаться в методику расчетов показателей. Решение: вот view, в нее уже все рассчитано, просто переложите это на отчеты.

Преимущества подхода:
  • Быстрая реализация — не требует глубокого погружения в предметную область;
  • Не требуется привлечения специалистов со стороны заказчика.
Недостатки подхода:

  • Негибкость, почти невозможно развитие проекта с применением текущих наработок: в случае выделения новых срезов для анализа — придется переделывать структуру реляционного хранилища, процессы загрузки;
  • Сложности при обновлении данных в хранилище:
  • Сложно реализуемо инкрементальное обновление данных;
  • Есть риски неконсистентности данных;
  • ETL — дорогой в реализации, поддержке, выполнении (по ресурсам).

Реализация «В лоб»


Область применения: АХД для решения одноразовой задачи на маленьких объемах данных.

Бизнес вводные, допускающие такой подход: подготовка демонстрационной версии. Не предполагается ее использование на регулярной основе. Аналитику предоставляются шаблоны отчетов и, возможно, view для получения данных отчета (структура соответствует шаблону отчета).

Реализация выполняется следующим образом: анализ предметной области проводится минимальный или не проводится вовсе. Аналитик полностью перекладывает структуру шаблона отчета в один БО >> в один куб — текстовые поля в локальные размерности, содержащие численную характеристику в меры.

Преимущества подхода:
  • Самая быстрая реализация - не требует погружения в предметную область, построения диаграмм и пр.
Недостатки подхода:
  • Гарантированные проблемы производительности на больших объемах;
  • Невозможно развитие проекта с применением текущих наработок (т.е. реализовать новые требования = реализовать все с 0);
  • Область применения и способ реализации не предполагает вообще регулярного обновления данных.
Рисунок 3 — Пример отражения OLAP-представлений в документации проекта

Получите консультацию
по импортозамещению
BI-системы для вашей компании

Получите консультацию по внедрению
BI-системы для вашей компании

Заключение

OLAP-кубы — это мощный инструмент многомерного анализа данных, который позволяет учитывать множество факторов и получать объективные результаты. Несмотря на то что OLAP-технология была разработана компанией Microsoft и поддерживается различными вендорами, она находит применение в самых разных областях, от бизнес-аналитики до демографических исследований.

Российская компания Alpha BI, разработчик корпоративных аналитических решений, демонстрирует, что подход OLAP остается актуальным и продолжает развиваться. В решении Alpha BI реализованы новые возможности и улучшения, повышающие эффективность анализа данных с использованием OLAP-кубов.