Источники данных

Загрузка таблиц Excel

Glarus BI позволяет превратить данные из файлов .xlsx, .xlsm в полноценную модель для исследований всего в несколько щелчков.

При импорте доступны варианты загрузки данных:

• "Перезаписать" заменяет ранее загруженные данные из файла с тем же именем;

• "Дополнить" дописывает данные к ранее загруженным из файла с тем же именем;

• "Создать новую таблицу с суффиксом текущей даты" создаёт новую таблицу для данных, добавляя дату и время импорта к названию.

Вы сможете объединить новые данные с данными из других источников. Система позволяет загружать данные из Excel в PostgreSQL и ClickHouse.

Доступна информация о дате и времени загрузки данных, что удобно в случае многократного импорта в одну таблицу в режиме дополнения. Например, при периодической загрузке финансовых данных из 1С. Информация доступна в специальном поле "glarus_load_dttm".

Для корректной работы загрузки администратор должен включить её в настройках подключения к базе данных.

ClickHouse "из коробки"

Колоночная аналитическая СУБД для онлайн-аналитики поставляется вместе с Glarus BI в предварительно настроенном виде. ClickHouse рекомендуется как последний слой интеграции всех данных и визуализации.

Расширенные возможности ETL

Доступно сохранение модели данных из одного источника в другой совместимый источник: более производительный и лучше подходящий для работы с вашими данными (по умолчанию это ClickHouse).

ETL (Extract, Transformation and Load) — это процесс, включающий извлечение данных из разных источников, их преобразование для очистки, стандартизации, предварительных вычислений и последующую загрузку в аналитическую платформу. Он позволяет обеспечить согласованность и удобство анализа данных, поступающих из различных источников, с единой системой вычисления показателей.

В Glarus BI вы можете подключить разнообразные источники, для которых есть JDBC-драйвер, загружать данные из CSV и XLSX-файлов. Данные из источника загружаются в выбранную базу данных через механизм кэширования моделей. При этом можно произвести необходимые вычисления или проверки на качество, используя код SQL-запроса.

Мы улучшили механизм ETL. Теперь чтение данных происходит порциями с записью статистики в лог и метаданные, что позволяет лучше контролировать процесс в случае работы с объёмными базами.

Дополнительную информацию можно получить в нашем обучающем ролике на Rutube.

Сохранение модели данных из интерфейса системы напрямую в ClickHouse

Администратору в разделе Управление > Производительность > Кэширование модели доступно включение сохранения и настройка обновления кэша моделей. В Управление > Базы данных он может выбрать, откуда кэшировать данные и куда, выбрав подключение в качестве источника и целевого хранилища кэша моделей.

Как только система выполнит задание, таблица модели появится в хранилище. Это можно увидеть по журналам в разделе Управление > Инструменты.

Никакой ручной работы в консоли и написания скриптов.

Приоритет кэширования моделей

Как показала практика, иногда нужна возможность вмешаться в кэширование моделей — вручную изменить порядок обновления кэша.

По умолчанию обновление выполняется в порядке создания таблиц моделей (по ID). Такой вариант подходит не для всех случаев, особенно когда вы часто создаёте новые модели на основе существующих, затем меняете их определение.

Для этого мы добавили поле ввода приоритета обновления кэша и вывели значения приоритета в списке моделей, чтобы вы видели общую картину.

Приоритет обновления задаётся в блоке информации о модели. Чем выше значение — тем раньше будет обновлена соответствующая таблица в хранилище. Вводить его в настройки всех моделей не нужно — достаточно повысить приоритет необходимых, значения можно повторять. Ноль означает обычный порядок и используется по умолчанию.

В списке моделей доступна сортировка по приоритету обновления.

Загрузка данных из CSV-файлов по FTP

К драйверу CSV добавлена поддержка протокола FTP. Вы можете размещать файлы для загрузки на FTP-сервере, система будет их импортировать по расписанию.