Данный сайт содержит ограниченный набор материалов, предоставленный при первичной регистрации продукта в Едином реестре отечественных программ и баз данных.
Актуальная и полная информация о продукте размещена на сайте https://data.rt.ru
RT.DataLoader
RT.DataLoader - инструмент, предназначенный для выгрузки данных из источников, поддерживающих соединение jdbc, и доставки их в файловое хранилище hdfs.
Ключевые функции и возможности
-
Позволяет выполнять подключения к реляционным БД, извлекать данные из таблиц, представлений или по запросу, “приземлять” данные в hdfs.
-
Даёт возможность быстро подключать к хранилищу новые источники данных, новые таблицы, корректировать атрибутивный состав. Позволяет подключаться к любым источникам, поддерживающим соединение jdbc и стандарт sql92.
-
Поддерживает полную и инкрементальную выгрузку данных из таблиц/представлений/sql-запросов в файл csv на локальном сервере хранения данных.
-
Поддерживает синтаксические конструкции SQL СУБД системы-источника (блок WITH , Oracle HINTs для оптимизации запрос к источнику).
-
Выполняет подсчет контрольных сумм для отслеживания потери данных.
-
Позволяет ставить задания на выгрузку по расписанию, формировать очередь выгрузок, выгружать данные параллельно с нескольких серверов выгрузки и последовательно с одного сервера, балансируя нагрузку на сервере выгрузки.
Состав компонентов
Выгрузка
Доставка
Оркестратор Airflow
Преимущества
Наличие интерфейса для настройки, управления и мониторинга процессов загрузки.
Наличие оркестратора для управления потоками выгрузки.
Сжатие данных в архив.
Разделение процессов выгрузки и доставки данных для снижения нагрузки на источник при проблемах на стороне ХД.
Простота тиражирования.
Подсчет контрольных сумм для минимизации рисков потери данных.
Гибкое управление выгрузкой, настройка расписания для конкретной таблицы или группы таблиц источника.
Значительное сокращение привлечения ETL разработчиков к процессу подключения новых таблиц источников к ХД, сокращение стоимости расширения ХД.
Типовые кейсы использования
Продукт применим для хранилищ данных с ежедневной частотой обновления данных, особенно эффективен для систем с большим количеством источников данных.
Лицензирование ПО
Стоимость продукта формируется динамическим путем в зависимости от количества заявленных пользователей, необходимой инфраструктуры и выбранного уровня поддержки программы.
Запросить дополнительную информацию вы можете по электронному адресу sales@data.rt.ru.