Алгоритмы оптимального и быстрого создания слепка с БД в аналитическом хранилище

Материал из Машинное обучение - Кафедра прикладной кибернетики
Перейти к навигации Перейти к поиску

Задание

Существует задача формирования слепка таблицы из продуктивной базы данных в аналитическом хранилище. Сложность заключается в том, что выполнение операций update и delete в аналитическом хранилище невозможно или слишком медленное.

  1. Провести обзор существующих инструментов для создания слепков в аналитическои хранилище. В качестве аналитического хранилища использовать s3 (сохранять файлы в формате Iceberg).
  2. Выбрать наиболее перспективные инструменты/алгоритмы для формирования слепка
  3. Провести практическое исследование производительности создания слепка при помощи этих инструментов/алгоритмов.

Научный руководитель

ФИО: Благов Михаил Валерьевич [e-mail][Telegram]