Алгоритмы оптимального и быстрого создания слепка с БД в аналитическом хранилище
Перейти к навигации
Перейти к поиску
Задание
Существует задача формирования слепка таблицы из продуктивной базы данных в аналитическом хранилище. Сложность заключается в том, что выполнение операций update и delete в аналитическом хранилище невозможно или слишком медленное.
- Провести обзор существующих инструментов для создания слепков в аналитическои хранилище. В качестве аналитического хранилища использовать s3 (сохранять файлы в формате Iceberg).
- Выбрать наиболее перспективные инструменты/алгоритмы для формирования слепка
- Провести практическое исследование производительности создания слепка при помощи этих инструментов/алгоритмов.