ru24.pro
Работа
Ноябрь
2024
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
24
25
26
27
28
29
30

Разобрать текущий ETL-процесс

0
Есть реализованный ETL-процесс, который работает на python и sql ,и сначала парсит wf tsv yaml файлы из репозиториев гитлаба, обрабатывает и закидывает в БД. Обновляется БД при изменении этих файлов с помощью CI/CD конвейера. Сами скрипты также лежат в гитлабе.Мне нужна консультация, чтобы задать вопросы по теории, такие как, почему это решение реализовано именно так, какие есть альтернативные инструменты, системы и подходы реализации такого ETL процесса. Вообщем, чтобы вы смогли меня направить, что мне нужно исследовать, так как нужно мне это для исследования в дипломной работе