ru24.pro
Работа
Октябрь
2024

Помочь с контейнеризацией ETL - пайплайна с помощью Docker

0
У нас написан ETL - пайплайн на Python, имеющий несколько модулей и единую точку входа. Пайплайн получает данные из нескольких MS SQL Server - баз данных, преобразует их и вставляет преобразованные данные в Clickhouse. Код запускается по расписанию раз в день. Необходимо создать Docker - образ для запуска пайплайна и через Yandex Serverless Container. Также необходимо объяснить как правильно использовать решение в дальнейшем. При попытке сделать это самостоятельно появляется ошибка, сообщающая о том, что ODBC - драйвер не найден, при том, что драйвер устанавливается при создании Docker - образа и в Dockerfile указывается путь к драйверу. Бюджет договорной.