Парсинг больших данных

Ищем в проект специалиста по парсингу с опытом в парсинге большого количества данных (2млн+) через сторонние API.

Требования:

1. Изучение структуры целевых сайтов, оценка доступности их API и распределение частотности запросов (возможно, применение прокси для API с ограничениями)
2. Разработать парсеры для каждого сайта, настроить логирование
3. (ВАЖНО!) Фильтрация, очистка и нормализация данных. Именно поэтому важен опыт в работе с большими данными
4. Создание структурированной базы данных
5. Разработка механизма периодического обновления данных
   
6. Составление инструкции для работы парсера
   
7. Коммуникация с членами команды

Срок — не более 7 рабочих дней с момента подписания договора для пунктов 1.-4.
Цена указана в качестве прямой оплаты специалисту за работу в соответствии с ТЗ.

(!) Только индивидуальные специалисты, команды и компании не рассматриваются.