Парсер позиций по ключевым словам на Wildberries
Цель проекта:
Создание системы для автоматического парсинга позиций артикулов по ключевым словам с Wildberries, которая будет сохранять данные и отображать их в динамимеском дашборде. Система должна выдерживать большие объемы запросов и артикулов, а также предоставлять гибкость в настройке интервалов парсинга.
Общие требования:
Масштабируемость: Система должна поддерживать обработку большого количества запросов и артикулов.
Интервалы парсинга: Возможность настройки интервалов парсинга — 15 минут, 30 минут, 1 час. Должен быть динамичный лист с течение последних 24 часов.
Хранение данных: Данные о позициях должны сохраняться на срок минимум 30 дней.
Удаление старых данных: Старые данные (старше 30 дней) могут скрываться или удаляться (возможность гибкой настройки).
1. Парсинг данных
Описание функционала:
1. Поиск артикулов по ключевым словам на сайте wildberries.ru
Запрос к Wildberries по артикулу и ключевому слову.
Получение следующих данных:
Фактическая позиция в выдаче.(рекламная позиция буста)
Органическая позиция.
Рекламная ставка.
2. Метрики для каждого артикулa:
Органическая позиция.
Рекламная позиция.
Рекламная ставка.
Цена за один буст (рассчитывается как разница между рекламной ставкой и органической позицией).
Частотность ключевого слова.
Формат данных:
Данные собираются в табличку (Google Sheets, Excel или другой формат), где для каждого артикулa и ключевого слова будет отображаться набор метрик строчками и была возможность фильтрации
2. Дашборд и визуализация данных
Основные функции дашборда:
1. Визуализация данных:
Отображение ключевых метрик для каждого артикулa и ключевого слова.
Возможность сортировки по артикулу, ключевому слову, органической или рекламной позиции, ставке и другим параметрам.
Данные должны подсвечиваться в зависимости от изменений:
Зеленым: если позиция до 100 места то есть карточка находится на 1 странице. .
Оранжевым если позиция в диапазоне от 100 до 200
Красным если ниже 200
Синим если не в рекламе
2. Настраиваемый интервал обновления:
Парсинг данных и обновление дашборда должно происходить с интервалом 15 минут, 30 минут или 1 час (по настройкам пользователя). Обычно это будет 1 раз в час. Но так же должна быть кнопка мгновенного запуска парсинга
3. Хранение истории изменений:
Данные должны сохраняться минимум на 30 дней.
Возможность автоматического скрытия старых данных (более 30 дней).
Листы и их структура:
Лист 1 ("Список ключевых слов"):
Столбец с артикулом.
Столбец с ключевыми словами.
(Опционально) Столбец с кластером, группирующим ключевые слова.
Лист 2 ("Данные парсинга"):
Столбцы:
Столбец с артикулом.
Столбец с ключевым словом.
столбец с кластером
столбец с частотностью
столбцы с датой и времени(последние 24часа)
Строчки:
Органическая позиция.
Рекламная позиция.
Ставка.
Выгружается по 3 строчки с одним и тем же ключевым словом, ключевое слово + органика, слово + позиция, слово+ ставка
3. Технические требования Интерфейс:
Платформа для хранения данных: Google Sheets
Язык реализации: предпочтительно Python
Поддержка работы с большим количеством данных и устойчивость системы, скорее всего проксированные многопоточные системы
Создание системы для автоматического парсинга позиций артикулов по ключевым словам с Wildberries, которая будет сохранять данные и отображать их в динамимеском дашборде. Система должна выдерживать большие объемы запросов и артикулов, а также предоставлять гибкость в настройке интервалов парсинга.
Общие требования:
Масштабируемость: Система должна поддерживать обработку большого количества запросов и артикулов.
Интервалы парсинга: Возможность настройки интервалов парсинга — 15 минут, 30 минут, 1 час. Должен быть динамичный лист с течение последних 24 часов.
Хранение данных: Данные о позициях должны сохраняться на срок минимум 30 дней.
Удаление старых данных: Старые данные (старше 30 дней) могут скрываться или удаляться (возможность гибкой настройки).
1. Парсинг данных
Описание функционала:
1. Поиск артикулов по ключевым словам на сайте wildberries.ru
Запрос к Wildberries по артикулу и ключевому слову.
Получение следующих данных:
Фактическая позиция в выдаче.(рекламная позиция буста)
Органическая позиция.
Рекламная ставка.
2. Метрики для каждого артикулa:
Органическая позиция.
Рекламная позиция.
Рекламная ставка.
Цена за один буст (рассчитывается как разница между рекламной ставкой и органической позицией).
Частотность ключевого слова.
Формат данных:
Данные собираются в табличку (Google Sheets, Excel или другой формат), где для каждого артикулa и ключевого слова будет отображаться набор метрик строчками и была возможность фильтрации
2. Дашборд и визуализация данных
Основные функции дашборда:
1. Визуализация данных:
Отображение ключевых метрик для каждого артикулa и ключевого слова.
Возможность сортировки по артикулу, ключевому слову, органической или рекламной позиции, ставке и другим параметрам.
Данные должны подсвечиваться в зависимости от изменений:
Зеленым: если позиция до 100 места то есть карточка находится на 1 странице. .
Оранжевым если позиция в диапазоне от 100 до 200
Красным если ниже 200
Синим если не в рекламе
2. Настраиваемый интервал обновления:
Парсинг данных и обновление дашборда должно происходить с интервалом 15 минут, 30 минут или 1 час (по настройкам пользователя). Обычно это будет 1 раз в час. Но так же должна быть кнопка мгновенного запуска парсинга
3. Хранение истории изменений:
Данные должны сохраняться минимум на 30 дней.
Возможность автоматического скрытия старых данных (более 30 дней).
Листы и их структура:
Лист 1 ("Список ключевых слов"):
Столбец с артикулом.
Столбец с ключевыми словами.
(Опционально) Столбец с кластером, группирующим ключевые слова.
Лист 2 ("Данные парсинга"):
Столбцы:
Столбец с артикулом.
Столбец с ключевым словом.
столбец с кластером
столбец с частотностью
столбцы с датой и времени(последние 24часа)
Строчки:
Органическая позиция.
Рекламная позиция.
Ставка.
Выгружается по 3 строчки с одним и тем же ключевым словом, ключевое слово + органика, слово + позиция, слово+ ставка
3. Технические требования Интерфейс:
Платформа для хранения данных: Google Sheets
Язык реализации: предпочтительно Python
Поддержка работы с большим количеством данных и устойчивость системы, скорее всего проксированные многопоточные системы