ru24.pro
Работа
Октябрь
2024
1 2 3 4 5 6 7 8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

Доработать парсер для ozon на golang

0
Есть уже готовая программа (в 250 строчек) на языке go, эта программа в цикле получает содержимое неких ozon url и просто выводит содержимое url (json) в консоль.
Эти url получены из ozon android приложения, приложение через них получает данные, для доступа к url нужны access токены, которые уже есть.
Запросы к озон делаются через уже готовые прокси и через go библиотеку utls. (защита от fingerprint)

Сейчас, при запуске программы в начале все хорошо, но где-то после получения 250 штук url начинаются проблемы, озон начинает возвращать неправильные данные, в общем он каким-то образом понимает, что его парсят.
Задержки не помогают.
И если программу в консоли закрыть, и запустить заново, тут же опять озон начинает отдавать нормальные данные.

Нужен человек, который разбирается в сетях.
Изучит проблему и подскажет, как ее решить.
А еще лучше возьмет нашу go программу и поправит ее.

Либо мы рассматриваем возможность купить готовый скрипт парсинга на озон (на любом языке), если он позволяет работать в многопоточном режиме.