ru24.pro
Все новости
Август
2024

Скрипт для скачивания содержимого страницы с сайта mid.ru

0
Нужно создать скрипт на NodeJs 18 скачивающий html содержимое страницы https://mid.ru/ru/foreign_policy/news/ для последующего парсинга новостей
1. Должен быть выполнен в виде Typescript класса. У класса должен быть метод - getContent(): strng, возвращающий html с новостями. Этот метод должен генерировать исключение в случае таймаута получения страницы.
2. Простой способ скачивания этого url не работает. Создатели сайта сделали защиту от ботов. Нужно полностью эмулировать работу браузера для получения содержимого
3. Код должен работать на VPC сервере с Ubuntu 20 без UI интерфейса. Т.е. браузер там не установлен
4. Код будет запускаться на VPC сервере внутри России