Разработать парсер linkedin на телеграмм боте

16.01.2025 14:36

1. Цель проекта

Создание парсера для LinkedIn, который будет работать через Telegram. Парсер должен собирать информацию о пользователях и компаниях с LinkedIn, включая:

Имя пользователя
Ссылка на профиль пользователя
Название компании
Ссылка на профиль компании
Почтовые адреса (по возможности)
(пункты могут добавляться в зависимости от возможностей api)

Результаты поиска должны экспортироваться в Google Таблицы для дальнейшего использования и обработки.

Парсинг будет осуществляться с использованием следующих библиотек:

linkedin-api
linkedin-scraper
(или других при наличии)

2. Основные функциональные требования

Интерфейс с Telegram:
- Создать бота в Telegram, который будет взаимодействовать с пользователями.
- Пользователь может отправлять запросы для поиска профилей на LinkedIn и получать результаты в виде сообщений в Telegram.
- Результаты поиска, помимо вывода в Telegram, должны быть экспортированы в Google Таблицы.
Поиск на LinkedIn:
- Парсинг информации по ссылке на поиск с выставленными фильтрами
- Реализовать поиск через LinkedIn Search и Sales Navigator.
Обработка ошибок:
- Обработка ошибок, возникающих при неудачном запросе, блокировке аккаунтов и других нештатных ситуациях.
Экспорт в Google Таблицы:
- После получения результатов поиска, парсер должен автоматически экспортировать данные в Google Таблицы.
- Для каждого поиска создавать новый лист, с уникальным названием по имени пользователя
- Таблица должна содержать следующие колонки:
  - Имя пользователя
  - Ссылка на профиль
  - Название компании
  - Ссылка на компанию
  - Почта (если доступно)
- Для работы с Google Таблицами необходимо использовать Google Sheets API для автоматического создания и редактирования таблиц.

3. Функциональные особенности

Телеграмм-бот:
- Бот должен принимать команды от пользователя через Telegram:
  - /start — запуск бота и приветственное сообщение.
  - /search <поисковый запрос> — выполнение поиска по ключевому запросу на LinkedIn, вывод результатов в Telegram и экспорт их в Google Таблицы.
  - /help — описание доступных команд.
- Каждому результату поиска должна быть дана краткая информация:
  - Имя пользователя.
  - Ссылка на профиль пользователя.
  - Название компании.
  - Ссылка на профиль компании.
  - Почтовый адрес (если доступно).
Парсинг LinkedIn:
- Использовать linkedin-scraper для получения информации с публичных страниц пользователей и компаний (если доступны).
- Использовать linkedin-api для получения информации о профиле пользователя, включая имя, компанию, позицию и почту (если доступна).
Получение данных:
- Для пользователей, чьи страницы доступны:
  - Имя и фамилия.
  - Профильная ссылка на LinkedIn.
  - Компания, где работает пользователь.
  - Ссылка на страницу компании.
  - Электронная почта (если публично доступна).
Ограничения:
- Параллельное выполнение запросов для ускорения поиска, если возможно.
- Для избежания блокировок необходимо добавить случайные задержки между запросами.
- Отображение ошибки в случае блокировки пользователя или проблемы с запросом.
Данные безопасности и конфиденциальности:
- Соблюдать политику конфиденциальности LinkedIn и избегать парсинга данных, которые противоречат их условиям использования.
- Защита данных пользователей (например, пароли) и соблюдение стандартов безопасности для Telegram-ботов.

4. Технические требования

Среда разработки:
- Python 3.8 или выше.
- Использование библиотек python-telegram-bot для создания бота.
- Использование linkedin-scraper и linkedin-api для получения данных с LinkedIn.
- Использование Google Sheets API для автоматического экспорта данных в таблицы.
Интеграция с Telegram:
- Использование Telegram Bot API для создания и работы с ботом.
- Получение сообщений от пользователей и отправка ответов.
Архитектура:
- Парсер должен быть многозадачным, чтобы обрабатывать несколько запросов одновременно, без блокировки аккаунта.
- Реализовать использование баз данных или файлов для хранения временных данных (например, для отслеживания ограничений и очереди запросов).
Интеграция с Google Sheets API:
- Для работы с Google Таблицами необходимо использовать OAuth 2.0 для авторизации и доступа к Google Sheets API.
- После получения результатов поиска парсер должен автоматически создать новый лист в Google Таблице, заполнить его соответствующими данными и предоставить ссылку на таблицу пользователю.

5. Этапы разработки

Этап 1 — Создание Telegram-бота:
- Настройка Telegram-бота и его интеграция с Python.
- Разработка команд для бота (например, /start, /search, /help).
Этап 2 — Реализация парсера LinkedIn:
- Настройка и тестирование библиотек linkedin-api и linkedin-scraper.
- Реализация логики поиска и извлечения данных из LinkedIn.
- Обработка информации о пользователях и компаниях.
Этап 3 — Интеграция с Telegram-ботом:
- Интеграция парсера с Telegram-ботом для отправки результатов поиска.
- Обработка команд и вывод результатов пользователю.
- Интеграция с Google Sheets API для автоматического экспорта данных.
Этап 4 — Тестирование:
- Проведение тестирования бота на различных данных и исправление ошибок.
- Проверка работы бота в условиях ограничений и капч.
Этап 5 — Развертывание и поддержка:
- Развертывание бота на сервере или в облаке.
- Обеспечение стабильной работы и мониторинг.

6. Дополнительные требования

Возможность доработки бота с добавлением новых функций.
Оптимизация скорости работы бота и парсера для эффективного получения данных.
Предоставление отчётов о работе бота в случае возникновения ошибок или блокировок.

7. Ожидаемые результаты

Рабочий Telegram-бот, который позволяет искать информацию на LinkedIn и экспортировать данные в Google Таблицы.
Результаты поиска, включающие имя пользователя, ссылку на профиль, компанию, ссылку на компанию и почту (если доступно), экспортируются в таблицу.