Publish your project for free and start receiving offers from freelance contractors in serveral minutes after publication!
5 000 ₽

Парсер сайта с веб-формой

closed without completion


2 Веб-формы управления парсером:

1. Добавление данных для парсера

Пользователь добавляет ссылки URL сайта по которому выводится страница "каталога" с ссылками на элементы ( на странице есть пагинатор ). Задача изначально спарсить ссылки на элементы и отобразить в веб-форме количество данных ссылок. Парсер проходит ссылки по очереди и отображает число элементов "всего" и "готово".

На странице есть кнопки запускающие и приостанавливающие работу по всем или каждому отдельному URL

Все без исключения запросы к сайту идут строго в определенные для этого часы.  

2. Дополнительно на отдельной странице задаются рабочие дни недели, часы работы, ограничение на количество элементов в сутки, задержка в секундах от/до, логин/пароль к сайту, почта для уведомлений о работе.


Работа парсера:

Для каждого переданного URL каталога парсим URL элементов и идем по данному списку.

Парсинг отдельного элемента:

Смотрим в ссылке на ID элемента и проверяем есть ли он у нас в базе

Если нет  - переходим по ссылке и отображаем страницу "для печати"

Парсим элементы на странице в различные поля базы данных MySQL по определенным тегам на странице, сохраняем файла для печати в папку с номером согласно текущей дате ( пример 20190712 ) и в отдельном поле прописывааем имя файла и папку. Парсинг идет с рандомной задержкой в секундах согласно странице настроек.

При возникновении ошибок авторизации и проч. прекращаем работу и отправляем письмо по адресу на странице настройки. Если нужное количество элементов получено то та же отправляем письмо с темой "готово xxx элементов. остаток xxx элементов".


Стоимость работ обсуждается. Оформление через сейф



  1. 5 days10 000 ₽
    Анастасия Рубцова
     231 

    Здравствуйте, Андрей !

    Готовы обсудить с вами все детали.
    Также обговорим цену и сроки выполнения проекта.

    Меня зовут Анастасия, я занимаюсь поиском клиентов.
    Мы команда разработчиков с опытом работы более 4-х лет. Специализируемся на проектах фреймворка Django.
    Разрабатываем различные скрипты автоматизации процессов на Python 3.
    Так же мы занимаемся любой версткой и у нас есть человек DevOps (Системный администратор), который занимается настройкой и защитой серверов.

    Связь со мной:
    Telegram: @Hooliganka00
    Skype: nastya.nastya5555
    WhatsApp/Viber: +79297136065

    Russia Krasnodar | 12 July at 15:17 |
  2. 5 days6 500 ₽
    Vladimir Strizhak
     135 

    Здравствуйте. Готов занятся вашим проектом. Имею опыт работы с Python3, так же хочу собрать портфолио и набраться больше опыта. Давайте обговорим все аспекты ТЗ и я примусь за работу.

    Russia Russia | 14 July at 14:03 |