Publish your project for free and start receiving offers from freelance contractors in serveral minutes after publication!
40000 ₴

Многопоточный парсер на серверной части, работающий 24/7

project expired


Задача:

  1. У нас есть оболочка (фронт-енд) – обычный сайт и back'end часть для пользователей, которые прошли авторизацию. Внутри Back'enda для тех, кто прошел атворизацию, есть личный кабинет: доступ к сервису, срок оплаты, данные компании, фильтр параметров полученных данных.
  2. Необходимо с back'end части подключить серверную часть многопоточного парсера, который бы выводил в back'end для авторизованных пользователей спарсенную информацию.
  3. Парсер нужно разработать и он должен работать 24/7 на серверной части, обрабатывая довольно много запросов с 10 больших ресурсов, где информация обновляется каждые 3-10 секунд. После чего, все это он должен выводить в наш back'end где мы можем фильтровать "вытянутые" данные по заданным параметрам. Необходимо предусмотреть возможность того, что при частых обращениях, некоторые сайты могут блокирвоать доступ. Это необходимо обходить. 
  4. Необходимо настройка сервера. 

Более детальное ТЗ, со списком ресурсов, работой сервиса и другими нюансами готов обсудить индивидуально с будущим исполнителем

Что от вас требуется:

  1. Опыт работы с похожей технологией
  2. Предложение, как вы будете это реализовывать
  3. Примерная цена и срок в ставке





  1. proposal concealed by freelancer
  2.  freelancer isn't working in the service any longer
  3. 25 days40000 ₴
    Ростислав Никитин
     135 

    Добрый день, имею обширный опыт в написании подобных систем. Создавал парсеры магазинов, соцсетей, сайтов медиаконтента и т.д.
    Разрабатывать буду на Python, парсер будет написан на фреймворке для парсинга Scrapy. Очередностью задач будет заниматься celery.
    Хотелось бы взглянуть на ТЗ если оно у вас есть, если все же нет его нужно будет составить.

    Ukraine Ukraine | 1 July 2017 |
  4.  freelancer isn't working in the service any longer
  5. 14 days40000 ₴
    Сергей Зен
     281   2    0

    Здравствуйте. Большой опыт написания парсеров и их интерфейсов. Реализую парсинг на PHP и интегрирую на сторону клиента. Окончательная стоимость и срок после ознакомления с ТЗ.

    Ukraine Odessa | 2 July 2017 |
  6. 10 days40000 ₴
    Юрий Фрилансер
     441   2    1

    Парсеры

    Есть примеры парсеров которые работают, больше года 24/7,
    Настройка сервера, настройка планировщика, асинхронный серверный скрипт, питон, асинхронная работа с базой данных (mongoDb), при необходимости time series dbms, быстрый анализ, срезы по данным, асинхронный сервер отдачи данных (rest), веб интерфейс, - по цене и срокам надо смотреть подробности. По фронт-енду базовый шаблон, верстку потом можно натянуть любую (надо будет определится рендерить страничку на сервере или на клиенте)


    Интересны заказы на получение больших объемов данных и долгосрочное сотрудничество
    Авито, prom.ua, olx итд
    получения или всех данных или миллионами записей


    Делаю как парсинг сайтов так и продаю сами парсеры.
    Заказы от 100$
    Цена парсеров от 1 копейки за парсинг 1 страницы (статические данные),
    все зависит от объемов которые вам надо,
    также парсинг социальных сетей
    (Парсер для Facebook, Twitter, VK)
    Так же парсинг и уникализация картинок, обход блокировок, работа через прокси.
    Парсинг как статики так и динамических сайтов.
    пишите подробности
    [email protected]
    skype wku-lg

    Ukraine Ukraine | 2 July 2017 |
  7. proposal concealed by freelancer
  8. 4 days40000 ₴
    Павел Кирилов
     261 

    Доброго времени суток могу выполнить ваш заказ

    Belarus Gomel | 3 July 2017 |
  9. 4 days35000 ₴
    Дмитрий Гольд
     398 

    Добрый вечер! Я готов немедленно взяться за проект. Подробности можем обговорить по почте:
    [email protected]
    Или в скайпе: demon-nobody.
    Ну или по телефону +7-910-616-70-66.
    Viber\WathsApp\imo\Telegram\Line\WeChat: +79106167066
    Мой аккаунт в ICQ: 216391280
    Лучше через мой аккаунт в социальной сети Вконтакте http://vk.com/write10728938
    Резервный https://vk.com/pc_rzn_ru
    Могу "ускорится" за отдельные деньги.
    И сделать оптовую скидку.

    C уважением, Гольд Дмитрий Владимирович.

    Russia Ryazan | 6 July 2017 |
  10. 31 days40000 ₴
    Сергій Романов
     722  verified   7    0

    Добрый день! Имею опыт написания многопоточных парсеров для сбора данных с Google.Images, Yandex.Search (с обходом каптчи), OLX.UA и других сайтов. Для достижения этой цели использовал Python/Django для управление самим парсером, Celery/Redis для организации асинхронности, небольшой модуль к Django для управления списком прокси (парсинг с Интернета, чекер) и Selenium + Firefox/Chrome для емуляции работы браузера где это было нужно.
    Предлогаю реализировать ваш проект с использованием таких инструментов.
    Цена/строки примерные, так как нужно изучить сайты-доноры и требования к работе самих ботов-парсеров.

    Ukraine Chernovtsy | 6 July 2017 |
  1. 10 days40000 ₴
    Дмитришен Виктор
     98   3    2

    Готов взяться!

    Kazakhstan Karaganda | 1 July 2017 |
  2. proposal concealed by freelancer
  3.  freelancer isn't working in the service any longer