Publish your project for free and start receiving offers from freelance contractors in serveral minutes after publication!

Парсер новостей

project expired


Задача: Написать скрипт-парсер для отслеживания обновлений контента на определенных сайтах с дальнейшей его автоматической публикацией.


Алгоритм работы (как вижу я):

  1. С определенным интервалом сайт (раздел сайта либо список страниц) сканируется на наличие обновлений.

  2. Найденный новый контент публикуется на нашем сайте указав дату публикацию раньше, чем на оригинале (например рандомно в пределах -1 час)

  3. Доработка: В дальнейшем скрипт нужно доработать, сделав возможность перед публикацией контента на сайте добавлять его в панель вебмастера Яндекс, в раздел Оригинальные тексты.


Нюансы

Часть сайтов имеет защиту от копирования, все возможные Ddos защиты и блокировку ботов. 


По этому (как вижу я):

  • Нужно иметь список proxy, который будет переключаться в случае блокировки ip

  • Иметь возможность использовать рандомные интервалы проверки (например в пределах 10 минут рандомно), для обхода защиты от краулеров

  • Имитировать обычное посещение пользователем (может яндекc бота или типа того)


Сайты, которые уже сейчас нужно запускать в работу:

напишу после выбора исполнителя 

 


Дальнейшее развитие

Планируется создавать клоны и дублировать контент других сайтов, поэтому есть необходимость создания унифицированной платформы (cms) для клонов и работа в связке с парсером.  


Доработка: Должна быть реализована возможность самостоятельной настройки парсера без участия программиста.



  1. proposal concealed by freelancer
  2. 10 daysconcealed
    Евгений Нечипорук
     321   1   0

    готов реализовать, цена зависит от количества сайтов (подход к каждому из них нужен индивидуальный, т.е. один парсер - один сайт), и что вы хотите настраивать?

    Ukraine Kyiv | 11 March at 19:19 |
  3.  freelancer isn't working in the service any longer
  4. proposal concealed by freelancer
  5. 1 dayconcealed
    Михаил Дроздов
     233   6   0

    Здравствуйте! Готов реализовать. Имею хороший опыт симулирования ботом обычного посещения пользователя. Возьму дешевле остальных. Давайте обсудим детали!

    Ukraine Ukraine | 12 March at 07:47 |
  6. 10 daysconcealed
    Леонид Маевский
     172   1   0

    О вас расширенное ТЗ , от меня качественная работа, опыт более 7 лет

    Ukraine Rovno | 12 March at 09:45 |
  7. 2 daysconcealed
    Vasya Pentelukin
     96 

    Реально сделаю за 2 дня(пока есть время, пока не взял другой проект)!
    Построю все на современнейших технологиях!
    Абсолютно все равно какая на сайтах защита от парсинга.
    Сделаю максимально легкую настройку без участия программиста.

    Ukraine Kyiv | 15 March at 21:49 |

Client
Vova Prik
Ukraine Kyiv  1   0
Project published
11 March at 19:03
218 views