Publish your project for free and start receiving offers from freelance contractors in serveral minutes after publication!

Нужно написать парсер сбора новостей по ключевым запросам

closed by moderator


Наполняю сайт актуальными свежими новостями различной тематики. У меня в базе есть около 50 новостных сайтов, в том числе и англоязычных, на которые я перехожу по очереди, читаю их и отбираю нужные мне новости. Эта база постоянно увеличивается. Сайты иногда меняются, какие-то добавляю, а какие-то удаляю т.к они перестают обновляться.

Это все отбирает много время, тем более что из 20 сайтов я могу только на одном найти что-то интересное, чтобы зря не тратить время хотел бы автоматизировать этот процесс поиска нужной мне информации для дальнейшей ее обработки уже вручную.

В общем нужно написать парсер который сможет автоматически 1 раз в 5-10 минут переходить на указанные мною новостные сайты и находить там на главной странице в тексте и в заголовках рубрик, заданные слова или фразы. (Слова и фразы так же постоянно будут меняться)

При обнаружении их парсер должен выводить в своем окне анонсы этих статей в которых встречаются заданные мною фразы и ссылку сайта на котором он нашел это нашел.  
Это может быть небольшой отрывок из текста. Достаточно пару слов до фразы и пару после нее и ссылка. Дальше я уже сам иду по этой ссылке и глазами нахожу нужные мне новости.

Если возможно сделать ссылку с парсера сразу на отрывок этой новсти будет, еще лучше 🙂

В парсере нужна кнопка – я прочел и больше не показывать этот анонс из этой страницы. Чтобы не путаться.

Т.е дальше парсер должен искать совпадение фраз только 1 раз и не выдавать повторно одно и то же с одного сайта.

Как я это вижу:
В первой колонке в столбик идут нужные мне запросы: слово или фраза из двух или трех слов. Примерно 50 строк слов и словосочетаний которые можно менять, удалять и вводить новые


Во второй колонке список сайтов на которых парсер будет искать заданные слова из первого столбика. Эти сайты так же можно удалять, и добавлять новые до ьесконечности (но вреальности будет около 100 ссылок)

В третьей колонке парсер будет выводить результаты.

Сделал наброски как это должно выглядеть визуально. Хотя вид не имеет значения. Главное чтобы функционально все было.

Applications 1

Only registered users can view attachments.


  1. 1 day1000 ₽Winning proposal
    Максим Арс
     510  verified   8   0

    Помогу!
    Расскажу и покажу через:
    WhatsApp
    Viber
    Skype
    Телеграмм
    Как автоматизировать!

    Russia Russia | 19 March 2018 |
  2. 4 days2000 ₴
    Renat B
     870   24   0

    Здравствуйте!
    Сделаю быстро и качественно. Буду рад сотрудничеству.

    Ukraine Odessa | 19 March 2018 |
  3. 21 days35000 ₽
    Georgiy Baranov
     185   1   0

    В составе команды занимаемся нестандартными веб решениями. Предлагаю реализовать проект на Laravel. В дальнейшем это позволит легко расширять функционал, в т.ч. добавить автопостинг в соц.сети и прочее. После разработки готовы взять проект на постоянную поддержку. Подробности можем обсудить в лс

    Russia Russia | 20 March 2018 |
  4. 1 day1000 ₴
    Роман Тулайдан
     1763   31   0

    Сделаю.
    Точная цена и сроки после обсуждения и уточнения всех деталей

    Ukraine Ivano-Frankovsk | 20 March 2018 |

Project published
19 March 2018
63 views