Publish your project for free and start receiving offers from freelance contractors in serveral minutes after publication!
5 000 ₽

Парсинг сайта с вопросами

closed without completion



Спарсить сайт https://clck.ru/JixFL


И сделать скрипт парсинга новых статей (обновления).


Задача1 - спарсить все страницы (по данным да их 200.000)

Для каждой страницы парсим следующие данные:

на примере https://clck.ru/JsDW2


1. Заголовок

2. Текст

3. Ответ (не более одного). Страницы с вопросами без ответов - тоже парсим.

4. Урл источника 

5. id страницы источника https://prnt.sc/pupciv

Все ссылки, видео, картинки внутри текста вопроса/ответа надо удалять. И итоге должны быть чистый текст.


И итоге все данные должны быть в  бд - 

Таблица с вопросами - https://prnt.sc/pupdl7

Табилца с ответами


Задача2 - Так как у них появляются новые статьи - нужно сделать скрипт обновления-добавления новых статей. Запуск скрипта через планировщик. Раз в час например. И парсим новые страницы за сегодняшний день.


Так же надо, если будет необходимо, подключить прокси для парса по апи - https://good-proxies.ru/?c=auth 


По этапам - сначала нужно тестово спарсить 100 записей, проверить и тогда уже все полностью данные.


Жду вопросов по задаче. Цена стоит предварительно.



  1. 10 days15 000 ₽
    Сергей
    Сергей Курохтин
    492   verified    1  0

    Добрый день!

    Большой опыт парсинга, в том числе даже защищённых сайтов.
    Готов выполнить, пишите в личку или в Telegram: @SKurokhtin.
    Мой личный сайт: https://rasparsim.ru

    Russia Balashiha | 9 November at 20:37 |
  2.  freelancer isn't working in the service any longer
  3. 10 days11 111 ₽
    Movement
    Movement Group
    192     2  0

    Здраствуйте! Задание очень интерестное! Готов реализовать)
    Есть опыт создания парсеров(Смотрите портфолио)
    Сделаю как можно быстро!!!
    Мониторить программа для пк может? Или лучше на сервер загрузить?
    Цену указал и за парсинг всех данных и за постоянный мониторинг.
    Для быстрой связи со мной, пишите в телеграм: MovementGroup

    Ukraine Rovno | 9 November at 21:47 |
  4. 3 days5 000 ₽
    Роман
    Роман Балицький
    414     3  0

    привет
    задача понятна готов приступить после уточнений деталей

    Ukraine Ivano-Frankovsk | 9 November at 22:50 |
  5. proposal concealed by freelancer
  6. proposal concealed by freelancer
  7. 1 day4 000 ₴
    Никита
    Никита Коляда
    132   

    Добрый день!

    С удовольствием с Вами буду сотрудничать. Зделаю за 1-2 дня смотря какая структура.
    Телеграм - @nikita_koliada

    Ukraine Kyiv | 10 November at 13:44 |
  8. proposal concealed by freelancer
  9. 2 days10 000 ₽
    Александр
    Александр Михайлович
    245   

    Готов спарсить все страницы, выполнить задачу №1
    1) Выполняю парсинг сайтов различной сложности и объемов данных.
    2) Могу делать обработку парсинга.
    3) Сделаю тестовый парсинг до начала работы.
    Если заинтересовались, обращайтесь.

    Ukraine Chernigov | 12 November at 17:10 |
  • Николай Чечулин
    10 November at 22:05 |

    Добрый вечер!

    В описании вы добавили ссылку на WikiHow, однако в скриншоте с ID показан вообще другой сайт.

    Чему из этого верить?