Freelance projects › Скрипт для парсинга ekw.ms.gov.pl --2
Скрипт для парсинга ekw.ms.gov.pl --2
Здравствуйте.
Данный проект - продолжение проекта https://freelancehunt.com/project/skript-dlya-parsinga-ekwmsgovpl/603946.html
Задача практически выполнена на Python3.6, но есть несколько моментов, которые нужно исправить:
1. при работе в многопоточном режиме запросы идут не по порядку, а с интервалом 10000000
2. устранить ворнинги в терминале при работе chromdriver
3. даже при использовании платных прокси сайт довольно часто блокирует парсинг - найти способы решения (может быть использовать сторонние вервисы или доп. настройки для обхода блокировки - рассмотрю все варианты).
На данный момент скрипт просто перезагружает страницу при бане, и после нескольких попыток сайт дает спарсить инфу, смена IP помогает, но не надолго.
Скрипт должен работать под Windows 10/WIndows Server 2016.
freelancer isn't working in the service any longer
-
Ask your question to the client
Kharkiv Please keep in mind
You have chosen to collaborate in the project at your own risk. Just 20% of projects on the service are published with this form of payment, and such projects are successfully completed three times less often than projects with advance reservation of payment through the Safe.
Don't face the unnecessary risk of being left without a deserved payment for the work — offer the client safe work via the Safe!