Parser avatar VK
74 USDТребуется написать многопоточный парсер для vk (40 потоков). Парсер должен работать на Ubuntu 18.04. В парсер подаются ссылки для парсинга юзеров, ссылки на их профили. Проработанные ссылки должны удаляться из списка. Парсер должен скачивать аватарку юзера, и десять последних аватарок (фотки, которые были аватарками, если листать вправо).
Фотографии должны сохраняться в папки, один юзер = одна папка, папка должна называться номером профиля юзера, например, vk.com/xxxxxx/, значит папка будет называться xxxxxx.
Авторизация не нужна, но если попадается юзер у которого аватарки доступны после логина, то ссылка на него должна сохраняться в отдельный текстовый файл, в котором находится список таких же юзеров. Один поток, это всегда = один прокси = один юзерагент, одинаковые. Количество потоков должно регулироваться в конфиге. Прокси так же должны браться из списка. Список прокси оформить в файлик формата JSON, прокси приватные с логином и паролем. Заготовить юзерагентов нужно Вам, в инете есть список актуальных самых популярных юзерагентов. Парсер в минуту должен обрабатывать 40 аккаунтов, желательно парсер реализовать в виде скрипта, который я просто буду запускать кроном раз в минуту.
Если профиль юзера не закрыт, то фотки скачиваются согласно алгоритму описанному выше, если закрыт, то скачивается та фотка, которая видна - одна актуальная аватарка юзера.
Должен быть файл ошибок, в котором должны писаться прокси, если они не работают.
При начале работы выдаю сервер VDS, прокси 40 штук, с авторизацией по логину и паролю. Сервер с LAMP, если вам нужно установить еще какие то компоненты, то ставьте, в таком случае вам нужно написать подробную инструкцию как установить парсер на аналогичный сервер с нуля.
Интерфейс для человека не нужен
Client's feedback on cooperation with Sergey Zabirnikov
Parser avatar VKI recommend cooperation, interested in a quality result for the customer. The project performed more than well.
Profile deleted | Safe
Freelancer's feedback on cooperation with client
Parser avatar VKGreat customer, I recommend it to everyone.
-
662 27 0 Welcome, you are ready to implement this project.
To clarify the details of the project and the full cost, go to LS or...
Skype for Spider13 Software
ICQ 3533966
Posts Tagged @spider13software
The website is https://spider13.net/
Здравствуйте, готов выполнить данный проект.
Для уточнения деталей проекта и полной стоимости иишите в ЛС или...
Скайп spider13software
icq 3533966
Телеграм @spider13software
Сайт https://spider13.net/
-
если на компе нет 40 ядер, то смысла в 40 потоках нет. 1 ядро = 1 поток, если 1 ядро - 2 потока, то эти 2 потока будут выполняться друг за другом, что ломает суть одновременной работы
-
что за бредятина, у меня аналогичный парсер на php только еще с авторизацией и работой по api, в 40 потоков работает на VDS KVM на одном ядре с одним гигом оперативы, обрабатывает 40 аккаунтов в минуту, а этот парсер еще проще. Если Вы не компетентный в этом деле, не пишите бред и не смущайте людей
-
Current freelance projects in the category PHP
Website for a driving school WordPress with a management system.A website needs to be developed for a small driving school on WordPress with a learning and payment management system. More interested in the management system itself rather than the design, which we want in the admin panel of the site. A private cabinet is needed for students,… PHP, Web programming ∙ 6 proposals |
Synchronization CRM with ERP
1754 USD
|
Automating email forwarding for a domain (MX forward)There is a need to develop MX forwarding for the mail domain (all emails coming to the domain). It should be similar to: https://improvmx.com/ Currently, we are talking about the technical part of email forwarding, without billing. As far as I understand, there is a similar… PHP, Web programming |
Telegram receive sms php
315 USD
It is necessary to extract, for example, messages from a bot to a notepad on the website. The bot is not mine - third-party. The website is in PHP. PHP ∙ 2 proposals |
Gmail get message php
315 USD
You need to retrieve emails from the [email protected] mailbox via the Gmail API on the website (PHP). The task is only to receive new emails, I will handle the processing myself. PHP ∙ 5 proposals |