Publish your project for free and start receiving offers from freelance contractors in serveral minutes after publication!

Скрапер/Парсер на Angel list

project expired


Рады будем пригласить разработчика для создания небольшого узкоспециализированного скрапера в google chrome в виде "extension"  для сайта Angel.co. Extension будет мануально добавляться, поэтому guidelines для google web store соблюдать не стоит.
Путь к странице на которой будет производится скрапинг (https://angel.co/"название компании"/source):
1) Заходим на Angel.co и регистрируемся
2) Создаем cвою компанию (https://monosnap.com/file/QdFRn10W6HD8GwL7KMOlpiPMPL7Cym#)
3) Заходим в Recruit (https://monosnap.com/file/N7NEe2iYf1oQ5YdmfzBUJdaoVhyrvy#)
4) Далее переходим в Resource (https://monosnap.com/file/3A0RmyR40IhaN6hSMXelJG8DaY6WfO)
5) Попадаем на страницу где будем "скрапить" (https://monosnap.com/file/yo2A2W0ZwZuOv3F837NG54dxZ3KtIV#)
Создан тестовый аккаунт чтобы пропустить пункт 1-2.
Email: [email protected]
Password: freelancetest123

Описание функционала:
Часть I (Визуализированный вариант - https://monosnap.com/file/nxvzZKpMUPQCzmlmkKgB84cYw2LHpS#):
1. HTML страницы /source должен полностью быть заскраплен с учетом infinite scroll (чтобы весь список людей был доступен в HTML коде).
2. В коде должны идентифицироваться блоки div с инофрмацией пользователей (https://monosnap.com/file/SV4cM2rjgzWuVTvFUU5InbyBgfwytf#) в которых:
2.1 В случае отсутствия facebook_url внутри блока (https://monosnap.com/file/7AKy6Vdy23IxPx42rvc83Tk93NKrhF#), скрапер продолжает искать совпадения в следующем блоке. В случае наличия facebook_url - шаг 2.2.
2.2 Когда найдено совпадение с facebook_url в блоке скрапер должен идентифицировать совпадение с именем пользователя (прим. (https://monosnap.com/file/ulOQ3W5YuYo73OmTkKem4VwdoysMev#)) (которое было указано в GUI extension), если совпадение имеется, скрапер начинает доставать эти данные (шаг 3). В случае несовпадения имени в блоке с найденным facebook-url - блок пропускается.
3. Скрапер берет facebook_url и выводит в GUI или в текстовый файл (подходит любой удобный формат для копи паста) и переходит к следующему блоку до конца кода.

Часть II - https://monosnap.com/file/nxvzZKpMUPQCzmlmkKgB84cYw2LHpS# (цена обговаривается за вторую часть отдельно):
1. Добавить "www.angel.co" в каждый facebook_url (/link/673267/6b6c4610b85b3d79063645b3eb3b7e59/facebook_url) -> чтобы получилось -(www.angel.co/link/673267/6b6c4610b85b3d79063645b3eb3b7e59/facebook_url)
2. Каждая ссылка открывается по очереди в одной вкладке (ваш вариант?)
3. В случае присутствия app_scoped_user_id в ссылке, удалять из списка
4. Копируется конечный адрес и title facebook страницы в GUI или текстовый документ

Уточнения:
* Скрапинг будет проводиться с разными поисковыми фильтрами, но на той же странице c идентичной структурой. (/source) -> (/source?query="data"&refinementList[primary_role][0]=Software Engineer&refinementList[locations][0]=Silicon Valley)
* Интересует только качество, арт и удобность не первый приоритет.

Интересует только ФИКСИРОВАННАЯ цена.



  1. 7 days3500 ₴
    Dima Morgunov
     346   7   4   3

    Добрый день! Пишите в лс для обсуждения деталей. Есть некоторые вопросы

    Ukraine Kharkiv | 23 August 2018 |

Client
Vitaliy Ignatov
United States Greensboro  4   0
Project published
22 August 2018
101 views