Publish your project for free and start receiving offers from freelance contractors in serveral minutes after publication!
30000 ₴

Парсер Common Crawl базы

project expired


Нужен программист для разработки парсера ссылок  Common Crawl базы


Есть база скачанных страниц (1.5 миллиарда ) на сайте commoncrawl.org

Надо создать базу обратных ссылок для отдельно для каждой страницы и всего сайта с интерфейсом для запроса.


Что надо сделать:

- продумать архитектуру базы и аргументировать почему именно такую архитектуру надо использовать (храниться будут только ссылки и анкорные тексты)

- написать многопоточный парсер страниц (скачивание архива, распаковка, парсинг ссылок)

- написать интерфейс текущего состояния системы (что сейчас парсится, что распарсилось, топ сайтов со страницами)

- сделать веб интерфейс для запроса данных (JSON)


проект долгосрочный

по этому скидывайте свою почасовую ставку и опыт работы с парсерами

+ большим плюсом будет опыт создания и обучения нейронных сетей



  1. 7 days9000 ₴
    Олег Федосенко
     278   1   0   1

    Добрый день!
    С Питоном и скриптами работаю уже более 10 лет.
    Пишите в скайп horos.ua, могу помочь с этой задачей, нужно больше деталей, проект, судя по всему интересный. Конечный бюджет и сроки озвучу после полного понимания задачи.

    Ukraine Kyiv | 27 August 2016 |
  2.  freelancer isn't working in the service any longer
  3. 7 days29000 ₴
    Вадим Вадим
     498   9   1

    Готов выполнить

    Ukraine Vinnytsia | 28 August 2016 |
  4. proposal concealed by freelancer
  5.  freelancer isn't working in the service any longer
  6. 5 days3000 ₴
    Денис Оленин
     223   1   0

    Добрый день!
    Разработкой на Python занимаюсь больше 5 лет. Есть опыт разработки сложных, многопоточных приложений на flask и django.
    Особенно часто (в последнее время) разрабатываю парсеры и краулеры.
    Готов реализовать ваш проект, обращайтесь.
    Skype: dreamart.net.ua

    Ukraine Kyiv | 29 August 2016 |
  7. 1 day200 ₴
    Сергей Петров
     253   3   1   3

    имею опыт разработки парсеров. а также обучения нейронных сетей. пишите подробности в личку.

    Ukraine Odessa | 29 August 2016 |
  1. 30 days30000 ₴
    Виктория Пустоварова
     587   9   0

    Добрый день
    Опыт работы с парсерами более 4х лет, из них последние 2,5 года занимаемся исключительно парсерами
    Язык разработки - С# (.NET)

    Каждый пункт отдельно не вызывает никаких проблем, но нужно смотреть глубже

    По бюджету сказать что либо сложно,т.к. задача очень объемная.
    Обычно работаем поэтапно, а не почасово. Если есть какие либо соображения по поводу почасовой оплаты, можете озвучить

    У нас команда, поэтому можем работать быстро

    С нейронными сетями опыта работы нет, однако если сеть требуется не сложная, можем разобраться в этом вопросе

    Ukraine Dnepr | 29 August 2016 |
  2. 1 day500 ₴
    Николай Петров
     485  verified   1   0

    Пока что суть проекта - написать парсер, что повергает наших разработчиков в ужас. Они очень любят конкретику, а слово парсер им не нравится. Наши разработчики имеют опыт работы по настройке интерфейса для конструирования парсера на лету. Не могу сказать, что это займет пару дней, скорее даже напротив - такие конструкторы забирают много времени, но на выходе вы получите продукт, который сможете конфигурировать и подстраивать под парсинг любых страниц. Опыт работы с нейронными сетями мы не имеем, зато располагаем парой квантовых физиков в нашем штате и по их заверениям, это всего лишь очередная интересная задача, которая имеет простое решение.

    Ukraine Kyiv | 30 August 2016 |

Client
Валерий Власюк
Ukraine Zaporozhe  3   0
Project published
27 August 2016
147 views
Labels
Invited to project