Publish your project for free and start receiving offers from freelance contractors in serveral minutes after publication!
3000 ₴

Предложить алгоритм работы парсера для авито.ру

project complete


Нужен специалист по парсерам - разработать алгоритм работы парсера.

Парсер должен уметь:

1. Скачивать все объявления с авито.ру

2. При повторном запуске он должен уметь понимать: какие объявления новые, какие удалены. База все время обновляется (добавляются новые, удаляются старые, остаются остальные актуальные).


Алгоритм должен включать описания:

1. Как реализуется охват всех объявлений.

2. Как происходит взятие контента объявлений.

3. Как программа защищается от бана прокси, сколько нужно прокси.

4. Какие технологии (язык программирования, база данных).

5. На чем лучше запускать - серверное ПО или настольный ПК, и почему.

6. Архитектура сервера/настольного ПК.

7. Какая ожидается скорость набора 1 млн объявлений (и обосновать - почему).


В заявке пишите цену и сроки.

Client's feedback about the contractor Misha Titkov

Quality
Professionalism
Price
Availability
Terms

Отличный исполнитель!

Вячеслав И. Вячеслав Иванов | Safe Safe

Freelancer's feedback about the client Вячеславе Иванове

Payment
Task formulation
Requirements
Availability

Хороший заказчик, поставил точные указания, был на связи.
Благодарю, за сотрудничество.

Misha T. Misha Titkov | Safe Safe



  1. 1 day500 ₴
    Игорь Бебиава
     92   1    1

    Готов расписать

    Ukraine Ukraine | 28 June 2017 |
  2.  4162 
    19   34    0

    2 days3000 ₴Winning proposal
    Misha Titkov verified 

    добрый день, буду рад помочь.

    Алгоритм должен включать описания:
    1. Как реализуется охват всех объявлений. Можно предусмотреть в интерфейсе выбор региона от куда парсить например: Москва выбираем парсинг всех категорий или выборочно, что нас интересует, сохраняет в базу данных которая хранится на сервере (MongoDb или MySql) чтобы потом можно было парсить только новые объявления, объявления буду хранится по категориям.
    2. Как происходит взятие контента объявлений - например https://www.avito.ru/moskva
    с этой страницы достаем все ссылки на объявления и каждую парсим по очередно, или https://www.avito.ru/moskva/lichnye_veschi , такая ссылка позволяет парсить по категориям. Телефоны на авито хранятся в base64 png, качаем их храним в базе, с подвязкой к каждому объявлению
    3. Как программа защищается от бана прокси, сколько нужно прокси - прокси + создание ожидания перед отправкой следующего запроса: например каждый регион или категория парсятся в отдельном потоке и используют разные прокси сервера. Дальше идет подмена прокси, и дальнейший парсинг уже объявлений. По колличеству прокси не знаю, может получится парсить без банов... нужно тестировать
    4. Какие технологии (язык программирования, база данных) - язык С++ интерфейс Qt creator, база данных MongoDb или MySql.
    5. На чем лучше запускать - серверное ПО или настольный ПК, и почему. - лучше серверное оно работает без перебоев + можно парсер настроить один раз и он будет сам себе работать иногда заходить проверять нет ли там ошибок, а с настольным могут быть разные отключения, а форсмажор и с сервером может быть.
    6. Архитектура сервера/настольного ПК. Сервер - Window Server 2012 R2, RAM 1gb, system type 64 or 32. Настольный : Win7-8-10, RAM 1gb system 64 or 32.
    7. Какая ожидается скорость набора 1 млн объявлений (и обосновать - почему).
    6 - 8 объявлений, если на компьютере 4 ядра, запускаем в 4 потока, получится в час 44тыс объявлений в час, через 22 часа будет 1 миллион. Это тоже не точно, может в минуту можно парсить больше чем 6-8, если парсить 30 в минуту чисто теоритически 1 час в одном потоке 43тыс, если 4 потока 172 800.

    Один месяц бесплатная гарантия на поддержку готового продукта. Гарантии выполнения вашего тз в срок. MTitkov Telegram: @Zusykss (https://t.me/Zusykss) Сайт: http://smart-softs.com/

    Ukraine Dnepr | 1 July 2017 |
  3. 1 day1000 ₽
    Максим Семёнов
     300   2    0

    Добрый день.

    Имею несколько лет опыта разработки на Python. Написал похожего бота для моментального уведомления о новой работе на различных биржах @parserfreelancer_bot
    Распишу как решать такую задачу а так же могу взяться за исполнение.

    Russia Saint-Petersburg | 29 June 2017 |
  4. 10 days10000 ₴
    Юрий Фрилансер
     401   2    1

    Парсеры
    Интересны заказы на получение больших объемов данных и долгосрочное сотрудничество
    Авито, prom.ua, olx итд
    получения или всех данных или миллионами записей


    Делаю как парсинг сайтов так и продаю сами парсеры.
    Заказы от 100$
    Цена парсеров от 1 копейки за парсинг 1 страницы (статические данные),
    все зависит от объемов которые вам надо,
    также парсинг социальных сетей
    (Парсер для Facebook, Twitter, VK)
    Так же парсинг и уникализация картинок, обход блокировок, работа через прокси.
    Парсинг как статики так и динамических сайтов.
    пишите подробности
    [email protected]
    skype wku-lg

    Ukraine Ukraine | 29 June 2017 |

Client
Вячеслав Иванов
Ukraine Vinnytsia  8    0
Project published
28 June 2017
85 views