Publish your project for free and start receiving offers from freelance contractors in serveral minutes after publication!

Онлайн парсер

closed without completion


Онлайн парсер разделов "To Do" и "Holiday Rentals" с сайта
http://www.tripadvisor.com/



Заполнять нашу базу конечными объектами. А именно:
- карточки To Do
- карточка Holiday Rentals



1. Парсеры должны быть:
а) автономны, взаимонензависимы
б) запускаться по расписанию cron (выполняться в shell-среде)
в) использовать для закачки внешний текстовый файл со списком прокси
г) закачивать всю информацию через прокси-сервера
д) при успешном сканировании парсер должен оставлять метку в таблице скул
Ссылка на источник картинки
Ссылка на выкачаную страницу-источник



2. Все ревьюзы должны иметь (если заполнено поле):
а) str Наименование (шапка)
б) array Поставленные оценки (Value, Atmosphere, Service, Food)
в) date дата отзыва
г) text текст отзыва
д) str логин пользователя
е) str аватар пользователя
ж) str город пользователя
е) str страна пользователя



3. Все картинки, которые закачиваются на сервер, должны:
а) переименованы согласно правилу переименования.
Новое имя – наименование объекта, к которому картинка относится + локация уровнем выше,
разделенная подчеркиваниями + Если картинка - лого, то_ logo, если аватар, то _avatar,
если фото, то _foto_[01, 02 итд],
Пример: [06_central_hostel]_[buenos_aires]_[argentina]_logo.jpg
Пример: [06_central_hostel]_[buenos_aires]_[argentina]_01.jpg
б) Все имена объектов должны быть переименованы, согласно правилам переименования.
в) Имена локаций должны оставаться неизменными, иерархия сохраняться.
Пример: [06_central_hostel]_[buenos_aires]_[argentina]_logo.jpg
должен лежать по пути /img/to-d/argentina/buenos_aires/06_central_hostel_logo.jpg



Правила переименования:
В наименовании должно остаться только буквы, цифры, тире, апостроф, скобки ().
Символы +, & и подобные заменять на plus, and, итд. Если попадается что-то не описаное в требованиях – уточняем.



Необходимые поля:



Развлечения:
str наименование,
str адрес,
str телефон,
str сайт,
array Тип (Type),
str Описание (owners description),
str е-маил,
array путь (breadcrumbs),
array Профессиональные фотографии (Professional photos),
array Фотографии посетителей (Visitor photos),
array рейтинг (Excellent, Very good, Average, Poor, Terrible),
array отзывы (1я страница <= 10 отзывов),
array координаты с карты google



Квартиры в аренду (Holiday rentals):
str наименование,
str адрес,
str телефон,
str сайт,
array удобства (amenities and details),
str описание (Property details),
str е-маил,
array путь (breadcrumbs),
array Фотографии (Professional photos),
array Фотографии посетителей (Visitor photos),
float рейтинг (4.5 of 5 stars), если есть
array рейтинг (Excellent, Very good, Average, Poor, Terrible),
array отзывы (1я страница <= 10 отзывов),
array координаты с карты google,
str цены (rates),
str платежи (fees)



Верхний уровень локации (London):
str наименование,
str Описание (owners description),
array путь (breadcrumbs),
array Профессиональные фотографии (Professional photos),
array Фотографии посетителей (Visitor photos),
array рейтинг (Excellent, Very good, Average, Poor, Terrible),
array отзывы (1я страница <= 10 отзывов),
array координаты с карты google



если попадается локация speciality lodging, закрепляем объект,
находящийся в этой локации, за локацией-родителем локации,
содержащей speciality lodging.
Например "South America > Argentina > Capital Federal
District > Buenos Aires > Buenos Aires Specialty Lodging"
закрепляем за "South America > Argentina > Capital Federal
District > Buenos Aires"



Для ускорения выполнения работы предоставляем списки прокси,
механизм закачки через прокси, класс преобразования кода html
в объект dom


Make a proposal!

The client doesn't want to make prepayment? Offer him to make a payment via Safe to avoid possible fraud.

  1. 5 days400 $
    Руслан Шматов
     158 

    Добрый день.
    Имею опыт в парсинге открытых данных поисковой выдачи от туроператоров, а так же ресурсов подобных booking.com. По опыту знаю что трудозатраты могут сильно возрасти если разработчики защитились от подобных ботов. И прокси далеко не всегда спасают.
    Предложенная ставка отображает лишь решение поставленной задачи, без обхода защиты (предполагается что списка прокси будет достаточно).

    Подробности необходимо обсуждать
    skype: klerik3d
    email: [email protected]

    Ukraine Kharkiv | 6 November 2014 |

Client
leonid orsenko
Ukraine Ukraine
Project published
5 November 2014
315 views
Share