Publish your project for free and start receiving offers from freelance contractors in serveral minutes after publication!
400 $

Онлайн парсер

closed without completion


Онлайн парсер разделов "To Do" и "Holiday Rentals" с сайта
http://www.tripadvisor.com/



Заполнять нашу базу конечными объектами. А именно:
- карточки To Do
- карточка Holiday Rentals



1. Парсеры должны быть:
а) автономны, взаимонензависимы
б) запускаться по расписанию cron (выполняться в shell-среде)
в) использовать для закачки внешний текстовый файл со списком прокси
г) закачивать всю информацию через прокси-сервера
д) при успешном сканировании парсер должен оставлять метку в таблице скул
Ссылка на источник картинки
Ссылка на выкачаную страницу-источник



2. Все ревьюзы должны иметь (если заполнено поле):
а) str Наименование (шапка)
б) array Поставленные оценки (Value, Atmosphere, Service, Food)
в) date дата отзыва
г) text текст отзыва
д) str логин пользователя
е) str аватар пользователя
ж) str город пользователя
е) str страна пользователя



3. Все картинки, которые закачиваются на сервер, должны:
а) переименованы согласно правилу переименования.
Новое имя – наименование объекта, к которому картинка относится + локация уровнем выше,
разделенная подчеркиваниями + Если картинка - лого, то_ logo, если аватар, то _avatar,
если фото, то _foto_[01, 02 итд],
Пример: [06_central_hostel]_[buenos_aires]_[argentina]_logo.jpg
Пример: [06_central_hostel]_[buenos_aires]_[argentina]_01.jpg
б) Все имена объектов должны быть переименованы, согласно правилам переименования.
в) Имена локаций должны оставаться неизменными, иерархия сохраняться.
Пример: [06_central_hostel]_[buenos_aires]_[argentina]_logo.jpg
должен лежать по пути /img/to-d/argentina/buenos_aires/06_central_hostel_logo.jpg



Правила переименования:
В наименовании должно остаться только буквы, цифры, тире, апостроф, скобки ().
Символы +, & и подобные заменять на plus, and, итд. Если попадается что-то не описаное в требованиях – уточняем.



Необходимые поля:



Развлечения:
str наименование,
str адрес,
str телефон,
str сайт,
array Тип (Type),
str Описание (owners description),
str е-маил,
array путь (breadcrumbs),
array Профессиональные фотографии (Professional photos),
array Фотографии посетителей (Visitor photos),
array рейтинг (Excellent, Very good, Average, Poor, Terrible),
array отзывы (1я страница <= 10 отзывов),
array координаты с карты google



Квартиры в аренду (Holiday rentals):
str наименование,
str адрес,
str телефон,
str сайт,
array удобства (amenities and details),
str описание (Property details),
str е-маил,
array путь (breadcrumbs),
array Фотографии (Professional photos),
array Фотографии посетителей (Visitor photos),
float рейтинг (4.5 of 5 stars), если есть
array рейтинг (Excellent, Very good, Average, Poor, Terrible),
array отзывы (1я страница <= 10 отзывов),
array координаты с карты google,
str цены (rates),
str платежи (fees)



Верхний уровень локации (London):
str наименование,
str Описание (owners description),
array путь (breadcrumbs),
array Профессиональные фотографии (Professional photos),
array Фотографии посетителей (Visitor photos),
array рейтинг (Excellent, Very good, Average, Poor, Terrible),
array отзывы (1я страница <= 10 отзывов),
array координаты с карты google



если попадается локация speciality lodging, закрепляем объект,
находящийся в этой локации, за локацией-родителем локации,
содержащей speciality lodging.
Например "South America > Argentina > Capital Federal
District > Buenos Aires > Buenos Aires Specialty Lodging"
закрепляем за "South America > Argentina > Capital Federal
District > Buenos Aires"



Для ускорения выполнения работы предоставляем списки прокси,
механизм закачки через прокси, класс преобразования кода html
в объект dom


Make a proposal!

The client doesn't want to make prepayment? Offer him to make a payment via Safe to avoid possible fraud.

  1.  freelancer isn't working in the service any longer
  2.  freelancer isn't working in the service any longer
  3. 1 day300 €
    Дмитрий Артюхов
     95  verified   4   1

    выполним

    Ukraine Dnepr | 7 November 2014 |
  4. 7 days500 $
    Artem Onoprienko
     331   2   0

    Добрый день, имеем очень большой опыт работы по написанию парсеров новостных порталов, интернет магазинов и каталогов. Готовы взяться за поставленную Вами задачу.

    skype - tema_on
    или ЛС

    Ukraine Kharkiv | 8 November 2014 |

Client
leonid orsenko
Ukraine Ukraine
Project published
7 November 2014
333 views
Share