Publish your project for free and start receiving offers from freelance contractors in serveral minutes after publication!

Веб сайт для парсинга объектов недвижимости.

closed without completion
PHP


Обзор

Мне нужен «инструмент», вебсайт или приложение, которое может запрашивать, получать, анализировать и отображать данные с нескольких веб-сайтов государственных органов Нью-Йорка, с настраиваемой панелью инструментов. Этот инструмент также должен содержать следующие возможности: синхронизация с календарем, базы данных для хранения информации или метод получения данных, отображение и обновление данных (без перезапуска программы); отслеживание предстоящих событий (продление и дата окончания срока действия); уведомления и оповещения; извлечение документов, распознавание текстов в формате PDF; и возможность экспортировать все данные в различные форматы отчетов и макетов. Кроме того, хранилище необходимых данных (строительные кодексы, Кодекс об административной ответственности, ссылки на документы и т.д.) для сравнительного анализа и перекрестных ссылок. Наконец, функции управления проектом, который позволит слежение по карте, нечто подобное GANTT или FLOW.

Если выбранный метод решения поставленной задачи будет реализован через веб-сайт, тогда он должен быть защищен паролем и совместим с мобильными устройствами.

Специфика

  • Веб-сайт департамента строительства Нью-Йорка – это публичный сайт, который предоставляет детальную информацию о конкретных строительных объектах. Первые свои усилия я сконцентрирую на ссылке “jobs/filings” на странице ‘property profile page’. На сайте есть два варианта перемещения по вкладкам – (а) через ссылки и (б) при помощи выпадающего меню. Ссылка ‘job/filings’ ведет на страницу ‘job overview’, где будет указана общая информация о проекте – также там будет выпадающее меню, которое позволяет вам фильтровать результаты так, чтобы получить уникальные объекты и/или показать все результаты – каждая ссылка ведет к уникальной странице ‘application details’. Мне нужны различные ‘work types’, а также ‘violations’, ‘permits in process/issued’, ‘electrical applications’, а также количество элементов, содержащих другие ссылки на панель инструментов.
  • Часто необходимо применить определенное действия к нескольким объектам, и для этого необходима опция загрузки нескольких объявлений через загрузку файла.  В моем понимании, веб-сайты агентств ограничивают большие запросы от одного источника.
  • Сведения, содержащиеся во вкладке ‘job/filings/job overview/applications detail’, а также числа, полученные из нескольких объектов, используются для составления детальных отчетов, которые я позже смогу представить моим коллегам и/или клиентам. Эта информация позволяет моим партнерам и мне визуализировать данные в чистом виде без формата веб-сайта. Данная информация не меняется, меняется только статус. Также информация, связанная с другими страницами, может быть обновлена агентством —  на сайте встроена возможность менять основные ‘applicant’, ‘work types’, ‘filing representative’. Чтобы было удобнее составить финальный отчет, данные должны быть извлечены с сайта и должны где-то храниться — в отчетах будут указаны владельцы интересующих объектов, которые будут включены в отчет.
  • Мне нужно отслеживать обновление данных, а также, все НОВОЕ, что появляется на сайте о конкретном здании. Департамент строительства Нью-Йорка отслеживает все аспекты строительства и согласования зданий. Есть конкретные сроки, которые должны быть соблюдены. Это требование ежегодной проверки, необходимо для продления разрешений и т.д. Кроме того, есть и другие агентства, веб-сайты, которые позволяют отслеживать даты судебных заседаний, и даты новых нарушений. Создание функции синхронизации календаря очень важно, нужно успевать идти в ногу с этими изменениями. Точно так же, требуется мониторинг других сайтов. Есть открытая городская программа, которая может предоставить эти данные через API; однако, она не обеспечивает информацию об исторических нарушениях, и используется для мониторинга актуальной информации, так как она постоянно обновляется.
  • Отчеты, которые я создаю, могут быть во многом похожи, однако решение для каждого элемента зависит от внешних факторов, которые не могут основываться только на данных. Часто я изучаю местные административные кодексы, чтобы понять, что требуется для устранения проблемы. Также я должен помнить кодекс на то время, когда были начаты работы и когда этот кодекс изменился. Есть определенные ссылки на кодекс, которые могут быть подключены при помощи простого анализа данных, полученного по ссылке ‘application detail’, например, ‘items required’, ‘work types’, а также ссылки на документы на сайте. Хранилище кодексов полезно для быстрого анализа данных и включения их в отчет.Начало формыКонец формы
  • Когда я закончил анализировать информацию на сайте и составил полный отчет, я использую приложение на рабочем столе, чтобы следить за прогрессом. Мне нужно следить за каждым проектом таким образом, чтобы обновление не занимало много времени и сразу попадало в отчет – можно использовать формат таблицы с полями для дополнительной информации для каждого проекта, за которым я слежу. На этот счет у меня нет фиксированных требований. Приоритет этой функции не такой высокий, но она поможет сотрудникам, владельцам и мне следить, на каком этапе находятся проекты.
  • Эта опция, в основном, нужна для меня и моих коллег; однако, если опыт будет успешным, я бы хотел предложить это решение моим клиентам; поэтому, опция должна быть масштабируемой, с небольшим редизайном и обслуживанием.

 


Основные этапы

Анализ данных

UI & UX

Интеграция календаря

Заметки & предупреждения

Экспорт и отчеты

Создание базы данных / репозиторий кодов

Распознавание текста PDF

Applications 1

Only registered users can view attachments.

Make a proposal!

The client doesn't want to make prepayment? Offer him to make a payment via Safe to avoid possible fraud.

  1. 31 daysconcealed
    Микола Ф.
     1974  verified   53   1

    привет у меня очень много опита по парсеру начну прям щас уже. напиши мне

    Ukraine Kyiv | 16 April 2016 |
  2. 35 daysconcealed
    Дмитрий Неделькович
     1133   19   0

    Стартовые цена и срок указаны, дальнейшее при обсуждении подробностей.

    Serbia Belgrade | 17 April 2016 |
  3. 35 daysconcealed
    Andrii S.
     848  verified   9   0

    Готов приступить к работе.
    Можем более детально обсудить проект?

    Опыт в дизайне и создании сайтов с 2010 года.
    Информация и портфолио - www.sagach.com

    Ukraine Kyiv | 17 April 2016 |
  4. 34 daysconcealed
    Юлия Freeworker
     62 

    Готов выполнить проект. Пишите обсудим.

    Ukraine Odessa | 18 April 2016 |
  5. 14 daysconcealed
    Роман Дворник
     60 

    Здравствуйте, Евгений!
    Команда разработчиков B2-B4 готовы взяться за эту работу.
    Наш сайт b2-b4.com
    Пишите обсудем

    Ukraine Kyiv | 18 April 2016 |
  • Если упростить Ваше Т3.

    То на выходе Вы хотите получить сайт, который посылает запросы на иные сайты. После чего полученный ответ обрабатывается, сохраняется в БД. А у Вас в админки есть возможность корректировать и менять ставки и лоты спарсенные с других сайтов?

  • юрий жилин
    Complain | 17 April 2016 |

    ОГО  : ), к бюджету нолик добавьте...

  • юрий жилин
    Complain | 17 April 2016 |

    или два ... 🙂


Client
Евгений Рубан
Russia Moscow  1   0
Project published
16 April 2016
210 views