Парсер сайта поставщика



В некоторых случаях оптовый поставщик не предоставляет полную информацию о товарах в файле, ограничиваясь только ценой и наличием.
Для автоматизации заполнения сайта необходимой информацией разработан парсер сайта поставщика, который просматривает все страницы сайта и сохраняет в файл:
- наименование товара,
- его описание,
- характеристики,
- цвет
- размеры,
- информацию об изображениях.
Парсер запускается автоматически по расписанию с использованием планировщика cron.
Формат получаемого файла (обычно CSV) согласовывается с заказчиком. Он должен соответствовать формату, который использует загрузчик данных из полученного файла в базу данных сайта.



 
finboss   3525  19

Парсер AirBnb и VRBO



Программа анализирует данные о занятости апартаментов на двух сайтах: airbnb и vrbo.
Можно указать произвольный промежуток времени для анализа.
Данные выводятся в отдельный excel-файл с последующей цветовой маркировкой результатов



 
iKoles   44  17

Таблица цен и свободных дат для Airbnb и VRBO



Приложение служит удобным помощником, создавая отчёты за выбранный период времени, быстро высчитывая свободные для бронирования даты и цены за каждый день бронирования.



 
iKoles   25  13

Парсинг телефонов ВК по городу Одесса (15 000)



В течении нескольких часов были собраны все телефонные номера пользователей ВК из города Одесса. Свежая база активных пользователей.



 
iKoles   31  13

Парсинг целевой аудитории (80 000 профилей)



Мною была написана программа, которая, использую динамическую подгрузку и замену прокси (сайт банил за частые запросы), в многопоточном режиме парсила с сайта профили пользователей. После чего производился вывод всей информации в Excel-файл.



 
iKoles   61  11

22 000 ₴Парсер и разработка, Интернет-магазин техники



Розробка інтернет магазину та для даного інтернет магазин, парсер товаварів
Сайт призначений для продажу товарів різних видів техніки. Парсер повинен обновлюватись один раз на день за допомогою крода

Использованные инструменты:
PHP Storm
Postman
Использованные технологии:
PHP, jQuery, JavaScript, AJAX, MySQL Programming, PHP5, Curl, JQeury, programming, пасер, парсеры, Парсинг , Guzzle, PHP HTTP client, javascript, веб-программирование , Postman, Wordpress
#PHP5 #Curl #JQeury #programming #прсер #парсеры #Парсинг #gazzlle #php #javascript #веб-программирование #Postman #PHP #HTTPclient #Opencart



 
Nick-lion33   148  8

Наполнение категории освещение на Пром.



Почти 10 тыс наименований + вариация. Не менее 5 фото на каждую позицию, заполнение всех характеристик ключевых и т.д. Срок выполнения - 2 дня.



 
olgagum   365  5

Парсер Baseus-store.ru



Парсер предназначенный для копирования всех товарных позиций с сайта Baseus-store.ru
Удобный интерфейс, запускающий парсинг всего одной кнопкой.
Вывод итоговых результатов в аккуратный Excel-файл.



 
iKoles   27  5

Динамический парсер для мониторинга новостийных сайтов



Внутренняя архитектура представлена тремя практически независимыми подсистемами, которые сообщаются через общую базу данных. Такая архитектура позволяет ввести отдельную синхронизацию для параллельного запуска процессов считывания контента каждого сайта из списка и отдельно запуск с установленной периодичностью ресурсоемкого серверного скрипта, который производит анализ. Это позволяет максимально оптимизировать использование ресурсов сервера и не допустить общей остановки работы системы в случае отдельных сбоев.
Первые две подсистемы, также имеют общий интерфейс и с точки зрения пользователя выглядят как единое приложение, в дальнейшем агент. Агент запускается в единственном экземпляре на одном из клиентских терминалов и обеспечивает круглосуточную автономную работу системы.
Выделение подсистемы обучения позволяет параллельно запускать несколько копий на разных клиентских терминалах и работать над визуальным контролем и коррекцией эвристик нескольким сотрудникам.



 
ShadowAngel   293  4
 
Filter