Freelance projects › написать парсилку для скачивания файлов с вики написать парсилку для скачивания файлов с вики

Нужна парсилка для скачивания svg и png файлов с wikimedia.com

Тип страниц откуда скачиваться будет контент. Пример 

https://commons.wikimedia.org/wiki/Category:SVG_flags_of_Belarus

https://commons.wikimedia.org/wiki/Category:SVG_coats_of_arms_of_Angola

и тд, страницы однотипные

Что должно скачиваться:

1. svg каждого файла . Количество файлов пишется на самой странице https://commons.wikimedia.org/wiki/Category:SVG_flags_of_Belarus

The following 111 files are in this category, out of 111 total.

  Там файлы могут отображаться страницами, previous page, next page / например здесь две страницы https://commons.wikimedia.org/wiki/Category:SVG_road_signs_in_Japan

 В данном случае https://commons.wikimedia.org/wiki/Category:SVG_flags_of_Belarus все файлы отображаются на одной странице. 

Svg файлы лежат по такому пути: если кликнуть на файл попадём сюда https://commons.wikimedia.org/wiki/Category:SVG_flags_of_Belarus#/media/File:Flag_of_Belarus.svg

More details - и мы перейдём на https://commons.wikimedia.org/wiki/File:Flag_of_Belarus.svg

Исходник svg файла здесь http://prntscr.com/hn2z65

2. png каждого файла , исходник лежит там же http://prntscr.com/hn32rg . Достаточно самый минимальный размер png. 

Также нужен один фильтр . Чекпоинт "Public domain".   То есть по-умолчанию скачиваются все файлы. Если ставится чекпоинт public domain, то скачиваются только файлы с лицензией Public domain.  Лицензия каждого файла указывается здесь https://commons.wikimedia.org/wiki/Category:SVG_flags_of_Belarus#/media/File:Flag_of_Belarus.svg

конкретно http://prntscr.com/hn38ku

Принцип такой, указываться путь куда скачивать на компьютер, вводится урл с какой страницы скачивать, чекпонит Public domain  или нет, Пуск. 

Файлы скачиваются в папку , название svg оставляем такое же как в исходнике.

Есть один момент - нужно чтобы svg и png одного файла распологались рядом друг с другом. Так как они называются 

по-разному Flag_of_Belarus.svg  и 320px-Flag_of_Belarus.svg , то рядом они не будут . Можно например скачивать png все 500px http://prntscr.com/hn3wpy   тогда как-то программно удалять " 500px-  "  в названиях всех png файлов 500px-Flag_of_Belarus.svg.png  чтобы png совпадал буквенно с названием svg.   Либо может найдёте другое решение, попроще.    

Если я что-то упустил в правильном функционировании парсилки с вики, поправьте. 

Ставьте ваш бюджет и сроки.