Publish your project for free and start receiving offers from freelance contractors in serveral minutes after publication!
1000 ₴

Создать парсер сайта

project complete


Нужно написать парсер для сайта http://liquipedia.net/dota2/Portal:Tournaments


В основном нужно вытаскивать следующее:

  • название турнира
  • когда был турнир
  • какой призовой фонд
  • количество и список участников (название команды с логотипом)
  • страна где был турнир (оффлайн или онлайн, страна организатор)
  • тип турнира (Minor, Qualifier , Premier, Miscellaneous ...)

Написать на одном из языке:

  • php
  • java
  • kotlin
  • scala

Формат ответа в файл csv


Вообще это вики сайт и у них есть апи, но апи забирает текст и есть лимиты на запросы


Пару ссылок

http://liquipedia.net/dota2/api.php

https://bitbucket.org/axelclk/info.bliki.wiki/wiki/MediaWikiAPISupport

http://liquipedia.net/dota2/api.php?action=query&titles=Virtus.pro&prop=revisions&rvprop=content&format=json


Пишите ваши предложения, варианты и и т.д.

Спасибо!



Update #1 from 23 March at 10:21
Обновление данных, которые нужны:

- название турнира
- когда был турнир
- какой призовой фонд
- количество и список участников (название команды с логотипом)
- страна где был турнир (оффлайн или онлайн, страна организатор)
- тип турнира (Minor, Qualifier , Premier, Miscellaneous ...)
- победитель турнира и сумма выигранная

Update #2 from 23 March at 10:25
если язык будет php то использовать composer для формирования проекта (включая выкачки сторонних библиотек) (использовать php от 5.6)

Update #3 from 23 March at 10:30
для быстрого доступа к турнирам есть поиск
http://liquipedia.net/dota2/index.php?title=Special:Ask&offset=5&limit=500&q=%5B%5BConcept%3APremier+tournaments%5D%5D+%5B%5BHas+end+date%3A%3A%E2%89%A423+March+2018%5D%5D+%5B%5BHas+first+place+page%3A%3A%21Tbd%5D%5D&p=mainlabel%3D%2Fformat%3Dtemplate%2Flink%3Dnone%2Fsearchlabel%3D%E2%80%A6-20further-20results%2Ftemplate%3DTournamentCard-2FRecent%2Fintrotemplate%3DTournamentCard-2Fintro-2Frecent%2Foutrotemplate%3DTournamentCard-2Foutro&po=%3FHas+name%0A%3FIs+part+of+series%0A%3FHas+start+date%0A%3FHas+end+date%0A%3FHas+prizepool+in+usd%0A%3FHas+team+number%0A%3FHas+country%0A%3FHas+city%0A%3FHas+first+place+page%0A%3FHas+first2+place+page%0A%3FHas+second+place+page%0A%3FHas+country2%0A%3FHas+city2%0A%3FIs+valve+premier%0A%3FHas+liquipedia+tier%0A%3FIs+individual+tournament%0A%3FHas+flag%0A%3FHas+team%0A&sort=has+end+date&order=desc

можно через него формировать запросы

Client's feedback about the contractor Renat B

Quality
Professionalism
Price
Availability
Terms

Выполнил все в оговоренные сроки.
Качеством доволен. Исполнитель тщательно относиться к своей работе, даже сделал парсинг данных.
Большое СПАСИБО!
Советую и рекомендую!

Сергей Г. Сергей Гердель | Safe Safe

Freelancer's feedback about the client Сергее Герделе

Payment
Task formulation
Requirements
Availability

Хорошее ТЗ. С пониманием отнесся к задержке с моей стороны. Рекомендую к сотрудничеству!

Renat B. Renat B | Safe Safe



  1.  freelancer isn't working in the service any longer
  2.  freelancer isn't working in the service any longer
  3. proposal concealed by freelancer
  4. 2 daysconcealedWinning proposal
    Renat B
     889   24   0

    Здравствуйте!
    Сделаю быстро и качественно. Буду рад сотрудничеству.

    Ukraine Odessa | 1 April at 01:28 |
  5.  freelancer isn't working in the service any longer
  6. 3 daysconcealed
    Михаил Дроздов
     232   6   0

    Здравствуйте! Готов выполнить. Имею большой опыт в разработке. Давайте обсудим детали!

    Ukraine Ukraine | 24 March at 19:31 |
  7. 1 dayconcealed
    Александр Ефанов
     319   4   0

    Здравствуйте!
    Имею большой опыт работы с php.
    В особенности в деле парсинга.
    Буду рад сотрудничать.
    Скайп для связи: olexandr324

    Ukraine Odessa | 25 March at 11:51 |
  8. 3 daysconcealed
    Борис С.
     631  verified   34   7

    Добрый день!

    Имеется опыт написания парсеров. Пишите - обсудим подробности.

    Ukraine Lvov | 28 March at 13:41 |