Publish your project for free and start receiving offers from freelance contractors in serveral minutes after publication!

Парсер данных с форума.

closed without completion


Работать придется с форумом https://bitcointalk.org/


Нужно реализовать парсеры/скрипты: 

1. Парсинг и фильтрация тем с форума
Пример как реализовано у других:

Готовая работа:
https://docs.google.com/spreadsheets/d/1_uQR5RNfwP5ufpwoCyz5s6KGeU1WY0wZoYLXHWT0ERY/edit#gid=1824901123
Видео как работает скрипт:
https://www.youtube.com/watch?v=CdzlCzPaq3w&t=105s 


2. Парсинг и фильтрация тем с форума
Пример как реализовано у других:

Готовая работа:
https://docs.google.com/spreadsheets/d/1R7Vq9xGp2k7s7I1H-939r9WFKxQVOVbOJi8YTBEkWTk/edit#gid=0
Видео как работает скрипт:
https://www.youtube.com/watch?v=LXhQ9N_2noQ 


3. Отслеживание изменений в/по топику
-Изменение условий
-Цитирование
-Пост
Пример как это реализовано у других:
Готовая работа
https://docs.google.com/spreadsheets/d/1awEtqm7GinftBDeu_jmm16ILA-BofovJvacRympeT94/edit#gid=0
Видео как работает скрипт:
https://www.youtube.com/watch?v=j_dTdkTkQSM 


4. Еще один элемент общей сборки согласовываю сугубо в ЛС.


Минусы такой реализации сложно обрабатывать информацию и дальнейшая интеграция на сайт (WordPress).
Нам нужен программист который сможет реализовать парсер на PHP (или другие варианты пишите свои варианты реализации)
Предлагайте этапность реализации, цены и сроки. Рассматриваем партнерство на процент.


То что реализовано у нас на данный момент:
http://free-audio.space/grid.php

Для оперативной связи писать — https://t.me/dubenko_v



  1. proposal concealed by freelancer
  2. proposal concealed by freelancer
  3. 1 day1000 ₽
    Иван Дмитриев
     250   9  2   4

    Здравствуйте, могу сделать в виде windows-приложения на C#. C WP будет работать через api или (если api будет недостаточно) через php скрипт по типу api. Подойдет вам такой вариант? Готов обсудить детали.

    email: [email protected]
    Telegram: https://t.me/ivas1256
    Skype: ivas1256

    Russia Perm | 12 April 2018 |
  4. 1 day1000 ₴
    Вячеслав Алексеев
     305   1  0

    Добрый день
    Делал уже парсер для форума
    Могу и вам сделать
    По срокам часа 4

    Ukraine Odessa | 12 April 2018 |
  • Stas Ovan
    Complain | 12 April 2018 |

    Если вы хотите это реализовывать в гугл таблицах, то надо будет скорее всего проплаченный аккаунт. Так как у гугла есть ограничение на время исполнения скриптов. 

  • Stas Ovan
    Complain | 12 April 2018 |

    И скрипты гугла работают ОЧЕНЬ медленно.

  • Владимир Д. — project author
    Complain | 12 April 2018 |

    У нас уже это реализовано в гугл.
    Нам этот вариант не подходит так как сложность в дальнейшей обработке данных на сайте WordPress.

    Нужен автономный парсер который будет собирать постоянно работу. Работая с сервера.
    http://free-audio.space/grid.php — здесь обновления происходят каждый 5 минут.
    Именно такой формат в итоге проще всего интегрировать на сайт для визуальной работы с ним.
    Вся информация нам нужна прежде всего в личных целях (для меня и моей команды аналитиков)
    Мы анализируем крипто ICO & Bounty для себя.

  • Stas Ovan
    Complain | 12 April 2018 |

    У вас сайт ваще не ВордПресс! Это самопис какой-то.

  • Владимир Д. — project author
    Complain | 12 April 2018 |

    Я ссылку на сайт не давал.

    Ссылка выше это вывод в визуально информации которую собирает парсер уже сейчас.

  • Stas Ovan
    Complain | 12 April 2018 |

    Можно все организовать в Ехеле. Вместе с парсингом. Потом организовать CSV выгрузку и заливать на ваш сайт.

  • Владимир Д. — project author
    Complain | 12 April 2018 |

    На сайт в идеале лить информацию без задержки. Методика с эксель показывает что происходит задержка в работе, и мы не моежем своевременно приступить к анализу проектов.

  • Владимир Д. — project author
    Complain | 12 April 2018 |

    Парсинг в эксель у нас уже реализован. Мы готовы алгоритмы передать для того чтоб человек быстрее включился в реализацию работы именно на PHP (или удобном для него языке програмирования)

  • Stas Ovan
    Complain | 12 April 2018 |

    Данные должны сохраняться в базу? 

  • Владимир Д. — project author
    Complain | 12 April 2018 |

    Вы как специалист наверное хотели спросить о том какой формат сбора данных требуется нам и в каком виде выводить инфу...
    В идеале mysql

    Дабы в дальнейшем можно было из базы выдерать данные и настраивать уже само отображение данных.

    Если у Вас есть иные предложения готов выслушать.

  • Stas Ovan
    Complain | 12 April 2018 |

    Нет. Я имел ввиду интерфейс передачи данных между парсером и страницей. Базу данных использовать нагрузительно. Поэтому если данные сохранять не надо, то можно через json передавать данные. Почему говорю про передачу данных между-между? Потому как такие системы строятся по объектной модели. Нет смысла впихивать парсер в страницу ))

  • Владимир Д. — project author
    Complain | 12 April 2018 |

    Данные сохранять нужно.
    Их нужно помимо того еще и редактировать и фильтровать.
    И после портировать на сайт WordPress (или уже на стороне WP это делать)

  • Stas Ovan
    Complain | 12 April 2018 |

    При чем тут WP? Я не понимаю.

  • Владимир Д. — project author
    Complain | 12 April 2018 |

    Нам нужно парсить данные не единоразово, а постоянно их портировать на сайт WordPress (это делает другой человек)
    Главное чтоб он смог подхватить данные для обработки.
    И на сайте мы дополняем личным анализом проектов.

  • Я плохо воспринимаю задания в виде видеопотока: всё-таки программирование - это работа с текстом. Кроме того, сравнивать результат проще с текстовым описанием, чем с видео того, "как это работает у других". Я уже много раз сталкивался с тем, что в таких случаях вылезают несоответствия, с тем, что на видео не особо заметно, а для заказчика оказывается критично. А мне приходится дорабатывать бесплатно. Сами понимаете, очень неприятная ситуация. Можете дать ТЗ в виде текста? Что именно забирать с форума, как обрабатывать и в каком виде отдавать. 


    Могу предложить вариант с парсером на Python и выгрузкой результата в базу данных под MariaDB/MySQL. Оттуда Вы легко сможете забирать её и отображать на сайте. Или можно выгружать в CSV, если так будет удобнее.
  • Добрый день! Так это Ваши примеры или нет?