Publish your project for free and start receiving offers from freelance contractors in serveral minutes after publication!
1000 ₴

Парсинг друзей в контакте(vk) методом execute

project expired


Необходимо спарсить по перечню id (около 1 млн) всех друзей на Python. Важна скорость. Есть метод execute позволяющий ускорить процесс в 25 раз, но знаний исполнить его не хватает. Стандартными методами Friends.get обрабатывает 1 id за 1 сек.

1) Нужен скрипт, чтобы скрипт я мог запустить самостоятельно.
2) Скрипт на python. Важна именно скорость, около 1 млн. id



  1. 5 daysconcealed
    Михаил Гунин
     235   1   0

    Добрый день, Валентин.
    С удовольствием выполню задание!
    Есть опыт работы с VK API, с execute справимся тоже) Отпишите в ЛС, пожалуйста

    Russia Saint-Petersburg | 27 March at 19:17 |
  2. 2 daysconcealed
    Антон Мельхов
     160   1   0

    Напишу на node js
    Но будет работать отлично

    Как реализовано будет, скинул в лс
    До встречи

    Russia Samara | 28 March at 13:20 |
  • Добрый вечер, скиньте метод глянуть. 

  • Валентин Петерфельд — project author
    Complain | 27 March at 23:46 |

    Дмитрий, день добрый. Какой метод?который парсит друзей через friends. Get?

  • Volodymyr Si
    Complain | 26 March at 21:51 |

    При таких скоростях вас на второй сотне фаервол ВК завернет.
    запись в секунду оптимально.
    просто поставить на выполнение на денек и не парится
    один хрен выкачка базы то одноразовая как я понимаю
    там больше обработка будет по совпадениям в друзьях что бы не записывало повторно одного и того же

  • Валентин Петерфельд — project author
    Complain | 27 March at 23:49 |

    Ну во-первых, если я правильно понимаю, да загнётся из-за фаервола вк.во-вторых на всю выгрузку друзей на 1 млн уйдёт порядка 10 дней, а если ставить ещё тайм делэй,то и ещё и больше. Но мы хотим выгружать базу раз в три месяца. С выгрузкой страниц вк проблем нет. Там за один запрос спокойно выгружает 1000 страниц.а вот что делать с друзьями, лайками, группами и страницами пока открытый вопрос (

  • Сергей Гринев
    Complain | 26 March at 22:04 |

    Скорость 1 млн id это за какой период?

  • Валентин Петерфельд — project author
    Complain | 27 March at 23:50 |

    Хотя бы сутки.


  • Дима Бондар
    Complain | 27 March at 09:52 |

    А пробывал подключать multiprocessing з методом pool тоже Python? Или твой метод который ускаряет на етом и основан?

  • поддерживаю, тут необходимо реализовать многопоточность через multithreading и подобрать оптимальное количество потоков, при котором не будет бана

  • Валентин Петерфельд — project author
    Complain | 27 March at 23:51 |

    Спксибо, почитаю.

  • Дима Бондар
    Complain | 28 March at 18:02 |

    Рад помочь,

    Вот здесь хорошо обясняють,

    https://youtu.be/IGPUs49a1Zo


Project published
26 March at 21:34
132 views