Publish your project for free and start receiving offers from freelance contractors in serveral minutes after publication!
200 ₴

Помощь/консультация чтобы спарсить один сайт



  1.  freelancer isn't working in the service any longer
  • Александр Гарибас  (communication on forums is limited before 21 January)
    19 January 2020 |

    Здравствуйте.
    Чем парсите?

  • Tanya Boss — project author
    19 January 2020 |

    Python, библиотека request

  • Леонід Б.
    19 January 2020 |

    Проблема в получении следующией страницы обьявлений? Т.е. того что подгружаеться при проктутке в низ?

  • Tanya Boss — project author
    19 January 2020 |

    Да, при прокрутке страницы вниз подгружается ROOT в response, которого лежит нужный мне json. Однако payload к этому запросу формируется рандомно. Это то как я думаю.

  • Леонід Б.
    19 January 2020 |

    А просто грузить следующую страницу не пробывали? Т.е. использовать пагинацию сайта.

  • Tanya Boss — project author
    19 January 2020 |

    тут не по пейджам, а тип offset

  • Леонід Б.
    19 January 2020 |

    есть и пейджами, вы просто плохо искали

  • Tanya Boss — project author
    19 January 2020 |

    То есть в url добавлять номер страницы?

  • Леонід Б.
    19 January 2020 |

    <link data-react-helmet="true" rel="canonical" href="https://divar.ir/s/isfahan"/><link data-react-helmet="true" rel="next" href="https://divar.ir/s/isfahan?page=2"/>

  • Tanya Boss — project author
    19 January 2020 |

    Понял, спасибо, действительно плохо искал

  • Леонід Б.
    19 January 2020 |

    100 грн. 😉

  • Tanya Boss — project author
    19 January 2020 |

    Тогда можно делать к Network/Doc а не к Network/XHR

  • Profile banned
    19 January 2020 |

    Так вот же

    https://api.divar.ir/v8/search/4/ROOT

    Сюда POST

    {

        "json_schema": {

            "category": {

                "value": "ROOT"

            }

        },

        "last-post-date": 565613379623085

    }

    переменная "last-post-date": в формате datetime, и тебе сервер отдает следующий пак данных.

  • Tanya Boss — project author
    19 January 2020 |

    565613379623085 

  • Tanya Boss — project author
    19 January 2020 |

    а где в last-post-date что, в смысле дата время. Этого не пойму

  • Profile banned
    19 January 2020 |

    Из предыдущего пакета выбирай последнюю запись.

  • Profile banned
    19 January 2020 |

    p.s. тебе выше человек более простой способ показа. Иди парсить это иранское авито)))