Publish your project for free and start receiving offers from freelance contractors in serveral minutes after publication!

Как быстро добавить 100 тысяч записей на сайт Wordpress?

project expired


Здравствуйте.

Есть VPS сервер, на нем держу несколько сайтов на Wordpress.

С помощью парсера собираю данные для одного из сайтов, выходит 100 тысяч файлов (txt, htm, csv, php).


Если файлы превратить в файлы импорта Wordpress (.xml) и разбить по размеру, например, по 10Мб каждый, то выходит очень много файлов импорта и загружать их через админ панель Wordpress очень долго, плюс ко всему еще нужно постоянно следить когда очередной файл импортировался и добавлять вручную новый на импорт. Это вариант меня не устраивает, потому что очень долго и нужно постоянно быть возле компьютера, чтобы ставить на импорт новый файл .xml


Сделал мне товарищ скрипт на php, закинул скрипт в корень сайта, подключил его к парсеру и теперь все 100 тысяч файлов поочередно добавляются напрямую в БД сайта Wordpress. В этом случае моего участия ручной работы уже не нужно, однако все хорошо работает только в том случае, если добавление в БД идет в 1 поток. Если выставить больше потоков (даже с задежкой в несколько секунд), то все сайты на VPS сервере ложатся или открываются очень-очень долго (несколько минут, а то и больше). Этот вариант меня не устраивает, потому что скорость добавление записей все равно осталась очень низкой и страдают другие сайты на сервере. Служба поддержки VPS сервер говорит, что проблема в том, что очень много идет одновременных подключений, даже несмотря на задержку в несколько секунд.


Мне нужно найти решение, при котором:

1. Будет максимально быстро опубликовано 100 тысяч записей на сайте Wordpress/

2. Это будет делаться без моего участия

3. Это не потребует от меня каких-то действий вручную.

4. Это не будет влиять на работу самого сайта и других сайтов, которые находятся у меня на VPS сервере. Они должны быть доступны пользователям 24 часа в сутки.


Ожидаю от Вас вариантов решения моей проблемы. Бюджет обсуждается в каждом индивидуальном порядке.

Спасибо.


Make a proposal!

The client doesn't want to make prepayment? Offer him to make a payment via Safe to avoid possible fraud.
  1. 2 days550 ₴
    Олег Михайлов
     210  verified   3   0

    Можно сделать через прямое взаимодействие с БД

    Ukraine Odessa | 14 January 2016 |
  2. 1 day100 ₽
    Никита Лежневич
     725  verified   5   0

    Собирать инфу не в отдельные файлы, а как общий sql дамп, и потом его импортировать

    Belarus Minsk | 14 January 2016 |
  3. 1 day20 $
    Андрей Р.
     508  verified   7   0

    Здравствуйте!
    Готово решить вашу проблемму.
    Пишите:
    skype: anre_r
    mail: [email protected]

    Ukraine Kyiv | 14 January 2016 |
  • Ярослав Г.
    Complain | 14 January 2016 |

    Если у вас MySQL, врвдли вы можите надеется на прохождения запросов, типа SELECT WHEARE быстрее 0,03sec, а INSERT еще бычтрей работает)))

  • Оля Жестяк — project author
    Complain | 14 January 2016 |

    Да, у меня обычная Mysql. И какой вариант Вы предлагаете?

  • Ярослав Г.
    Complain | 14 January 2016 |

    Пока не какой, сайты дайте (одного хватит) в личку посмотреть

  • Глеб В.
    Complain | 14 January 2016 |

    %D0%A1%D0%BD%D0%B8%D0%BC%D0%BE%D0%BA+%D1Как вариант рассылка 🙂 

  • Оля Жестяк — project author
    Complain | 14 January 2016 |

    Креативный вариант однако 🙂 

  • Глеб В.
    Complain | 14 January 2016 |

    если 1 статья = 1 текстовый файл, то это всё пишется одной строкой на bash-е:
    for article in `ls -l /path/to/txt/files`; do cat $article | mail  %[email protected]; done

    Попробуйте 

  • Ярослав Г.
    Complain | 14 January 2016 |

    Писать то по разному можно, только в итоге INSERT делаетсо в базку

  • Остап Николяк
    Complain | 17 January 2016 |

    переделивал  похожую вещь  впринципе єсли 4 часа для імпорта 100 тис товаров ето нормально тогда делаете парсер с построчной оброботкой  сам парсер будет бистро работать но база не будет успевать поетому будет гдето 4 часа закидивать)  у меня примерно 60 тис товаров делает 3 часа) к сожелению mysql бистрее мне не получилось заставіть работать( а вот на аспе с майкрософт базой ето занимает 15 минут)


  • Оля Жестяк — project author
    Complain | 17 January 2016 |

    Я согласна, что WP далеко не самый разумный и оптимальный выбор для сайта, на котором много записей и которые часто и много добавляются. 3-4 часа - очень хороший результат был бы для меня.

  • Остап Николяк
    Complain | 17 January 2016 |

    скиньте хмл в личку посмотрю)

  • Ярослав Г.
    Complain | 17 January 2016 |

    самое интересное что ни что и не кому не мешает напрямую в базу лить, без php и остального мусора

  • Оля Жестяк — project author
    Complain | 17 January 2016 |

    Вы имеете ввиду делать собирать данные в sql дампы?

  • Ярослав Г.
    Complain | 17 January 2016 |

    я ж незнаю как вы это все делаете, можем посчитать, база дет 0,05, парсер ну 1, остальной мсор тоже столькоже 1, итого одна запись 2.05 сек, 100к часов 56 если не ошибаюсь, надеюсь выводы сами сделаете

  • Ярослав Г.
    Complain | 17 January 2016 |

    ладно поржали и будет

    1.служба поддержки VPS сервер говорит, что проблема в том, что очень много идет одновременных подключений, даже несмотря на задержку в несколько секунд. - это полный бред, меняйте хостера

    2.Сделал мне товарищ скрипт на php, закинул скрипт в корень сайта, подключил его к парсеру и теперь все 100 тысяч файлов поочередно добавляются напрямую в БД сайта Wordpress. В этом случае моего участия ручной работы уже не нужно, однако все хорошо работает только в том случае, если добавление в БД идет в 1 поток - тут я так понимаю что нибудь типа Content Dowloader с php заливкой в базу, смотреть надо

  • Оля Жестяк — project author
    Complain | 20 January 2016 |

    Все верно, использую Content Downloader и в шаблоне вывода указан ссылка на этот скрипт в корне сайта.

  • доброго времени суток! если структура в файлах, которые импортируете шаблонная (можно описать регулярными выражениями)... могу реализовать с помощью datacol " спарсить", по факту получится один файл= одна страница = описание товара...., так как дело обстоит с wordpres протокол используется xmlrpc. Чтобы сервер не проседал, можно залить весь контент в базу на локальном ПК используя виртуальный сервер, а после готовую базу подсунуть сайту на сервер. Опыт работы есть! 

  • Ярослав Г.
    Complain | 22 January 2016 |

    Аж интересно, решили?

  • Остап Николяк
    Complain | 22 January 2016 |

    кажетса да) мне не отписивают)))))))

  • Ярослав Г.
    Complain | 22 January 2016 |

    в ну стандартно забыли))))

  • Add

Client
Оля Жестяк
Ukraine Ukraine  1   0
Project published
14 January 2016
385 views
Payment methods
Share