Publish your project for free and start receiving offers from freelance contractors in serveral minutes after publication!

Настроить robots.txt и .htaccess для сайта на Wordpress

closed without completion


Есть сайт: https://lifeisfreedom.net/

Надо провести настройку robots.txt и .htaccess с целью уменьшить ненужную нагрузку на сайт от спамеров и поисковых ботов( yahoo отключить, остальных постараться ограничень по количеству индексируемых страниц в минуту/секунду)
Последние несколько дней наблюдаю проблему с перегрузкой сайта длинным запросами и запросами от поисковых ботов или кто там под них может маскироваться (приветы от злопыхателей, наверное).
Внесли изменения в robots.txt:
1. сперва ограничили индексацию количество страниц в секунду. Не помогло.
2. Потом поставили:
User-agent: *
Request-rate: 1/5
Visit-time: 0600-0845
и в .htaccess добавил (т.к. последними запросами, которые привели к 503, были запросы от Yahoo):

# blocking search bot Yahoo
<IfModule mod_rewrite.c>
RewriteEngine on
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} Yahoo [OR]
RewriteCond %{HTTP_USER_AGENT} Igde
RewriteRule (.*) - [F,L]
</IfModule>

# END blocking search bot Yahoo


Но сегодня ночью и ранним утром по данным Яндекс Метрики - сайт снова "Падал" на ча где то каждый раз.
Хостер дал следующие логи:

по состоянию на вечер 29/03/2016: (свежие сегодня запросил, но еще не получил)
Произвели выборку по логам подключений к Вашему сайту индексирующих ботов с сортировкой по уникальным IP адресам:
5516 66.249.78.176 (Google Inc)
984 130.193.50.36 (Yandex)
873 66.249.64.173 (Google Inc)
623 62.210.148.246
381 66.249.78.4
261 5.9.63.149
221 51.255.162.165
185 82.37.199.233
176 149.56.110.179
169 86.132.215.31
99 66.249.78.11
95 141.8.183.18

ну и т.д.



Make a proposal!

The client doesn't want to make prepayment? Offer him to make a payment via Safe to avoid possible fraud.
  1.  freelancer isn't working in the service any longer
  2. 1 day100 ₴
    Руслан Александрович
     146 

    Добрый день!
    Готовы сделать!

    Ukraine Kharkiv | 30 March 2016 |
  1. proposal withdrawn
  • Есть несколько причин по которых сайт может "падать" , я так понимаю вы хотите чтобы Ваш сайт нормально работал и не "падал"?

  • Stas Ovan
    Complain | 30 March 2016 |

    Screenshot_45.png

    у вас ваще бардак... И дело не в robots.txt и .htaccess

    Движок надо править, поэтому роботы часто и приходят, потому что не понимают что индексировать (((

  • Add

Client
Алексей П.
Ukraine Kyiv  13    1
Project published
30 March 2016
84 views
Contractor location
Ukraine Ukraine