Плагин «SEO Stop SearchBot»
предназначен для снижения нагрузки на сервер, путём снижения активности поисковых роботов.
Проблема:
Магазин с множеством региональных витрин/поддоменов.
Во время индексации поисковый робот обходит все товары всех региональных поддоменов.
Сервер не справляется с нагрузкой и падает.
Робот получает 502-й ответ, хостинг накладывает ограничение за превышение лимитов по нагрузке.
Поисковый робот понижает ваш магазин на странице поиска.
Решение:
После превышения некоторого количества обращений,
давать поисковому роботу 429-й код ответа (Too Many Requests)
с указанием времени для следующего обращения (Retry-After).
Когда поисковые системы индексируют сайт и получают ответ с кодом 429, они реагируют на это разными способами. Код 429 означает "Слишком много запросов" и указывает на то, что сервер не может обработать все запросы, поступающие от поисковой системы. Поисковая система может повторить запрос позже, после указанного в заголовке Retry-After времени. Поисковая система может уменьшить скорость индексации, чтобы снизить нагрузку на сервер и избежать получения кода 429. Важно отметить, что реакция поисковых систем на код 429 может зависеть от конкретной поисковой системы и её политики индексации. Каждая поисковая система может иметь собственные правила и алгоритмы для обработки таких ситуаций.
Протестировано на версии PHP 8.3
Интерфейс 2.0 не поддерживается,
но плагин работает на свежей версии Фреймворка и Shop-Script в режиме Интерфейса 1.3
- Поддержка Интерфейса 2.0
- Вывод статистики блокировки
