Подсказка

Для эффективного поиска ответа на Ваш вопрос, выберите вопросительное слово, например "Как" и соответственно этому вопросительному слову составьте свой вопрос. Если Ваш вопрос не содержит вопросительного слова, то выберите в списке -//- и просто напишите свой вопрос.

Что делать если робот гугла перегружает MySQL?

Спрашивает Александр Викторович   16 авг. 2012
Сайт на платформе битрикс, вынужден был закрыть раздел поиска к доступу робота, т.к. не нашел в robots.txt возможности снизить нагрузку
Ответ
Что делать если сайт на Битриксе не выдерживает запросы google bots?

Для начала расскажу про Битрикс. Данная платформа очень универсальна, т.е. позволяет сделать многое и конструировать формы и программировать поведение различных функций. Но проблема универсальности в том, что она громоздка и создает машинные громоздкие SQL запросы.

Другие CMS системы используют модули, которые были написаны программистами и оптимизированы в соответствии с задачами модуля, а не созданы генерированием, как у Bitrix.

Теперь про Google bots. Google мощнейшая корпорации с огромным количеством серверов и ботов, но они работают очень плавно, аккуратно и интеллектуально. Можно даже сказать, что они понимают, что ходят по хрупким маленьким сайтам. Их поведение, по отношению к вашему сайту, можно настраивать.

Пошаговая инструкция, как изменить поведение google bots.
1) Открываем Инструменты для веб-мастеров по ссылке
http://www.google.ru/intl/ru/webmasters/
2) Если у вас нет аккаунта в Google, то создайте его, если есть то войдите под своим аккаунтом.
3) Большая, красная кнопка "Добавить сайт". Добавляйте.
4) После добавления сайта нужно подтвердить, что вы являетесь владельцем, копированием специального загруженного файла или добавлением тегов в тело страницы вашего сайта.
5) Нажать на значок шестеренки -> Настройки сайта -> Частота сканирования. Выбираем нужный вариант.

Кроме Google роботов к вам могут прийти и Яндекс роботы.

Для них нужно использовать дерективу Crawl-delay в файле robots.txt.
Например, Crawl-delay: 60 обозначает, что робот будет приходить не чаще чем один раз в 60 секунд.

Нужно нанять специалистов из Bitrix, которые оптимизируют ваши модули или создавать сайт на другой CMS. Давить роботов, это все равно, что открыть магазин и не пускать покупателей.
22 мая 2014 11:25

Имеются знакомства с экспертом