Блог о SEO
Telegram-канал

Google про краулинговый бюджет

Краулинговый бюджет - это ограничение в количестве сканируемых ресурсов сайта за один обход роботом поисковой системы. На странице собраны ответы Google касающиеся краулингового бюджета. Также в блоге есть подробный гайд на тему работы с краулинговым бюджетом.

Ресурсы, используемые на страницах, включены в краулинговый бюджет Google

Ресурсы, которые нужны Google для отображения страниц, включены в краулинговый бюджет и отображены в данных статистики сканирования в Search Console.

2020-03-20
Джон Мюллер, Google

JavaScript редиректы тратят больше времени Google, чем 301 редиректы

Обработка JavaScript редиректов занимает больше времени чем обработка 301 редиректов, так как требует обработки кода JavaScript.

2020-01-21
Джон Мюллер, Google

Google может увеличить частоту сканирования сайта, если заметит что его структура изменилась

Если вы удалите значительную часть страниц, и при сканировании сайта Google обнаружит большое число страниц с 404 ответом сервера, то он может решить что структура вашего сайта изменилась. Это может привести к тому что Google станет чаще сканировать сайт чтобы понять какие изменения произошли.

2019-12-10
Джон Мюллер, Google

Для определения своего краулингового бюджета воспользуйтесь данными Search Console и логов сервера

Есть два аспекта, которые позволят вам понять свой краулинговый бюджет сайта.
Первый касается скорости, с которой Google смог загрузить страницы сайта (информация об этом есть в Search Console). Если она высокая, то значит Google просканировал всё что мог (хотя, возможно, пропустил некоторые страницы).
Второй касается ошибок сервера и их влияния на сканирование сайта. Изучение логов сервера позволяет понять, появляются ли такие ошибки.

2019-11-26
Джон Мюллер, Google
Подпишитесь на новые статьи блога