Блог о SEO
Telegram-канал

Google про disallow

Disallow - директива закрывающая доступ поисковых роботов к определенным документам/разделам сайта. Директива используется в файле robots.txt. На странице собраны ответы Google касающиеся disallow.

Можно использовать noindex или disallow для URL лицензии в Google Картинках

Некоторые сайты могут создавать уникальный URL-адрес лицензии для каждого изображения (если эти изображения имеют разные метаданные) хотя это не обязательно. Исполнение может отличаться в зависимости от CMS сайта, но всегда можно закрыть такие станицы от индексации через noindex и robots.txt и по-прежнему получать значок Licensable в поиске Google Картинки.

2020-04-14
Джон Мюллер, Google

Если robots.txt временно выдаёт ошибку сервера, Google не будет сканировать сайт

Если файл robots.txt в течении короткого промежутка времени возвращает код ответа сервера с ошибкой, то Google не будет сканировать сайт пока снова не получит к нему доступ. Пока robots.txt недоступен, Google считает что в нем закрыт от сканирования весь сайт и уведомляет об этом в Search Console. Вы можете посмотреть запрос к файлу robots.txt в лог-файлах, чтобы понять как и когда это произошло, а также посмотреть код ответа сервера на каждый запрос Google.

2020-01-31
Джон Мюллер, Google
Подпишитесь на новые статьи блога