Блог о SEO
Telegram-канал

Google про индексирование сайтов

Индексация - это процесс включения сайтов в базу поисковой системы (в её индекс). На странице собраны ответы Google касающиеся индексации сайтов.

Временно удаленные страницы могут передавать PageRank

Инструмент временного удаления в Search Console не меняет способ сканирования или индексации страницы, он просто скрывает её от появления в результатах поиска, поэтому страница все еще может передавать PageRank.

2020-05-29
Джон Мюллер, Google

Удаленные через Search Console страницы будут по-прежнему считаться проиндексированными

Инструмент "Удаления" в Google Search Console не удаляет страницы из индекса, а скрывает их от поиска. Таким образом, удаленные страницы все еще считаются проиндексированными, хотя они и не будут отображаться в поиске.

2020-05-12
Джон Мюллер, Google

Неясно, будет ли Mobile First индексация отсрочена из-за COVID-19

Официальной информации от Mobile First Indexing (MFI) пока нет. Скорее всего, из-за того что работа осуществляется удаленно, большинству издателей не стоит откладывать подготовку к MFI. Но, лучше всего обратиться через Twitter или иным образом к Джону Мюллеру, если вас беспокоят вопросы которые он может передать команде MFI.

2020-04-14
Джон Мюллер, Google

Отчеты о покрытии в Search Console не включают в себя сторонние размещенные файлы Sitemap

Если вы размещаете свои файлы sitemap на стороннем сайте, они могут использоваться, но не попадут в отчеты о покрытии в Search Console.

2020-04-14
Джон Мюллер, Google

Сводные отчеты Search Console основаны на выборке страниц

Некоторые отчеты Search Console (AMP, микроразметка, удобство для мобильных и скорость загрузки) основаны на выборке страниц страниц. Отчеты об индексации являются более комплексными и могут использоваться для выявления общих проблем.

2020-04-09
Джон Мюллер, Google

Сокращение количества страниц на большом сайте может быть полезно

Сокращение количества страниц на очень большом сайте может помочь Google выяснить, какие страницы являются наиболее важными, но, скорее всего, не окажет никакого влияния на небольшой сайт.

2020-04-09
Джон Мюллер, Google

Если вам необходимо временно закрыть ваш сайт из-за Covid-19, убедитесь, что он не отдает код 503

С точки зрения SEO важно отметить, не стоит закрывать сайт или страницы с кодом ответа 503. Это приведет к тому, что Google исключит страницы из результатов поиска и, скорее всего, удалит их из индекса.

2020-04-03
Джон Мюллер, Google

Google всегда будет понятен, когда робот Google сканирует сайт

Возможно, что сотрудник Google посетит ваш сайт через браузер, в этом случае он не будет отображаться как робот Google. Однако при сканировании сайта роботом Googlebot всегда будет отображаться корректное имя, потому что информация о том какие страницы сайта были посещены и проиндексированы должна быть открытой.

2020-04-03
Джон Мюллер, Google

Изменения nofollow для содержимого PDF такие же как и для HTML-страниц

Вы можете указать noindex для PDF-файла с помощью заголовка X-Robots-Tag вместе с любыми другими тегами в этом заголовке. Nofollow будет работать как обычно и Google не будет рассматривать ссылки документа как важные. Однако, nofollow не гарантирует что страницы на которые ссылается файл отнажды не увидит Google, ведь на эти страницы могут ссылаться и другие сайты.

2020-03-31
Джон Мюллер, Google

Контент, скрывающейся за спойлером, все равно будет учитываться при мобильной индексации, если имеется в HTML

Google учитывает все, что содержится на HTML страницах, особенно на страницах для мобильных устройств.

2020-03-31
Джон Мюллер, Google

Используйте sitemap ping, атрибут lastmod и отдельные файлы карты сайта для индексации обновленного содержимого

Чтобы ускорить индексацию обновленного содержимого в Google, отправьте ping Googlebot при обновлении файла sitemap, используйте атрибут lastmod с датами последнего изменения в файлах sitemap и создавайте отдельный файл sitemap для обновленного содержимого, который нужно сканировать чаще других.

2020-03-20
Джон Мюллер, Google

Сайты могут не индексироваться из-за спама или технических ошибок

Существует большая разница между сайтом, который полностью исчезает из поиска Google, и тем, который пессимизирован в результатах поиска. Сайт, который удаляется из индекса, обычно связан с серьезным спамом или техническими проблемами. Если сайт пессимизирован и ранжируется хуже чем раньше, то причина может быть связана с качеством контента или настройками сайта. Спам посредством обратными ссылками обычно не является причиной исключения из индекса.

2020-03-17
Джон Мюллер, Google

Индексация страниц различных порядков сортировки и фильтров

В настоящее время у Google нет рекомендаций по настройке индексирования разных версий страниц категорий, но пока мы рекомендуем открыть для индексации одну версию, например, порядка сортировки, а альтернативные варианты с различными фильтрами и порядками сортировки закрыть от индексации. Если существуют другие версии страниц категорий, которые важны, вы также можете разрешить для них индексирование только первой страницы пагинации.

2020-03-17
Джон Мюллер, Google

Информация об индексации в Search Console точнее чем в поиске Google

Информация об индексации страниц в Search Console даёт очень точные данные, в то время как поиск Google не включает все, так как показывает данные быстро в ущерб точности

2020-02-21
Джон Мюллер, Google

Дубль контента на том же языке для другой страны не может быть проиндексирован, но может быть показан в поиске

Если у вас есть несколько идентичных страниц на одном языке, но под разные страны, то Google посчитает их дубликатами и склеит их для индексации, но при показе в результатах поиска эта склейка может игнорироваться.

2020-02-21
Джон Мюллер, Google

Рендеринг страниц отличается у Googlebot и пользователей

Googlebot не делает снимок рендеринга страницы в какое-то определённое время для дальнейшей индексации. Основная причина этого заключается в том, как Google обрабатывает страницы, так как рендеринг страницы для индексации отличается от рендеринга страницы в браузере пользователя. Это может привести к тому что элементы на сайте будут обрабатываться иначе чем у пользователя и рендеринг с целью индексации будет занимать дольше времени.

2020-02-07
Джон Мюллер, Google

Если на ваши страницы наложены ручные санкции, Search Console все равно их как проиндексированные

Если на ваши страницы наложены ручные санкции или они они удалены вами (через инструмент "Удаление устаревшего контента"), инструмент проверки URL-адресов в Search Console по-прежнему будет показывать такие страницы как проиндексированные, но они не будет отображаться в результатах поиска. Это связано с тем, что ручные санкции и удаление URL-адресов являются фильтрами, которые работают поверх результатов поиска, поэтому такие страницы могут быть проиндексированы, но не будут показаны.

2020-02-07
Джон Мюллер, Google

Технические проблемы на сайте могут привести к тому, что его контент будет индексироваться на сайтах-скраперах раньше

Если контент с сайтов-скраперов появляется в индексе раньше чем с сайта-источника, то скорее всего у этого сайта имеются технические проблемы. Например, Googlebot может не находить хаб-страницы или страницы категорий или может застревать в ловушках сканирования, следуя по URL-адресам с избыточными GET-параметрами.

2020-01-07
Джон Мюллер, Google

Удаление директории, содержащей несколько URL-адресов, в инструменте "Удаление" в Search Console, рассматривается как один запрос

Удаление директории (папки, раздела) сайта, содержащей несколько страниц, с помощью инструмента "Удаление" в Search Console будет рассматриваться Google как один запрос на удаление. Так как существует ограничение на количество запросов на удаление, которые вы можете сделать с помощью этого инструмента, лучше всего удалять разделы сайта именно так, к тому же это избавит вас от необходимости вводить запрос на удаление для каждого URL.

2019-12-27
Джон Мюллер, Google

Инструмент «Удаления» не влияет на выбор Google канонической или отображаемой в поиске страницы

Инструмент «Удаления» в Search Console никак не влияет на выбор Google канонической или отображаемой в результатах поиска страницы. Он просто скрывает страницу из результатов поиска.

2019-12-13
Джон Мюллер, Google

Использование 410 ответа сервера не гарантирует быстрое удаление страниц

Чтобы удалить весь раздел сайта из индекса, лучше всего настроить для него 410 ответ сервера. Коды ответа 404 и 410 являются разными сигналами для робота Googlebot, причем 410 является более явным сигналом того, что страница была удалена. Однако, так как Google встречает большое количество неверных сигналов на сайтах, он будет использовать ваш код ответа сервера лишь в качестве подсказки, поэтому использование 410 ответа сервера все-таки не гарантирует то, что страницы будут удалены быстрее.

2019-12-10
Мартин Сплитт, Google

Google считает что страницу, содержащую canonical на другую страницу с noindex, не стоит индексировать

Если у вас на странице есть canonical, ведущий на страницу, которая не проиндексирована, то ваша страница также не будет индексироваться. Это связано с тем, что Google будет рассматривать canonical как редирект на страницу noindex и поэтому выбросит вашу страницу из индекса.

2019-12-10
Джон Мюллер, Google

Убедитесь что страница с видео содержит описывающий его текст

У Google может не получиться определить что содержит видео, если рядом нет текста описания. Если текста нет, то у страницы с видео могут быть проблемы с индексированием, особенно если речь о крупном сайте с большим количеством таких страниц.

2019-11-29
Джон Мюллер, Google

Сводные отчёты в Search Console сосредоточены на неполной выборке URL-адресов

Сводные отчеты в Search Console, например, отчет по удобству использования на мобильных устройствах, отчет по AMP-версиям страниц и отчет по расширенным результатам в поиске, сосредоточены лишь на выборке URL-адресов с сайта.
Для сравнения, отчет о покрытии включает в себя все проиндексированные URL-адреса, а это означает, что не стоит сравнивать итоговые числа в различных отчетах. Например. в отчете о покрытии может быть показано 4000 проиндексированных страниц, тогда как в отчете об удобстве использования для мобильных устройств общее количество страниц может составлять только 2000 (это и будет размером выборки данного отчета).

2019-11-26
Джон Мюллер, Google

Обеспечьте индексирование страниц категорий и закройте от индексации страницы поиска по сайту

Чтобы избежать таких проблем как индексация дублей страниц и засорение сайтом индекса Google, займитесь улучшением качества страниц категорий и помощью им в индексации. Также закройте от индексации страницы внутреннего поиска, поскольку именно функционал поиска часто генерирует низкокачественные страницы.

2019-11-12
Джон Мюллер, Google

Google не будет учитывать JavaScript, если страница отдаёт редирект или ошибку

Если у вас есть страница, часть контента которой формируется с помощью JavaScript, но при обращении к странице отдаётся перенаправление или ошибка, то Google не будет тратить время на её рендеринг. Например, если вы используете JavaScript на странице 404 для вывода сообщения об ошибке или ссылки на главную страницу. В случае редиректа от Google нужно только проследовать на новую страницу (цель перенаправления), отрисовывать саму страницу с редиректом ни к чему.

2019-11-12
Джон Мюллер, Google

Используйте "View Source" или "Inspect Element", чтобы убедиться, что скрытый контент доступен для сканирования

Если у вас на сайте есть контент, скрытый за вкладкой (табом) или аккордеоном (спойлером), следует использовать в Chrome "View Source" ("Просмотр кода страницы") или "Inspect Element" ("Посмотреть код"), чтобы убедиться, что контент выводится в HTML при загрузке страницы. Скрытый контент, появляющийся в HTML коде страницы при её загрузке, будет рассматриваться как обычный контент страницы, однако, если для его загрузки требуется какое-то действие на странице, Google не сможет его сканировать и, как следствие, индексировать.

2019-11-01
Джон Мюллер, Google
Подпишитесь на новые статьи блога