Google развеял мифы о краулинговом бюджете и скорости загрузки сайтов

В новых роликах SEO Mythbusting сотрудник поиска Google Мартин Сплитт рассказал о том, какие SEO-мифы связаны с краулинговым бюджетом и скоростью загрузки сайтов.

Самое важное о краулинговом бюджете

  • Google приходится выбирать, что именно поисковик будет сканировать, чтобы разумно использовать ресурсы.
  • Краулер сканирует новостные сайты чаще потому, что они обновляются чаще. Соответственно, сайты, обновляемые реже, бот сканирует реже.
  • Google сохраняет фингерпринт контента, чтобы отследить, когда он в последний раз обновлялся, и пытается определить, требуется ли для этого сайта более частое сканирование.
  • Чтобы отслеживать обновления на сайтах, Google анализирует структурированные данные и элементы даты.
  • Etag и заголовки Last-Modified могут помогать краулеру отслеживать частоту обновлений сайта, но в целом для Google это больше подсказки, поэтому он может их игнорировать. Если поменять дату на странице и не поменять контент, сайт не будет сканироваться чаще.
  • Волноваться о краулинговом бюджете стоит только крупным онлайн-площадкам, у которых миллион URL-адресов: в первую очередь, это e-commerce и издатели.
  • Если сайт не индексируется, владельцы могут задумываться о превышении краулингового бюджета, но чаще всего проблема не в сканировании, а низком качестве контента.
  • Также важно следить, чтобы сервера работали бесперебойно и не выдавали коды ошибок.
  • Если на сайте есть страница, URL которой нет в sitemap, Google может не сразу найти ее. Сначала краулеру надо будет выйти на другую страницу, содержащую ссылку на новый URL.
  • Важные изменения нужно вносить постепенно. Не стоит одновременно менять сервер, контент, URL, домен.
  • Google не кеширует POST-запросы — это быстро растрачивает краулинговый бюджет. Стоит применять запросы GET.
  • Если на сайте есть страницы, которые не нужно сканировать, их нужно блокировать с помощью robots.txt.
  • Ничего нельзя сделать, чтобы Google сканировал сайт чаще. Если краулер выяснит, что на странице много качественного контента, а в sitemap много URL, он будет сканировать столько, сколько сможет, и в дальнейшем будет делать так же. В итоге это может привести к тому, что краулинговый бюджет увеличится до значений, которые нужны владельцу или веб-мастеру сайта.

Ключевые пункты о скорости загрузки сайтов

  • Скорость загрузки — это не настолько важный фактор ранжирования, как думают многие SEO-оптимизаторы. Страницы с более релевантным контентом будут выше в выдаче, чем страницы с быстрой скоростью загрузки.
  • В мире много регионов с медленным интернетом. Об этом надо помнить при разработке сайтов.
  • В среднем веб-страница обычно весит несколько мегабайт. При этом рекомендуемый размер — около 500 килобайт.
  • В тактике SEO-специалистов есть несколько проблемных моментов: например, многие думают, что картинки минимального размера положительно влияют на скорость загрузки, при этом отметая «ленивую» загрузку.
  • Не нужно зацикливаться на отчетах и рекомендациях сервисов типа Lighthouse. Изменения, внедренные по рекомендациям такого инструмента, не всегда приводят к немедленному ускорению загрузки.
  • Разные виды устройств загружают сайты с разной скоростью. Поэтому не стоит думать, что сайт работает быстро, если он быстро открывается на смартфоне последней модели. Нужно отслеживать, с каких устройств открывают сайт ваши пользователи, и улучшать скорость под них.
  • AMP — это не фактор ранжирования.
  • AMP важна в той мере, в какой важна скорость ранжирования.
  • Если есть две страницы с примерно одинаковым по качеству контентом, страница с более высокой скоростью загрузки окажется выше в поисковой выдаче.

Источник