Руководство по планированию SEO и краулингового бюджета

Краулинговый бюджет это «лимит скорости сканирования», который ограничивает максимальную скорость загрузки на определенном сайте.

Google не будет сканировать каждый URL адрес на вашем сайте. Краулинг защищает от перегрузки сервер сайта и помогает Google показывать самые популярные URL адреса в результатах поисковых запросов.

В 2017 Google опубликовал заявление о лимите обхода: «мы хотим подчеркнуть то, что краулинговый бюджет не повод для беспокойства для большинства… если сайт имеет меньше несколько тысяч URL, большее время сканирование будет эффективным».

Основываясь на этих данных можно подумать, что лимит обхода можно игнорировать, если на сайте меньше 1000 страниц. Но это не так.

Игнорирование краулинга может стоить вам рейтинга, трафика и конверсий. Если продвижение медицинского сайта не оптимизировано для максимального бюджета сканирования, независимо от размера вебсайта, сканирование может быть потрачено впустую на малополезные и малоэффективные страницы, игнорируя сканирование страниц, а это очень плохо для улучшения SEO производительности. Если бюджет сканирования ограничен, новые или важные страницы не будут выделяться среди старых и неприоритетных страниц. Тратя ресурсы на малополезные ресурсы (ошибки страниц, взломанные страницы, страницы с дублированным контентом, страницы низкого качества/спам, параметры и ID сессий) будут уменьшать сканируемую активность от ценных страниц, причиняя отмену индексирования URLs для улучшения SEO (и лидогенерации).

Количество сканируемых страниц Google определяется тремя главными факторами:

• размером вебсайта,
• техническими настройками сайта,
• количеством ссылок, ведущих на сайт.

Следуйте этим шагам для эффективного управления краулинговым бюджетом:

1. Технический SEO аудит

Оптимизация бюджета сканирования начинается с технического SEO аудита сайта. Используйте такие инструменты, как: SEMrush, Screaming Frog, или DeepCrawl, чтобы проверить все технические характеристики сайта:

• индексирование страниц: убедитесь, что все индексируемые страницы ценны. Чтобы понять, может ли URL попасть в список обхода, используйте поискового робота, который периодически сверяется с файлом robots.txt, содержащий запреты и разрешения. Если URL не запрещен – он попадёт в список обхода;
• используйте rel=”nofollow” для исключения сканирования для малополезных страниц;
• определите и исправьте битые ссылки. Неработающие ссылки могул увеличивать бюджет лимита обхода и тратит его на страницы с ошибками;
• скорость: чем меньше загружается сайт, тем быстрее его просканирует бот: в рамках одинакового числа соединений он сможет проанализировать большее количество страниц;
• настройте переадресацию: в обязательном порядке нужно настраивать 301-й (постоянный) редирект на выбранную вами версию. Страница может быть доступна по HTTP или HTTPS, а также с WWW и без него. Это дубли, и в таком случае поисковая система может счесть главным зеркалом любую из этих версий, а вы потеряете контроль и краулинговый бюджет. Иногда лучше не опубликовать пост в блоге и добавить код 404 (не найдено) использовать 410 (удалено окончательно). Логика проста: раз удалено – выбрасываем из индекса и забываем. А 404 означает, что если не нашли, то найдём в следующий раз. Опять слив бюджета, если страница реально удалена и больше не появится.

2. Google Search Console

Данный сервис предоставляет отчеты о том, как сайт представлен в результатах поиска Google, оптимизирует контент и устранит возможные неполадки. Страницы с ошибками, предостережениями, исключениями будут проверены повторно и исправлены, после чего можно контролировать продвижение сайта в ТОП.

3. Карта сайта

Проверьте повторно карту вашего сайта, удалите URL, которые не являются каноническими и убедитесь, что они соответствуют последней загруженной версии robots.txt.

Заключительный шаг: линк билдинг

Большинство статей по SEO оптимизации и краулингового бюджета не упоминают линк билдинг, хотя стоит. Спрос на сканирование - важный фактор в бюджете сканирования.

Веб хостинг

Даже если ваш веб-сайт использует хост с быстрыми процессорами и ресурсами для поддержания высокой скорости сканирования (например, SiteGround), это не гарантирует, что Google и другие поисковые системы будут отдавать предпочтение этим страницам над вашими конкурентами. Если вы инвестируете в SEO как часть своей долгосрочной стратегии цифрового маркетинга, не игнорируйте оптимизацию краулинга. Даже если на вашем сайте меньше нескольких тысяч URL-адресов, оптимизация бюджета сканирования гарантирует, что ваши усилия по SEO окупятся в долгосрочной перспективе, обеспечивая рентабельность инвестиций для вашего контента и кампаний по созданию ссылок.

Рост веба в геометрической прогрессии с начала 90ых:

В конце 2019 года в сети существовало 1.72 миллиардов веб сайтов.

Если вы хотите превзойти своих конкурентов благодаря усилиям по SEO, разумно расходуйте свой краулинговый бюджет, а оптимизировать ваши расходы помогут специалисты агентства STATURA.