Crawl budget / краулинговый бюджет

Краулинговый бюджет — условный объём внимания, который поисковый робот готов потратить на обход сайта за определённый период. Для небольшого сайта на 30 страниц это редко критично. Для интернет-магазина, портала, маркетплейса или сайта с тысячами фильтров — это уже важный фактор индексации и свежести данных.

Если робот тратит время на мусорные URL, он может реже доходить до новых товаров, категорий, статей и коммерческих страниц. В итоге нужные страницы дольше не попадают в индекс, а обновления обрабатываются с задержкой.

Работа с crawl budget — это техническая уборка: закрыть мусорные URL, убрать битые ссылки, настроить canonical, сократить цепочки редиректов, ускорить сервер, привести sitemap к реальным индексируемым страницам и сделать внутреннюю структуру понятной.

---