Robots.txt

Robots.txt — это файл в корне сайта, через который владелец ресурса сообщает поисковым роботам, какие разделы можно или нельзя сканировать. Важно: robots.txt управляет обходом, но не является полноценным способом удалить страницу из поиска. Если URL уже известен поисковой системе из ссылок, карты сайта или прошлых обходов, один запрет в robots.txt может не убрать его из выдачи.

Файл используют, чтобы не тратить ресурсы робота на служебные страницы: корзину, внутренний поиск, параметры сортировки, фильтры, технические URL и административные разделы. Для интернет-магазина это особенно важно: без настройки робот может обходить тысячи мусорных адресов, созданных комбинациями фильтров.

Главная ошибка — закрывать важные CSS, JavaScript, изображения или коммерческие разделы. Вторая ошибка — пытаться удалить страницу из индекса через `Disallow`. Для удаления обычно используют `noindex`, корректные статус-коды, canonical, 301-редиректы или инструменты вебмастера.

---