Meta robots

Meta robots — это HTML-инструкция на уровне конкретной страницы. Она сообщает поисковой системе, можно ли индексировать страницу и нужно ли учитывать ссылки на ней. В отличие от robots.txt, который ограничивает доступ к URL, meta robots работает уже после того, как робот открыл страницу и прочитал её код.

Типовые значения: `index`, `noindex`, `follow`, `nofollow`. Например, `noindex, follow` означает: страницу не нужно показывать в поиске, но ссылки с неё можно использовать для обхода сайта. Такой вариант применяют для служебных страниц, которые не должны ранжироваться, но помогают внутренней навигации.

Опасность meta robots в том, что одна случайная настройка может убрать из индекса важные страницы: категории, услуги, статьи, карточки товаров. Поэтому при техническом аудите всегда проверяют массовые `noindex`, особенно после редизайна, переноса сайта или установки SEO-плагинов.

---