Закрытие мусорных страниц от роботов

Сегодня поговорим про закрытие от поисковых систем мусорных страниц вашего сайта.

Один из наших пользователей спрашивает: Я заметил что в индексе у меня очень много мусорных страниц - как убрать из индекса, в ручном режиме проверить, всё что есть - закрыть от индексации, на уровне robots или какой-то другой способ.

Во-первых нужно определиться какого уровня эта мусорная страница. Если это действительно какие-то страницы с ненужным не пользователям, не поисковикам контентом, то их лучше вообще удалить. Если мы говорим о каких-то технических страницах, например - о компании, контакты политика конфиденциальности и прочие нужные пользователям, но они никогда не будут продвигаться, на них никакие запросы не будут идти, мы  их никогда не будем продвигать, то такие страницы закрывать не нужно. Мы их продвигать не будем, но они не являются мусорными. Они нужны для того, чтобы поисковая система понимала, что это нормальный, честный сайт который информацию важную для пользователя всё-таки предоставляет, поэтому такие страницы закрывать от поисковиков ни в коем случае не нужно.

Ещё один вид страниц, которые обычно не продвигаются, но они всё-таки нам нужны - это страницы пагинации, их еще называют порядковой нумерацией страниц. Когда вы заходите в какую-то рубрику, а все товары или все статьи у вас не влазят на первую рубрику, и там у вас есть цифры 1 2 3 4 5 и вы переходите на следующие страницы по списку например товаров и эти страницы тоже, практически не продвигаются,   даже если они открыты для индексации, но при этом они тоже не являются мусорными, потому что с них идут ссылки на товары и если вы их закроете например в robots от индексации совсем, то ссылки на товары либо вообще не будут получать ссылок, либо будут получать их слишком мало. Поэтому если их и закрывать от индексации, то нужно понимать чем вы их замените. Т.е. тогда нужно делать хабовые страницы, таким образом, что бы хоть на одном хабе была ссылка на любую конечную страничку, либо конечный товар.  

Теперь разберем действительно мусорные страницы. То есть, вы точно определить что они нужны пользователям, но по какой-то причине не хотите их отдавать поисковым системам, в этом случае есть три базовых способа.

Первое, это закрыть их robots.txt через директиву disallow.
Второе, это директива robots noindex, то есть в начале вашей страницы в Head прописываете (meta name="robots" content="noindex" /) круглые скобки заменяете на треугольные. Этот способ является на данный момент и для Яндекса и для Google на данный момент является более весомым, более влиятельным чем упоминанием в robot.txt 
И то и то, это рекомендация для поисковика, но robot такая совсем рекомендация, которую он может проигнорировать в лёгкую, то когда это в мета-теге - это уже более жесткое требование к поисковику - что пожалуйста поисковик не индексирует эту страницу.

И третий способ. Это заголовок x-robots-tag. По влиянию и по строгости он примерно такой же как и robots, по ряду наблюдений даже стороже чем robots.

Более подробную информацию можно найти на странице Яндекс Помощь.

А так же рекомендуем провести бесплатный анализ сайта онлайн - попробуй сейчас, это бесплатно.

23.08.2019 | Вернуться назад