Закрытие мусорных страниц от роботов

Сегодня поговорим про закрытие от поисковых систем мусорных страниц вашего сайта.

Один из наших пользователей спрашивает: Я заметил что в индексе у меня очень много мусорных страниц - как убрать из индекса, в ручном режиме проверить, всё что есть - закрыть от индексации, на уровне robots или какой-то другой способ.

Во-первых нужно определиться какого уровня эта мусорная страница. Если это действительно какие-то страницы с ненужным не пользователям, не поисковикам контентом, то их лучше вообще удалить. Если мы говорим о каких-то технических страницах, например - о компании, контакты политика конфиденциальности и прочие нужные пользователям, но они никогда не будут продвигаться, на них никакие запросы не будут идти, мы  их никогда не будем продвигать, то такие страницы закрывать не нужно. Мы их продвигать не будем, но они не являются мусорными. Они нужны для того, чтобы поисковая система понимала, что это нормальный, честный сайт который информацию важную для пользователя всё-таки предоставляет, поэтому такие страницы закрывать от поисковиков ни в коем случае не нужно.

Ещё один вид страниц, которые обычно не продвигаются, но они всё-таки нам нужны - это страницы пагинации, их еще называют порядковой нумерацией страниц. Когда вы заходите в какую-то рубрику, а все товары или все статьи у вас не влазят на первую рубрику, и там у вас есть цифры 1 2 3 4 5 и вы переходите на следующие страницы по списку например товаров и эти страницы тоже, практически не продвигаются,   даже если они открыты для индексации, но при этом они тоже не являются мусорными, потому что с них идут ссылки на товары и если вы их закроете например в robots от индексации совсем, то ссылки на товары либо вообще не будут получать ссылок, либо будут получать их слишком мало. Поэтому если их и закрывать от индексации, то нужно понимать чем вы их замените. Т.е. тогда нужно делать хабовые страницы, таким образом, что бы хоть на одном хабе была ссылка на любую конечную страничку, либо конечный товар.  

Теперь разберем действительно мусорные страницы. То есть, вы точно определить что они нужны пользователям, но по какой-то причине не хотите их отдавать поисковым системам, в этом случае есть три базовых способа.

Первое, это закрыть их robots.txt через директиву disallow.
Второе, это директива robots noindex, то есть в начале вашей страницы в Head прописываете (meta name="robots" content="noindex" /) круглые скобки заменяете на треугольные. Этот способ является на данный момент и для Яндекса и для Google на данный момент является более весомым, более влиятельным чем упоминанием в robot.txt 
И то и то, это рекомендация для поисковика, но robot такая совсем рекомендация, которую он может проигнорировать в лёгкую, то когда это в мета-теге - это уже более жесткое требование к поисковику - что пожалуйста поисковик не индексирует эту страницу.

И третий способ. Это заголовок x-robots-tag. По влиянию и по строгости он примерно такой же как и robots, по ряду наблюдений даже стороже чем robots.

Более подробную информацию можно найти на странице Яндекс Помощь.

А так же рекомендуем провести бесплатный анализ сайта онлайн - попробуй сейчас, это бесплатно.

23.08.2019 | Вернуться назад

Как получать заявки из соц сетей? Как продвигать МЛМ?

Как получать заявки из соц сетей? Как продвигать МЛМ?

Как получать заявки из соц сетей? Как продвигать МЛМ? | Основы интернет маркетинга. В статье описываем одну из структур продающего поста. Смотри и применяй. Сегодня речь пойдет о продающих постах, а именно об их структуре. 

Читать подробнее →

Другие новости

Почему SEO не работает? Что работает в SEO в 2019?

Почему SEO не работает? Что нужно делать для того чтобы продвинуться в ТОП и какой для этого нужен срок? 
Давайте разберемся, что сейчас работает в СЕО в 2019 году, что уже не работает и почему ваше SEO именно на вашем сайте не работает.

Выучить английский язык самостоятельно - 10 простых шагов.

Как изучить английский язык самостоятельно и окунуться в среду находясь при этом собственной стране. Прежде чем изучать язык нужно изменить свое восприятие. Просто представьте что сейчас вы американский ребенок и много вы еще не знаете. 

Как создать продающий сайт? Структура продающего сайта.

Сегодняшняя тема будет посвящена товарному бизнесу и продажам через одностраничные сайты. Поговорим с вами о том, как создать сайт и как выглядит структура продающего сайта, потому что, одно дело уметь перетаскивать блоки там как vixe рекламе написано, другое дело сделать из него по-настоящему конфетку, которая будет продавать.

Биржа сайтов РБ

DUAL.by - SEO-портал Байнета

Мы в социальных сетях

  • vk.com/dualby ↓ ↓ ↓
Сайт работает на CMSDual_BY